Snowflakeを用いたメールデータ活用基盤の構築

私たちは、Snowflakeを中核としたデータ基盤の構築に取り組んでいます。
本取り組みでは、これまで活用が難しかったメールのような非構造データを、業務で再利用可能な形へ変換することを目的としています。

営業現場では、案件打診・要員提案・条件調整といった重要な情報の多くがメールでやり取りされています。
しかし、メールは自由記述であるがゆえに構造化されておらず、次のような課題が発生しています。

• 過去メールの検索に時間がかかる

• 案件条件や人材情報の比較が困難

• 類似案件・類似人材の横断的な把握ができない

本記事では、Snowflakeを中心としたデータ基盤により、こうした非構造データをどのように活用可能な営業データへ変換しているか、その構成と実装方針について紹介します。

【全体構成（概要）】

本構成では、Snowflakeをデータ活用の中心に据え、
外部システムは「データの入力」と「データの利用」にシンプルに分離しています。

【データ処理の流れ】

本基盤では、データ処理を大きく3つの段階に分けています。

1. データ取得・前処理（AWS）

Outlook / Microsoft Graph API を利用し、メールデータを定期取得します。
取得したデータはAWS上で前処理を行い、Snowflakeで扱いやすい形式に整形します。

主な処理内容：

• 件名・送信元・受信日時・本文の抽出

• フォーマット統一およびノイズ除去

• 添付ファイル（PDF / Excel等）の取得・紐付け

• 単価・スキルなどの基本情報の抽出（ルールベース）

この段階では、後続のSnowflake処理を効率化するための下準備に特化しています。

2. Snowflakeによるデータ取り込み・構造化

前処理されたデータはS3を経由してSnowflakeに取り込まれ、
データ基盤上で構造化・正規化されます。

■ Cortex AIによる非構造データ解析

メール本文を対象に、Cortex AIを用いて以下の情報を抽出します。

• 案件情報

• 人材情報

• 条件情報（単価・スキル・稼働など）

■ データの正規化・統合

• 表記ゆれの統一

• 不足情報の補完

• 検索可能な属性への変換

これにより、メールに埋もれていた情報が、
再利用可能な営業データとして蓄積されます。

3. データ活用（BI / 業務アプリ）

構造化されたデータはViewとして提供され、さまざまな形で活用されます。

• BIツールによる可視化

• 条件ベース検索（案件・人材・スキル・単価など）

• 業務アプリケーションとの連携

従来の「メール検索」ではなく、
データとしての検索・参照が可能になる点が大きな違いです。

【Snowflake運用設計】

本基盤では、Snowflakeの機能を活用し、運用負荷を抑えつつ安定した処理を実現しています。

■ Snowpipeによる自動データ取り込み

Amazon S3に配置されたデータをトリガーに、Snowpipeで自動的にSnowflakeへ取り込みを行います。

• ファイル配置を契機とした自動ロード

• バッチ処理に依存しない継続的なデータ連携

• ほぼリアルタイムでのデータ反映

これにより、データ取り込みの運用負荷を大幅に削減し、
常に最新のデータを基盤上に維持することが可能になります。

■ Taskによる処理の自動化

データ取り込み後の構造化処理をTaskで連鎖実行し、
安定したデータパイプラインを構築しています。

■ 仮想ウェアハウスの分離

• バッチ処理用

• 参照用（BI / 検索）

用途ごとに分離することで、処理負荷の影響を抑えています。

■ ロールの階層構造によるアクセス制御

Snowflakeの権限管理機能（RBAC）を活用し、ロールを階層構造で設計しています。

• 基本ロールとして「参照」と「書き込み」を並列に定義

• その上位に「開発」と「営業」のロールを配置し、必要な基本ロールを継承

• 営業ロールは参照のみ、開発ロールは参照＋書き込みの両方を継承

階層構造により権限の重複定義が不要になり、
利用者が増えても安全かつシンプルに管理できる設計としています。

■ スケーリングによる最適化

処理内容に応じてリソースを調整することで、
パフォーマンスとコストのバランスを最適化しています。

■ Streamlit in Snowflakeによる検索アプリ

構造化された案件・人材データに対して、Streamlit in Snowflakeで検索用Webアプリを構築しています。

• 条件指定による案件・人材の絞り込み検索

• スキル・単価・勤務地など複数軸でのフィルタリング

• 添付ファイルの確認・ダウンロード

Snowflake上でアプリが完結するため、外部サーバーの構築・運用が不要で、
データへのアクセス権限もSnowflakeのRBACで一元管理できます。

■ Snowflake Intelligence（Cortex Agent）による自然言語検索

Cortex Agentとセマンティックビューを組み合わせ、自然言語での案件・人材検索を実現しています。

• 「今月のJava案件でリモート可のものは？」のような日本語での問い合わせ

• 案件と人材を横断した条件マッチング

• 集計・比較の自動SQL生成とグラフ表示

SQLの知識がなくても業務データを即座に参照できるため、
営業担当者自身がデータにアクセスできる環境を提供しています。

【業務上の価値】

本取り組みの価値は、メール処理の自動化ではなく、
営業データを継続的に生成する基盤を構築した点にあります。

■ 検索性の向上

過去のやり取りを構造化データとして即時参照可能

■ 提案速度の向上

類似案件・人材の即時検索により初動を高速化

■ 属人性の排除

メールボックス依存からの脱却

■ 拡張性

スコアリング・マッチング・AI活用への発展が可能

【将来展望：データ共有による連携】

Snowflakeのデータ共有機能を活用することで、
本基盤は企業間連携へと拡張可能です。

■ 期待される効果

• 案件流通の加速

• 人材プールの拡張

• データコピー不要のリアルタイム共有

• 柔軟な権限制御

【おわりに】

本取り組みでは、Snowflakeを中核としたデータ基盤により、メールという非構造データを業務で活用可能な資産へと変換しています。

Snowpipeによる自動取り込みとCortex AIによる構造化に加え、
Streamlit in Snowflakeによる検索アプリやSnowflake Intelligenceによる自然言語検索を組み合わせることで、データの蓄積から活用までをSnowflake上で完結させています。

今後は、データ活用の高度化と企業間連携を進めることで、データドリブンな営業基盤の確立を目指していきます。

☞作成者インタビュー🎤