Snowflake社が提供するクラウド型のデータプラットフォームサービス「Snowflake AI データクラウド(スノーフレークAIデータクラウド)」。創業から10年足らずで、Snowflakeは世界のデータの結集を支援するグローバルフォースとなり、世界全体の顧客数は1万社をゆうに超えています(2024 年 10 月 31 日現在)。
今回は、そんなデータ分析や利活用の進化において、常に最前線で業界を牽引しているSnowflake社より、Principal Architect(プリンシパルアーキテクト)でありデータ&AIフィールドCTOであるMahdi Askari(マディ・アスカリ)さんにジールへお越しいただきました。
対談では、Mahdi Askari(マディ・アスカリ)さんにジールCTOの瀧澤らジール技術者と対談いただき、SnowflakeがグローバルDX先進企業に選ばれる理由や最新動向や今後についての取り組みに向けてなど、幅広い話題とともに談話しました。
目次
Snowflake Mahdi Askari(マディ・アスカリ)さんによる自己紹介とSnowflake製品のご案内
対談に先立ち、Snowflake社のPrincipal Architect(プリンシパルアーキテクト)でありデータ&AIフィールドCTOのMahdi Askariアスカリ(マディ アスカリ)さんより自己紹介とSnowflakeの製品紹介をいただきました。
Snowflake Mahdi Askari(マディ・アスカリ)さんによるSnowflakeのご紹介
Snowflake社のフィールドCTOをされているMahdi Askari(マディ・アスカリ)さんは、2003年にデータソフトウェア会社であるHortonworksに入社し、データの世界に飛び込みました。その後2018年にDatabricks社に転職。約5年3か月を経て、地域で初の技術系の従業員として登用されました。
Databricks社では、まずチームでAzure Databricksのプロダクトチームに関わり、後半はDatabricksのGoogle Cloud(Google がクラウド上で提供するサービス群の総称)に携わりました。そのため、AzureとGoogle Cloudに幅広い知見があります。
2023年11月にはデータエンジニアリングのCTOとしてSnowflakeに入社。最近ではAIもカバーするようになり、この半年ぐらいは仕事の8割ほどがAI関連ということです。
SnowflakeフィールドCTO Mahdi Askari(マディ・アスカリ)さんとジールCTO瀧澤ら技術者との対談
Snowflake フィールドCTOのMahdi Askari(マディ・アスカリ)さんよりご紹介いただいた後、Mahdi Askari(マディ・アスカリ)さんとジールCTO瀧澤らジールメンバーにて、Snowflakeの最新機能や技術、今後に向けて幅広く談話する機会が設けられました。
非構造化データのアーキテクチャをSnowflakeという観点でデザインしたらどうなるか
Mahdiさん:
私自身Snowflake社に入る前はSnowflakeがストリーミングやドキュメント・画像など、データベース化しにくい非構造データも利用できるということを知りませんでした。Snowflakeは基本的に負荷の大きさやデータ形式にかかわらず、プラットフォームにネイティブな形、そのままの状態で使え、どんなワークロードにも対応しているのがSnowflakeの強みだと考えています。
ジール瀧澤:
非構造化データのアーキテクチャをSnowflakeという観点でデザインしたら、どんなアーキテクチャになるのでしょうか。
Mahdiさん:
非構造データが何かによってアーキテクチャは変わります。例えば画像やXMLファイルなど、どんな非構造データを想定していますか?
ジール瀧澤:
そうですね、画像保持はどうなっているのでしょう?
Mahdiさん:
画像に限らず、Snowflakeは非構造化データをサポートしておりますので、Snowflakeステージにデータを格納し管理できます。構造化データの場合も、元となるCSVなどのデータは同じようにステージに格納した上で、テーブルにデータを取り込む方式は一般的です。
Snowflakeはさまざまなアーキテクチャパターンをサポートしますが、データレイクハウスのデータを整理・分析するためのデータ設計パターンであるメダリオンアーキテクチャを採用する場合、一般的にブロンズ・シルバー・ゴールドの3つのレイヤーがあります。ゴールドに近いほど、データの構造と品質を向上させることを目的としています。
例えばブロンズのアーキテクチャに大量のドキュメントが入っていると仮定した場合、そのドキュメントに対して何をしたいかに応じて、Snowflakeで利用する機能(ファンクション)が変わります。
方法は3つ考えられます。1つ目は、例えばクレジットカードの明細情報をブロンズのアーキテクチャに取り込み、その後Document AI機能を使って情報を抽出し構造化させると、それ以降のデータは構造化データの形式で取り扱うことができるようになります。
2つ目は、非構造化データから非構造化データへというシナリオです。例えばレポートみたいなもの、インデックススタンド(卓上)のレポートやマガジン雑誌のような情報という非構造データがあった場合に、いろいろな機能を使ってデータは抽出しますが、抽出した後も非構造データの形式で処理を進めていきます。
3つ目は、全て完全に非構造データのまま処理を進めていく例もあります。こちらはオーストラリアで実際に行っている、スピード違反のチケットを切るために画像データを使っている事例です。画像をページの中に取り込んで、ディープラーニング(コンピュータが自動で特徴を見つけ出す技術方法)をかけることによって、車の画像からナンバープレートの番号と日付・スピードを構造データとして抽出しています。
生データ(未加工データ)を処理できるデータ処理のパイプラインを追加することもできます。そのため、非構造データをデータパイプラインに流しても、そのまま処理を続けることが可能です。
他にも Snowflake がネイティブのコネクタ機能を提供していることはご存知でしょうか。
たとえば、Snowflake Connector for SharePoint(プレビュー機能)を利用すると、SnowflakeをMicrosoft が提供するクラウドサービスであるSharePointに接続することができます。Sharepointにあるドキュメントをコネクタを介してすぐに取り込むことができるので、ここに Snowflake のAI機能や Streamlit などの機能を利用してチャットボットを作ることで、データとの自然言語での対話が可能になります。
ジール瀧澤:
SharePointでなくとも、たとえばS3(Amazon Web Services(AWS)が提供するクラウドストレージサービス)などでも可能ですか?
Mahdiさん:
はい、S3であっても、どんなドキュメントでも可能です。Snowflakeを使うとこういったことがより簡単にできるということです。私たちが試作したさまざまな形のサンプル製品も提供しています。
1年前でも同じようなことはできたと思いますが、1年前にやろうと思ったらお客様にやってもらう手間が多くなっていたはずです。前述のS3からのデータの抽出や、ひとまとまりのデータを作ってベクトルデータベースに格納し、その上にアプリケーションを作るということを皆さんにやっていただく必要がありました。
1年経って、Snowflake の標準機能でカバーできる領域もかなり広がってきました。
ジール瀧澤:
ベクトルデータにも対応していますか?
Mahdiさん:
技術的にはベクトルデータベースではないのですが、ベクトルデータタイプ(類似性検索や機械学習などの操作用に最適化されたベクトルデータを格納する型)を併せた形のデータタイプを提供しています。
そして、このデータタイプについてもさらに向上させようとしています。異なるタイプの様々なインデックスがあり、今後さらに強化しようとしています。
対談を終えて
Mahdiさん:
今日は良い時間をいただきありがとうございました。普段は私はオーストラリアにいますが、日本とあまり時差もありませんので、何かお手伝いできることがあればぜひご連絡ください。日本ローカルチームももちろんいますし、それ以外にも知識やメンバーのサポートがあればいつでもご連絡ください。
ジール菅田:
本日は大変有意義な時間を、ありがとうございました。
■Snowflake合同会社(写真右手 中央から)
Mahdi Askari(マディ・アスカリ)氏
Snowflake Computing Pty Ltd. Principal Architect(プリンシパルアーキテクト)、データ&AIフィールドCTO
八田 和憲氏
Snowflake合同会社 パートナー営業本部 パートナーアカウントマネージャー
野田 孝一氏
Snowflake合同会社 シニアパートナーセールスエンジニア
宮川 大司氏
Snowflake合同会社 パートナーセールスエンジニア
■株式会社ジール(写真左手 中央から)
瀧澤 祐樹
株式会社ジール 執行役員 CTOデジタルイノベーション領域統括
菅田 信正
株式会社ジール アライアンス本部 アライアンス推進部 部長
菊地 友和
株式会社ジール アライアンス本部 アライアンス推進部 シニアマネージャー
平間 大輔
株式会社ジール アライアンス本部 アライアンス推進部 シニアマネージャー
岡本 真一
株式会社ジール アライアンス本部 アライアンス推進部 マネージャー
Snowflakeのご紹介とジールの支援サービス
普段はオーストラリアにいらっしゃるMahdi Askari(マディ・アスカリ)さんがこの度来日されるということで、ご多用の折、ジールへも足を運んでいただき実現した本対談。 当日はとても活発に意見交換がなされ、大変充実した対談となり、その一部の様子を今回はお届けいたしました。
ジールはSnowflakeとパートナー契約を締結し、データプラットフォームの構築からBI・AIによるデータ可視化・予測、さらにはDX人材育成まで、総合的なDX推進事業を展開しています。
30年以上・1000社を超えるご支援の実績がありますので、データ基盤・データ活用に関するお困りごとがございましたら、マルチベンダーである弊社へご遠慮なくお問い合わせください。