イベント突撃レポートシリーズ 第2弾【データブリックス】データ＋AI ワールドツア東京 潜入編

基調講演内は撮影禁止でしたので写真撮れませんでした。残念。
今回の基調講演も会場が広く、空調が効き快適でした。

データブリックス・ジャパン代表取締役社長 笹俊文氏より、データの民主化、AIの民主化という視点での講演があり下記の内容を述べていました。

データ民主化の歴史-企業がデータをどのように扱ってきたか

①CDPデータのBI一元管理へのチャレンジ

業の中でのデータの世界は、文字数字で作られた構造化データ構成で、BIでデータを統合していくことがありましたが、昨今では一部CDPというマーケティングで使うデータは分離して基幹業務はBIに残すが、お客様周りはCDPに残すことが出てきています。BIのエリアでも一元管理ができるのか皆さんチャレンジされてきたかと思います。

また画像、映像、ログデータはデータレイクを使っています。

 

② データブリックスならレイクハウスで一元管理を視野に（SSOTの実現）

このような環境では2つは分離されていますが、データブリックスではデータウェアハウスとデータレイクを一緒にしてレイクハウスとして一元化管理（Single Source of Truth）SSOTを実現しようと考えています。

多くの企業がSSOTを実現したいと思った理由は、情報の一貫性と信頼性の確保、時間と労力の手間を節約、データを一元化した場合、部署間での連携しスピードを上げていく、迅速な意思決定を目的としていました。

部署間の連携は、お客様の情報や機関の情報などたくさんの情報があるため、その中でのガバナンスをどのようにキープしていくのか、セキュリティ設定の方法を考えながらSSOTを目指してこられたと思います。

③Unity Catalog機能のガバナンス制御と新機能セデレーション機能の発表

データブリックスのレイクハウスプラットフォームにおいては、皆さんが契約されているストレージ環境の上に、構造化、非構造化データ問わず、データレイクというテーブルフォーマットで情報管理し、この情報が物理情報とメタ情報を同時に保持することによって、メタ情報を保持する中で、Unity Catalog※機能で、どのユーザーがどのデータをどのように使えるのかというガバナンス制御を行っていけるようになっております。

そうすることによって、データを一元管理しながら、データサイエンティスト、データエンジニアから一部データストリーミングのデータの放り込み、AIやBI実現しています。

さらに今年度レイクハウス機能においてセデレーション機能を発表しました。これは外部のデータをユニティカタログ下で管理することにより、実際データブリックスの中でそれぞれの外部データからもデータを見ていけるようになります。
これによりアクセスポイントを統一させ、データを統一されたガバナンスで実現できるようになります。

※Unity Catalogについての詳しい説明 https://www.databricks.com/jp/product/unity-catalog

 

民主化されるAI「LLMOps」 のデモ実演

大規模言語モデル運用 (LLMOps) のデモが行われました。
LLMOpsの詳しい内容については以下をご参照ください。
]LLMOps※　みなさんのデータで教育をする時のタイミングのズレを、ベクターサーチを使いながら、最新の情報で回答ができます。LLMのモデルをトレーニングの後にどのモデルが適していたのかエバリエーションを行いました。最後に実装する中で、サービングを行う点では目的によってLLMを使い分ける必要があり、Unity Catalogでガバナンス制御をしながら行える環境がデータブリックスでのレイクハウスAIになります。

 ※LLMOpsについての詳しい説明

大規模言語モデル運用 (LLMOps) には、運用環境で大規模な言語モデルの運用管理に使用されるプラクティス、手法、およびツールが含まれます。

OpenAIのGPT、GoogleのBard、データブリックスのDollyなどのリリースによって強調されているLLMの最新の進歩は、LLMを構築および展開する企業の大幅な成長を推進しています。

 

参考 https://www.databricks.com/glossary/llmops

 

 

基調講演後のフロアーの様子

基調講演後は、ブースを散策。
基調講演の前後でブースに訪れる方も多く、各ブースとてもにぎわっていました。
ブースは全部で１３ありました。

基調講演は、Room A ～Room Cをつなげた大きな会場で行われました。
その他の各講演はRoom D、E、F、ライトニングトークエリアで行われました。

おかげさまでジールのブースも混雑し、みんな対応が忙しそうな様子でした。

 

ランチタイム

基調講演が終わると、出口でサンドイッチとお茶が配られました。ブースエリアの端にドリンクエリアが設けられ、熱々の美味しいコーヒーもいただくことができました。

皆さんリラックスしながらランチタイムを楽しんでいました。
基調講演を集中して聞いたあとのサンドイッチは美味しかったです。ごちそうさまでした。

 

ブース訪問

 

日本マイクロソフト株式会社様

「ジールさん、いつもお世話になっておりま～す。」
Azureビジネス本部小田さまより、素敵なポーチをいただきました。

 

ThoughtSpot合同会社様

先週もお会いしました、ThoughtSpot日本カントリーマネージャー有延さま(写真左)。
「あ、また会ったね～。取材ご苦労様～。」と労いのお言葉を頂戴いたしました。

有延さまの記事はこちら https://www.zdh.co.jp/bi-online/interview-dialogue004/

 

データブリックス・ジャパン様

データブリックス・ジャパンの竹下さま(写真右)がブースにいらしたので、お名刺交換と突撃miniインタビューさせていただきました。
竹下さまは以前、voicyの記事を書かせていただいた際に、大変お世話になりました。

竹下さまの記事はこちら
＜前編＞データとAIの民主化 データブリックス竹下さん
https://www.zdh.co.jp/bi-online/voicy20221115/

＜後編＞データとAIの民主化 データブリックス竹下さん
https://www.zdh.co.jp/bi-online/voicy20221117/

 

 

データブリックス・ジャパン竹下さまへ突撃miniインタビュー

―データブリックスが発表した、「データとAIの実践について、組織の人材教育を行うサービス」であるCOEパッケージについて教えてください。

竹下さま：COEはCenter Of Excellence(お客様組織)のことです。人材強化のためにデータのアナリスト、サイエンティスト、エンジニアなどのタイプが必要で、パーツパーツを組み合わせ、あるユースケースを実現できるところまでをご支援するパッケージです。最終的にずっとお付き合いするかというとそうではなく、「お客様の企業が内製化すること」に道を定めているのでご支援という形でサポートします。

特に内製化が必要な個所は、会社のロジックが集まるところなのでそれを外に出すのは良くないため、内部で人材を抱え込み、早いサイクルで活用していくことをコンセプトにしています。それを主軸に細かなサービスがあります。

―人材育成はどのように学ぶのですか？

竹下さま：机上というよりは、OJT方式で学びます。
需要予測で例えると、コンビニでいくつおにぎりが売れるかというたとえの時に、企画から本番化するところまで伴奏します。そこまでやらないと目に見えるビジネス世界が分からないと思います。それを一度体験していただいたのち、２回目はその方の企業で行っていただきます。それを繰り返すことで内製化を繰り返していきます。

―OJTの育成期間はどれくらいですか？

竹下さま：難しい質問なのですが、現状のスコアと目指すスコアのギャップによりますが、３ヶ月～１年の区切りで我々と契約していただき、負荷がかからない様な状態で伴奏してきます。ただ、お客様依存なのではっきりとした期間は申し上げにくいです。どれくらいの期間ご支援させていただくかはお客様毎に違うため、はっきりとした期間は申し上げにくいです。

―COR COEサービスはいつから開始しましたか？

竹下さま：我々２月から会計年度なのですが、そこが戦略の一つに入っていますので、今年の２月からスタートしました。

COEとは、Center Of Excellence（お客様のDATA+AIの専門組織）のことです。組織・人材強化のために必要なペルソナ（ビジネスの専門家、サイエンティスト、アーキテクト、エンジニア）と成功要因（データ＋AIブループリント、ユースケースアクセラレーション、レイクハウスオペレーション、組織活性化とイネーブルメント）を組み合わせ、有機的にユースケースの実現を加速させる支援パッケージです。

内製化には狭義の内製化と広義の内製化がありますが、「お客様企業が内製化する（懇意にしているパートナー含め）」という広義の内製化を意味しています。このパッケージは、COEをDatabricks Professional Servicesが請け負うのではなく、あくまでお客様の組織を育てるということにフォーカスします。

当初はお客様5名に対して、データブリックスの支援が10名だったとしても、3年後には、お客様COE組織が100人、データブリックス側は2名になっているようなお客様の自律度合いに合わせて、関与を減らしていくというリーズナブルなご支援になっています。

結果、企業のアセットとなるようなアルゴリズムやデータを扱う部分を完全に外部に委託するのではなく、あくまでも広義の内製化で担い企業内にアセットとノウハウを蓄積することをコンセプトとしています。

机上とコーチング方式の双方で学びます。いきなり実務をやれと言われても無理な話なので、体系的にデータパイプライン、データガバナンス、モデル構築、MLOpsなどをハンズオンでトレーニングをするところから始まります。その後、プロジェクトに入り、実際のタスクを担当しながら、コーチのアドバイスを受けつつ、企画からPOC、プロトタイプ、本番化までを伴走します。

そこまでやらないと眼に見えるビジネスの世界がわからないとお思います。それを伴走型で体験して、2回目以降は自律化してもらうという繰り返しとなります。
育成期間は、個々人の現スキルセットにより異なります。個人レベルでは、3ヶ月から1年は必要です。一方で、COE組織にとっての成功要因と参加メンバーの働き方を根付かせるには時間を要します。

COEパッケージは、1年単位の契約となり、長期的に組織構築、人材育成、ユースケース実現を、双方でコミットした形で進めます。1年目は、COE組織の設立、2年目は、COE組織の拡大、3年目は自律化という流れです。

COEパッケージは、この名前でサービス化したのは、今年度（DBXの会計年度は2月から）からです。ただしこれまでのDatabricks Professional Servicesの支援実績の中で、Data forwardな企業へと変革を遂げた企業に対して、実施してきたサービスや方法論をフレームワークとしてまとめたものになります。

日本でも同様のサービスを昨年から提供しており、今年からはCOEパッケージとして、提供している大企業が増えてきています。

 

―お忙しいところminiインタビューをありがとうございました。ぜひ多くの方にご体験していただきたいサービスだと思いました。

竹下さま：ありがとうございました。

COEについての詳しい内容はこちら
https://www.databricks.com/blog/lakehouse-center-excellence-4-key-tenets-successful-data-and-ai-business

 

スタンプラリー

会場ではスタンプラリーも催されていて、スタンプラリーではドリーちゃん（Dolly）のTシャツをゲットできます。Dollyとは、データブリックス社が開発した、ChatGPTのような人間との対話行動を示すためにトレーニングされた大規模な言語モデル（LLM）のことです。

 

スポンサーライトニングトーク

ジールからは田畑さんが「Databricksを利用したマイグレーションのススメ」を講演していました。
ライトニングトークの5分前に着席したのですが、開始直前に後ろを振り返ると大勢の立ち見のお客様が、後方で聴講されていました。座ってしまって申し訳ありません。

 

感想

大勢の方がいらっしゃり、大変な賑わいでした。いや～、今回もとても刺激的なイベントでした。
今回ジールではDatabricks Marketplaceにて、オープンデータ提供サービス「ＣＯ－ＯＤＥ（コ・オード）」のデータ提供を開始することを発表しました。
この連携により、誰でも簡単にデータ分析ができ、サードパーティデータへ高まる活用ニーズに対応が可能となります。
現在「ＣＯ－ＯＤＥ（コ・オード）」で提供できるデータの種類は、気象情報（気象台約150観測地点）、人口・世帯データ（住民基本台帳）、特定健康診査・特定保健指導、ボーリング柱状図など27にものぼります。
今回の連携は、データブリックスが掲げる「データとAIの民主化」を加速させるきっかけとなり、今後ますますデータの活用の幅が広まっていくと思います。

詳しくはこちら https://www.zdh.co.jp/topics/20230914/

ＣＯ－ＯＤＥについての詳細はこちら https://www.zdh.co.jp/products-services/external-data/co-ode/

 

本日いただいたもの

マイクロソフト様のブースでいただいたポーチは、今回もご多分に漏れず、早速息子がペンケースに使うと持って行きました。
ドリーちゃんのTシャツ、大切に着させていただきます。