データ分析基盤コンサルティングを実施している株式会社メソドロジック(本社：東京都港区麻布台、代表取締役社長：大西俊幸、以下「メソドロジック」)は、2021年4月27日、日立造船株式会社（社長兼COO：三野 禎男、以下「日立造船」）の、IoT基盤のデータ分析の課題に対して、米Databricks 社の日本法人であるデータブリックス・ジャパン株式会社（本社：東京都港区、社長：竹内 賢佑、以下「データブリックス」）が提供する統合データ分析基盤『レイクハウス・プラットフォーム』の導入支援をしたことを発表いたしました。
これにより日立造船は、同社のIoT基盤と連動するデータ分析・機械学習システムの運用を効率化するとともに、データブリックスを用いたデータの利活用を実施していきます。
背景
日立造船は、2018年より遠隔監視およびIoT、ビッグデータ、AIなどのICT活用の拠点としてHitz先端情報技術センター「A.I/TEC（エイアイテック）」の運用を開始しました。主力事業となるゴミ焼却発電施設では、遠隔監視・運転支援サービスの先駆けとして先進的な取り組みを展開しており、全社的にデジタル化を加速させるため、事業製品や工場を横断したIoT基盤の構築を開始しました。
課題
日立造船では、IoTと連動したデータ分析、機械学習のシステムの導入運用を検討・実施していくにあたり、以下の課題が挙がりました。
１．大量データの分析に関する不安
これまでIoTで収集したデータによる特徴量抽出などは、個人のローカル環境で実施してきました。しかし、データ分析者がハンドリングするデータ量の増加に伴い、ローカル環境では対処が困難なケースが発生するようになったため、大規模データを効率的に処理するための仕組みを構築する必要性が高まっていました。
２．データ分析者の育成
データ分析者は、案件に応じて様々な手法を選択して分析う必要があり、部門全体として分析力を向上するためには、分析者がそれぞれの案件で得たナレッジを展開することが不可欠です。しかし、そのためのインフラ整備が十分になされておらず、効率的なナレッジを共有することが困難な状況が続き、データ分析者は、Python、SQLでの分析内容について、ナレッジを効率的に共有できる方法を模索していました。
３．機械学習でのモデル管理・スムーズなデプロイ環境
適切かつ意味のあるデータを分析し、恒常的に価値を創出し続けるためには、分析イテレーションを効率的に繰り返し、デプロイしたモデルについても適切に管理・監視し続ける必要があります。そのため、蓄積したデータを十分に活用することができる、機械学習のCI/CD（継続的インテグレーション/継続的デリバリー）環境が求められておりました。
提案
これらの課題を解決するために、データブリックスのパートナーであるメソドロジックは、日立造船の要件詳細をヒアリングした上で、データブリックスの「レイクハウス・プラットフォーム」による課題解決を提案しました。
- 今後のデータ量増加に対する分散処理環境としてのApache Spark
- データ分析者の協同開発環境に、Databricks Notebook
- 機械学習のモデル管理、柔軟なデプロイにMLflow
「レイクハウス・プラットフォーム」
データブリックスは、ストリーミング処理とバッチ処理の両方に対応できることが強みのプラットフォームです。大量データ処理の中心的な分散処理エンジンApache Sparkを中心とし、IoTデータ取集に強みを発揮します。また、Spark向けに特化されたストレージソフトであるDelta Lake（データレイク）により、高速かつ高信頼性のデータパイプラインを構築することを可能にします。データサイエンティスト向けにはMLflowを使用しての協同開発によるノウハウ共有、データの調査やモデルの構築を一箇所に集約して実行可能な環境になっています。
日立造船では、データブリックスの各種機能を5カ月間にわたり検証、評価し、導入を決定しました。今後、日立造船では、様々なデータに対して データブリックスを用いたデータの利活用を実施していきます。
導入イメージ図
株式会社メソドロジックについて
メソドロジックは、データモデリングとアーキテクチャー設計を軸としたIT コンサルティング会社です。ビジネスの本質を捉え、業務と、システムの構造を可視化するモデリングと、最適な構造に変革するアーキテクチャー設計を実施しております。最先端の技術を活用したIT アーキテクトを通じてエンタープライズ向けシステムの構築、継続性のあるシステム運用、改善を支援しております。
・名 称：株式会社メソドロジック
・代 表：代表取締役社⾧ 大西 俊幸
・住 所：東京都港区麻布台2-4-5 メソニック39MT ビル
・事業内容：データモデリング、アーキテクチャー設計
・U R L：http://www.methodologic.co.jp
データブリックス・ジャパン株式会社について
データブリックスは、グローバルで唯一のデータ＆AI 企業です。Comcast、Condé Nast、Nationwide 、そしてH&M といった5,000 以上の世界のリーディング企業が、データブリックスが提供するオープン、且つ統合されたプラットフォームを活用し、データエンジニアリング、機械学習、アナリティクスなどのデータプロジェクトに取り組んでいます。データブリックスは多くのベンチャーキャピタルから支援を受け、米国サンフランシスコに本社を構え、世界中に営業拠点を有しているグローバル企業です。Apache Spark™、Delta Lake、MLflow のクリエーターによって創立され、企業のデータチームが抱える世界の最も困難な課題を解決するサポートをしています。
※その他のデータブリックスの詳細に関しては、Twitter、LinkedIn、Facebook をフォローしてください。
・名 称：データブリックス・ジャパン株式会社
・代 表：社⾧ 竹内 賢佑
・住 所：東京都港区六本木1 丁目4-5 アークヒルズサウスタワー16 階
・事業内容：データ&AI 向け統合データ分析プラットフォームの提供
・U R L：https://databricks.com/jp/
▼外部リンク
https://prtimes.jp/main/html/rd/p/000000002.000065185.html
