Domo Magic ETLを利用すれば、プログラミングの知識は一切不要となり、Snowflakeをはじめとするクラウドシステムなどに迅速に接続でき、短時間でデータパイプラインを構築できるため、企業や AIを導入する会社が費用プラスの効果を享受し、無料の問い合わせ・ログインサポートを提供するツールとして活用され、その効果が情報プラットフォーム上で評価されているというそうです。使ってみましたシリーズの Domo 続編、新企画のSnowflake連携シリーズ第1弾として、今回も突撃隊長ウエムラが調査しレポートいたします。
目次
Domoとは（サラッとおさらい）
Domoは（別名ドーモ）として知られ、クラウドベースのビジネスインテリジェンス（BI）ツールであり、企業がデータを活用してビジネス成果を最大化するためのプラットフォームです。Domoは、データの収集、統合、分析、可視化を一元化し、ログイン後すぐに使えるアプリとして、リアルタイムな意思決定をサポートします。直感的なダッシュボードやレポート作成機能に加え、ユーザーはシンプルなテーブル表示でデータ操作を行い、ビジネスインサイトを効率的に得ることができます。
さらに、Domo AIや機械学習を活用した予測分析機能を提供しており、オールインワンプラットフォームが提供する独自の特徴と高度なデータ分析力は、データドリブン文化の基盤を実現し、企業の意思決定を最大化する力となるのです。
7つのステップが組織全体で統合的に活用され、各部門のデータ分析へのアクションを促進します。
② データ蓄積：リアルタイムでの収集と管理により、顧客体験の向上を実現します。
③ データ準備 (ETL)：AIを活用した自動ETLプロセスで、高速かつ正確な加工を実現します。
④ 可視化：ダッシュボードを駆使して、業界最先端の分析結果を誰でもすぐに把握できる環境を提供します。
⑤ 通知：リアルタイムのレポートとメールによる自動アラート機能で、重要な成果を確実に届けます。
⑥ 共有：部門間でのデータ共有とアクションにより、ビジネス成果を最大化します。
⑦ ガバナンス：高度な管理機能と組織の規模に応じた統合ソリューションで、企業のデータ活用を支えます。
データ接続はDomo、データ蓄積はSnowflake、そしてデータ準備はDomoとして、各レイヤーで使い方やサポートのポイントが明確に設定されている点についても説明します。
Domo Magic ETLとは
Snowflakeにあるdomo データを、技術スキルが高くない方にもおすすめの使い方が容易です。Domo Magic ETLを活用する事例をご紹介します。
こちらの画面、Domoユーザーにはお馴染みのETL画面になりますので、決して敷居は高くないですね。
ETLフロー図
Domo Magic ETLの概要説明の前に、以前、使ってみましたシリーズDomo 編を3回に分けて連載いたしました。今回はDomo の ETL 機能についてご紹介します。
こちらは過去の記事です。
使ってみましたシリーズ 第８弾 【Domo（ドーモ） 第1回準備編】 実はゲーミフィケーション搭載のBIツールだった！？
使ってみましたシリーズ 第８弾 【Domo（ドーモ）第2回ハンズオン編①】 実はゲーミフィケーション搭載のBIツールだった！？
使ってみましたシリーズ 第８弾 【Domo 第3回ハンズオン編②】 実はゲーミフィケーション搭載のBIツールだった！？
イベント突撃レポートシリーズ 第3弾 Domo】 データの解放、進化する組織へ Domopalooza Japan 2023 潜入編
Domo Magic ETLは、複数のソースからデータを取得・処理・変換してDomoに読み込むことができる機能です。Domo Magic ETLプラットフォームを使って、データフローの視覚化、操作の定義、進行中のプレビューが行えます。
下の図は、Domoのアーキテクチャをご紹介した資料になります。赤枠で表した箇所が今回のDomo Magic ETL になります。
Domo Magic ETLは、データの接続、格納、準備のすべての処理を繋げる役割を担っています。
出典：ジール.Domo紹介資料.https://www.zdh.co.jp/products-services/bi/domo/
しかも、プログラミングが不要でデータパイプラインを構築できます。
DomoのETLツールを使用すると、たった数回のクリックでデータ変換が完了します。データセット、アクション、接続をキャンバスにドラッグアンドドロップするだけの操作です。DomoのMagic ETLプラットフォームを使って、データフローの視覚化、操作の定義、進行中のプレビューも行えます。
Domo Cloud Amplifierとは
Amplifierは、「増幅器」の意味を持つオーディオ機器用アンプであり、企業がAIやsoftware技術と共に活用する信頼性の高いツールとして位置付けられています。Domo内にデータを蓄積せず、外部DWHを直接読み込み、ETLプロセスで加工後、そのまま外部DWHへ書き出す先進のシステム機能となり、BI分析やネット連携にも応えるプラットフォームを実現しています。今回は、このDomoの設定方法や使い方の詳細もご紹介する回となります。
Domoに関する詳しい説明はこちらになります。
https://www.zdh.co.jp/products-services/bi/domo/
ETLに関する詳しい説明はこちらになります。
https://www.zdh.co.jp/bi-online/guide-bi_02/
Snowflakeとは
今回Domo Cloud Amplifierで接続するSnowflakeについても、ネットワーク連携とAIシステムの採用が注目されています。この話題に関して、メールでのお問い合わせや無料ヘルプ事例も合わせてご紹介します。Snowflakeは、企業が抱える膨大なデータ処理の課題を解決し、プラットフォーム型の拡張性を有するとともに、費用面でプラスの効果を生み出すコスト最適化やメンテナンスの容易さを実現します。また、オンプレミスの限界を克服し、企業のデータ分析や活用を効率的に推進するヘルプ体制を備えた強力なツールであり、BIシステムとの連携がその使い方のシンプルさを物語っています。
Snowflakeの主な特徴と利点
2.コスト最適化：必要に応じてリソースを調整でき、使用した分だけ課金されるため、コスト効率が高い
3.メンテナンスが容易：自動的にアップデートやメンテナンスが行われるため、運用負荷が軽減される
4.安全で簡単なデータ共有：セキュリティを確保しつつ、他社とのデータ共有が容易に行える
こちらのサイトでは、Snowflakeについてより詳細な解説を行っていますのでご参照ください。
SnowflakeとTableauによる分析レポート作成のデモンストレーション（第1回）Snowflakeとは
Domo Magic ETLの設定方法
さっそく設定手順をご説明します。
Snowflakeと連携するには、事前に設定が必要になりますのでご注意ください。
１、SnowflakeのウェアハウスにあるCloud Amplifier画面から、【新しいクラウドアカウントを追加】をクリックします。
２、既存のクラウドウェアハウスを拡大すると表示されたら、ネイティブ統合で【Snowflake】をクリックします。
３、アカウント情報を入力します。
４、データの鮮度から、更新頻度とキャッシュ期間を設定します。
５、【Snowflakeクラウド統合を接続】の画面になります。Domoで動かすSnowflakeのウェアハウスを予めSnowflake側でご準備ください。
そして、その横にあるオペレーションで、下記必要箇所にチェックを入れます。
・読み込み（Domoを使ってSnowflakeにデータを読み込む）
・クエリ（Snowflakeに保存されているデータのクエリに使用）
・変換（全てのデータ変換をSnowflakeにネイティブに実行）
６、これでSnowflakeクラウドの統合を接続完了できました。
この後「書き込み統合」の設定も続きますが、こちらはSnowflake側での作業も必要になります。Domo側で指示される内容に従い、書き込み統合の設定作業を進めてください。
７、読み込み統合・書き込み統合の設定が済めば、DomoからSnowflakeのデータ編集ができるようになります。
SnowflakeのウェアハウスにあるCloud Amplifier画面の【データを変換】から【Magic ETL】をクリックします。
８、コンピューティングで【Magic_on_Snowflake_TEST】をチェックします。
あら簡単、これでもうSnowflakeのデータセットを接続できてしまいました。
Domo Magic ETLの使い方
Snowflakeのデータセットがサクッと接続できたところで、次にSnowflakeのデータをDomo Magic ETLプラットフォームを介して使ってみたいと思います。
手順としては、Snowflakeに格納されているCITIBIKE.PUBRIC.TRIPSとWEATHER.PUBLIC.JSON_WEATHER_DATA_VIEWテーブルをDomo Magic ETLプラットフォームにビューとして表示させ、2つのテーブルを結合した後、集計などグループ化したデータを表示してみます。
このSQLクエリをMagic ETLで再現します。
なおこのデータは公式のSnowflakeハンズオンでも使用するメーカー配布データのため、見覚えある人もいらっしゃるかと思います。
左側上下の２つのSnowflakeのアイコンがSnowflakeのデータになります。このデータを閲覧する形でDomo Magic ETLプラットフォームにデータを接続しています。
では早速設定方法について手順を解説いたします。
1、ドラッグアンドドロップで入力データセットパネルを配置します。
２、Snowflakeのテーブル【CITIBIKE.PUBRIC.TRIPS】を設定します。
３、１と同様に入力データセットパネルをドラッグアンドドロップで配置し、Snowflakeのテーブル【JSON_WEATHER_DATA_VIEW】を設定します。
４、列変更パネルをドラッグアンドドロップし、【STARTTIME】をテキスト型に変更します。
５、１と同様に入力データセットパネルをドラッグアンドドロップで配置し、【OBSEVATION_TIME】をテキスト型に設定します。
６、文字列演算で文字列の名前やサブストリング(今回は先頭から13文字を表示)など設定しています。
７、2つテーブルのキーを設定しデータを結合します。今回は left outer join です。
８、集計を行うためグループ化アイコンをドラッグアンドドロップし、集計キー、カウント列などを設定します。
９、出力データセットパネルを設定し、出力データセット名を入力すれば完了です。
じゃじゃ～ん。
はい、これで２つのテーブルを結合して集計するクエリの実装は完了してしまいました。
Domoは、全てがビジネスユーザー視点なので操作面において全く不自由はありませんでした。
そして完成したデータがこちらになります。
Snowflake内部でSQLを実行し、Domo側で表示しています。
裏の処理はご覧の通り、画面上では全く分かりません。いつもお使いのDomoと何ら変わり無いので、ユーザーには気が付かない部分だと思います。
★すごいポイント★
👆久々にウエムラお絵かきドーモくんを登場させます。
★DomoはSnowflakeに対してデータの上書きや修正を直接行わず、”SnowflakeのDomo専用領域で実行できるSQLクエリを投げるだけなのでSnowflakeにある元データを編集することもなければ、追加することもなし。ましてやデータを壊すという心配も一切ございません。システム部門もユーザーもストレスフリーです。
★SQLの知識は一切不要でデータを結合したり、集計したりができます。
★ご覧いただいた通りデータの結合や集計は、ドラッグアンドドロップ、設定のチェックだけで作成できてしまいます。
★SQL実行はSnowflake側で、表示はDomo側で処理しています。
★Snowflake側でDomo用の領域（Domo専用DB）を確保しているため、他の領域（他のDB）への影響は全くありません。
★Snowflake側では全てのデータを階層で暗号化し、何重にもロックされたパスワードで管理しているため、セキュリティ面での心配もありません。
Domo Magic ETLを使ってみた感想
「プログラミング不要のデータパイプラインを、簡単に構築できちゃうんだって」というウワサを聞きつけて試してみたのですが、まぁ～拍子抜けするほどあっさり簡単に連携出来てしまい、逆にビックらこきました。
今回の企画、Domo Magic ETL部分の記事を書いた後に、3日間のSnowflake研修をみっちり受け全体を仕上げました。Snowflakeの盤石なセキュリティも学んだため、今回のDomo Magic ETLって、最強のセキュリティと最速のデータ接続と最高のDomoプラットフォームで文句なしじゃん。と心から思いました。
どうですか。ウワサ通り、ウソ偽りなし、仰る通り使いやすいDomoを、みなさんもぜひ一度お試しされてみてください。
Domoに関する詳しい説明はこちらになります。
https://www.zdh.co.jp/products-services/bi/domo/
ジールでは Domo、Snowflakeのハンズオンセミナーを開催しております。
Domo、Snowflakeのより詳細な内容、価格に関してはこちらまでご相談ください。
Domoの価格について
価格については、お客様の環境やニーズに応じてご案内いたします。詳細はお問い合わせください。
emi uemura
関連サイト
- データ分析を始めたい
- 社内のDX化に課題がある
- クラウドサービスを導⼊したい
「DXやデータ分析をどこから始めたらいいかわからない」
「見積もりが欲しい」といった方は、お気軽にジールにお問合せください。
