IoTプラットフォーム：データ蓄積

この画像は「Dereva LakeHouse（デレバレイクハウス）」の機能とアーキテクチャを詳細に示した図です。データがどのように管理、処理、活用されるかのフローが図解されています。

1. LakeHouse（レイクハウス）管理コンソールの主要機能

   このプラットフォームは、ノーコード/ローコードでデータ処理が可能な管理画面を介して操作します。
   前処理・ローデータ保管 → データソース管理 → データ試作・検証 → カタログ登録 → 定期実行設定
   という流れでデータ処理を実施します。

   主要な機能は以下の通りです。

   • Data Source Crawler（データソースクローラー）：データソースの自動カタログ化
     データベース（RDB、NoSQLDB）、CSVデータなど、さまざまなデータソースを登録すると、自動でデータカタログを作成します。
   • Data Catalog（データカタログ）
     クローラーで登録したデータや処理ロジックを呼び出し、再利用可能な形で管理します。これにより、処理の重複を防ぎ、運用を効率化できます。
   • Easy Query Creator（イージークエリクリエイター）：質問形式のSQL生成
     専門知識がなくても、質問形式で対話的にSQL文を自動生成できます。これにより、データの抽出や処理を簡単に実行できます。
   • Data Pipeline Creator（データパイプラインクリエイター）：データ処理の自動化
     各ツールを組み合わせたデータ処理の流れ（パイプライン）を設計し、定期実行を自動化できます。
2. データフローとデータレイク（AWS S3）

   データ処理の中心となるのは、低コストで大容量のデータ保管を実現する「DataLake（データレイク） (AWS S3)」です。

   • データ取り込み：Dereva LakeHouse Link（デレバレイクハウスリンク）を組み込むことで、Dereva（デレバ）公式連携アプリ化が可能になります。
     
     • 「Dereva DataStream（デレバデータストリーム）」から、DLDFフォーマットやCSVファイル、無手順ローデータが直接保管されます。
     • Dereva（デレバ）公式連携アプリのKonekti EX（コネクティイーエックス）やMetabase（メタベース）などと連携できます。
   • データの流れ：
     • 取り込まれたデータは、DataLake（データレイク）に「DLDFフォーマットローデータ」「Data Catalog Format（データカタログフォーマット）」「CSVなどテキストファイル」として保存されます。
     • これらのデータは、管理コンソールの各機能を通じて、必要な形式に変換されたり、分析用データとして活用されます。
3. 外部連携機能

   「Dereva LakeHouse（デレバレイクハウスリンク）」は、他のサービスとの連携を前提とした設計になっています。

   • Cloud Tools（クラウドツールズ）：AWSサービスとの連携
     • Athena（アテナ）：S3上のデータに対し、標準SQL文でカスタムな分析や集計を実行できます。
     • Glue（グルー）：ETL（抽出・変換・読み込み）機能を利用して、各種システム間のデータ連携を容易にします。
   • SageMaker（セージメーカー） / Redshift（レッドシフト）：データ解析や機械学習のモデル構築、さらに大規模なデータウェアハウスの構築が可能です。

この図は、Dereva DataStream（デレバデータストリーム）などで収集されたデータが、Dereva LakeHouse（デレバレイクハウス）でカタログ化され、各種ツールや外部サービスと連携することでノーコード・ローコードで簡単に分析や活用ができるということを説明しており、Dereva（デレバ）が包括的なプラットフォームであることを示しています。