Borderless Lakehouse を使用すると、Apache Iceberg オープン テーブル形式とマネージド ストレージを組み合わせて、Google Cloud にオープン データ レイクハウスを構築できます。このアーキテクチャは、ストレージをコンピューティングから分離して、分析ワークロードと AI ワークロードに統合された基盤を提供します。
オープン テーブル メタデータを管理するために、Lakehouse は Lakehouse ランタイム カタログを使用します。これは、検出を一元化し、クロスリポジトリ同期を排除するサーバーレス メタデータ サービスです。この設計により、Managed Service for Apache Spark、Apache Flink、Apache Hive、Trino、BigQuery などの複数のエンジンが、データの重複なしに信頼できる唯一の情報源に直接アクセスできます。
主なメリット
- サーバーレス アーキテクチャ: Google Cloud のレイクハウスでは、サーバーやクラスタの管理が不要になり、運用上のオーバーヘッドが削減され、需要に応じて自動的にスケーリングされます。コンピューティング ワークロードの場合、サーバーレス バッチとインタラクティブ セッションにより、ジョブ間のリソース競合が解消され、インフラストラクチャのメンテナンスが自動化されます。
- 読み取りと書き込みの相互運用性: オープンソース エンジンと BigQuery は、同じ Apache Iceberg テーブルの読み取りと書き込みを行うことができます（BigQuery の書き込みはプレビュー版）。オプションのテーブル管理（プレビュー版）により、圧縮、スナップショットの有効期限、ガベージ コレクションが自動化されます。
- 統合されたデータ マネジメントとガバナンス: Knowledge Catalog との統合により、複数のエンジンにわたってガバナンス ポリシーを一元的に定義して適用できます。また、セマンティック検索、データリネージ、品質チェックも行えます。
- ストレージ拡張機能: Google Cloud のレイクハウスは、Cloud Storage の管理機能を拡張し、Autoclass 階層化や顧客管理の暗号鍵（CMEK）などの機能を提供します。
- フルマネージド エクスペリエンス: BigQuery と統合すると、Google Cloud のレイクハウスはフルマネージドの分析と AI エクスペリエンスを提供します。
- 高可用性と障害復旧: Google Cloud のレイクハウスには、データの高可用性をサポートするクロスリージョン レプリケーションと障害復旧（プレビュー）のオプションが用意されています。
ユースケース
- オープン レイクハウス: Cloud Storage をストレージ レイヤとして使用し、Google Cloud の Lakehouse が Apache Iceberg データの管理とガバナンスのインターフェースを提供します。
- 分析とトランザクションの統合: AlloyDB for PostgreSQL（プレビュー）内で分析用の Apache Iceberg テーブルに直接アクセスして、分析データをトランザクション ワークロードと組み合わせます。
- 統合アクセス: さまざまなエンジン（Apache Spark、Apache Flink、BigQuery）が、一貫したメタデータを使用して同じ Apache Iceberg テーブルを操作できるようにします。
- クロスクラウド分析と AI: Databricks Unity Catalog、AWS Glue Data Catalog、Snowflake Horizon Catalog、Workday Data Lake、SAP Business Data Cloud（SAP BDC）のクロスクラウド データにアクセスします。連携カタログは、これらのプロバイダからメタデータを同期するため、データを移行することなく、BigQuery やオープンソース エンジンでデータをクエリできます。
- 一般公開データセットの探索: インフラストラクチャを管理することなく、Apache Iceberg REST カタログ エンドポイントを介して一般公開データセットに対してクエリを実行します。
- Hive metastore: Apache Hive カタログ エンドポイントを使用して、Apache Spark や Apache Hive などのオープンソース エンジンを Lakehouse ランタイム カタログに接続します。これにより、セルフホスト型の Hive メタストア（HMS）を維持する運用上のオーバーヘッドが排除され、BigQuery でデータを共有してテーブルを直接クエリできるようになります。
- メタストアのモダナイゼーション: データファイルをコピーせずに、Dataproc Metastore または他の外部メタストアから Lakehouse ランタイム カタログにメタデータを移行します。
インターフェースとツール
次のツールを使用して、Google Cloud のレイクハウス リソースを操作できます。
- Google Cloud コンソール: コンソールを使用して、カタログの作成、カタログ プロパティの表示、監査ログの表示、権限の構成を行います。
- BigQuery SQL: GoogleSQL を使用して、Lakehouse ランタイム カタログ内の Apache Iceberg テーブルと外部テーブルをクエリします。また、DDL と DML（プレビュー）を使用して、Lakehouse ランタイム カタログ内の Apache Iceberg テーブルを作成および変更します。
- Google Cloud CLI、REST API、Terraform: カタログ、名前空間、テーブル、アクセス ポリシーをプログラムで作成して管理します。
- オープンソース エンジン: Apache Spark、Apache Flink、Trino、Apache Hive などのエンジンを Lakehouse ランタイム カタログで使用して、データの読み取りと書き込みを行います。
- IDE とノートブック: インタラクティブな Apache Spark ノートブックと IDE 拡張機能（VS Code 用の Data Agent Kit（DAK）拡張機能など）を使用して、Google Cloud への認証、コードのインタラクティブな作成、ノートブック セッションの管理を開発環境内で直接行います。
- オーケストレーション ツールと MLOps ツール: Managed Service for Apache Airflow（旧称 Cloud Composer）と Vertex AI の Kubeflow Pipelines を使用して、サーバーレス バッチ パイプラインとカタログ オペレーションをオーケストレーション ワークフローに統合します。
- Apache Iceberg REST Catalog API: Apache Iceberg REST カタログ エンドポイントを使用して、オープンな Apache Iceberg REST 仕様と互換性のあるツールを使用してサービスを操作します。
- Apache Iceberg テーブルのサポート: Apache Iceberg V2 テーブル（一般提供）と V3 テーブル（プレビュー）がサポートされています。Iceberg V1 テーブルはサポートされていません。
次のステップ
- Google Cloud のボーダーレスなレイクハウスのアーキテクチャを理解する。
- 主なコンセプトで用語を学習する。