无边界 Lakehouse 允许您将 Apache Iceberg 开放表格式与托管式存储相结合，在Google Cloud 上构建开放数据湖仓一体。此架构将存储与计算分离，为分析和 AI 工作负载提供统一的基础。
为了管理开放表元数据，Lakehouse 使用 Lakehouse 运行时目录，这是一种无服务器元数据服务，可集中发现并消除跨代码库同步。这种设计让多个引擎（包括 Managed Service for Apache Spark、Apache Flink、Apache Hive、Trino 和 BigQuery）能够直接访问单一事实来源，而无需复制数据。
主要优势
- 无服务器架构：Google Cloud 的 Lakehouse 无需进行服务器或集群管理，从而减少了运营开销，并可根据需求自动伸缩。对于计算工作负载，无服务器批处理和交互式会话可消除作业之间的资源争用，并自动执行基础设施维护。
- 读写互操作性：开源引擎和 BigQuery 可以读写相同的 Apache Iceberg 表（BigQuery 写入功能处于预览版阶段），可选的表管理（预览版）可自动执行压缩、快照过期和垃圾回收。
- 统一的数据管理和治理：与 Knowledge Catalog 集成，可帮助您在多个引擎中集中定义和强制执行治理政策，并提供语义搜索、数据沿袭和质量检查。
- 存储扩展：Google Cloud 的 Lakehouse 扩展了 Cloud Storage 管理功能，包括 Autoclass 分层和客户管理的加密密钥 (CMEK) 等功能。
- 全托管式体验：与 BigQuery 集成后，Google Cloud 的 Lakehouse 可提供全代管式分析和 AI 体验。
- 高可用性和灾难恢复：Google Cloud 的 Lakehouse 提供跨区域复制和灾难恢复（预览版）选项，以支持数据的高可用性。
使用场景
- 开放式湖仓一体：使用 Cloud Storage 作为存储层，Google Cloud 的湖仓一体为 Apache Iceberg 数据提供管理和治理接口。
- 分析和事务集成：直接在 AlloyDB for PostgreSQL 中访问分析型 Apache Iceberg 表（预览版），将分析数据与事务型工作负载相结合。
- 统一访问：让不同的引擎（Apache Spark、Apache Flink、BigQuery）使用一致的元数据与相同的 Apache Iceberg 表进行交互。
- 跨云分析和 AI：访问 Databricks Unity Catalog、AWS Glue Data Catalog、Snowflake Horizon Catalog、Workday Data Lake 和 SAP Business Data Cloud (SAP BDC) 中的跨云数据。联合目录会同步这些提供商的元数据，以便您可以使用 BigQuery 或开源引擎查询数据，而无需迁移数据。
- 公共数据集探索：通过 Apache Iceberg REST 目录端点查询公共数据集，无需管理基础设施。
- Hive metastore：使用 Apache Hive 目录端点将 Apache Spark 和 Apache Hive 等开源引擎连接到 Lakehouse 运行时目录。这样可以消除维护自托管 Hive Metastore (HMS) 的运营开销，同时让您能够直接在 BigQuery 中共享数据和查询表。
- Metastore 现代化改造：将元数据从 Dataproc Metastore 或其他外部 Metastore 迁移到 Lakehouse 运行时目录，而无需复制数据文件。
接口和工具
您可以使用以下工具与 Google Cloud 的 Lakehouse 资源进行交互：
- Google Cloud 控制台：使用控制台创建目录、查看目录属性、查看审核日志和配置权限。
- BigQuery SQL：使用 GoogleSQL 查询 Lakehouse 运行时目录中的 Apache Iceberg 表和外部表，并使用 DDL 和 DML（预览版）在 Lakehouse 运行时目录中创建和修改 Apache Iceberg 表。
- Google Cloud CLI、REST API 和 Terraform：以编程方式创建和管理目录、命名空间、表和访问权限政策。
- 开源引擎：将 Apache Spark、Apache Flink、Trino 和 Apache Hive 等引擎与 Lakehouse 运行时目录搭配使用，以读取和写入数据。
- IDE 和笔记本：使用交互式 Apache Spark 笔记本和 IDE 扩展程序（例如适用于 VS Code 的 Data Agent Kit [DAK] 扩展程序），直接在开发环境中向 Google Cloud 进行身份验证、以交互方式编写代码以及管理笔记本会话。
- 编排和 MLOps 工具：使用 Managed Service for Apache Airflow（以前称为 Cloud Composer）和 Vertex AI 中的 Kubeflow Pipelines，将无服务器批处理流水线和目录操作与编排工作流集成。
- Apache Iceberg REST Catalog API：使用 Apache Iceberg REST 目录端点，通过与开放 Apache Iceberg REST 规范兼容的工具与服务进行交互。
- Apache Iceberg 表支持：支持 Apache Iceberg V2 表（正式版）和 V3 表（预览版）。不支持 Iceberg V1 表。
后续步骤
- 了解 Google Cloud 的无边界湖仓一体的架构。
- 在关键概念中了解相关术语。