无边界 Lakehouse 允许您将 Apache Iceberg 开放表格式与托管式存储相结合，在Google Cloud 上构建开放数据湖仓一体。此架构将存储与计算分离，为分析和 AI 工作负载提供统一的基础。
为了管理开放表元数据，Lakehouse 使用 Lakehouse 运行时目录，这是一种无服务器元数据服务，可集中发现并消除跨代码库同步。这种设计让多个引擎（包括 Managed Service for Apache Spark、Apache Flink、Apache Hive、Trino 和 BigQuery）能够直接访问单一事实来源，而无需复制数据。
主要优势
- 无服务器架构：Google Cloud 的 Lakehouse 无需进行服务器或集群管理，从而减少了运营开销，并可根据需求自动伸缩。对于计算工作负载，无服务器批处理和交互式会话可消除作业之间的资源争用，并自动执行基础设施维护。
- 统一的数据管理和治理：与 Knowledge Catalog 集成，可确保在多个引擎中集中定义和强制执行治理政策，并支持语义搜索、数据沿袭和质量检查。
- 存储扩展：Google Cloud 的 Lakehouse 扩展了 Cloud Storage 管理功能，包括 Autoclass 分层和客户管理的加密密钥 (CMEK) 等功能。
- 全托管式体验：与 BigQuery 集成后，Google Cloud 的 Lakehouse 可提供全代管式分析和 AI 体验。
- 高可用性和灾难恢复：Google Cloud 的 Lakehouse 提供跨区域复制和灾难恢复（预览版）选项，以支持数据的高可用性。
使用场景
- 开放式湖仓一体：使用 Cloud Storage 作为存储层，Google Cloud 的湖仓一体为 Apache Iceberg 数据提供管理和治理接口。
- 分析和事务集成：直接在 AlloyDB for PostgreSQL（[预览版][4]）中访问分析型 Apache Iceberg 表，将分析数据与事务型工作负载相结合。
- 统一访问：让不同的引擎（Apache Spark、Apache Flink、BigQuery）通过一致的元数据与相同的 Apache Iceberg 表进行交互。
- 跨云分析和 AI：访问跨云数据（预览版），以同步来自其他云服务商的元数据，从而让您能够通过 Apache Iceberg REST 目录端点使用 BigQuery 或外部开源引擎查询数据，而无需迁移数据。
- 公共数据集探索：使用 Apache Iceberg REST 目录端点轻松查询高质量公共数据集，而无需管理基础设施。
- Hive Metastore：使用 Hive 目录将 Apache Spark 和 Apache Hive 等开源引擎连接到 Lakehouse 运行时目录。这样可以消除维护自托管 Hive Metastore (HMS) 的运营开销，同时在 BigQuery 中实现无缝数据共享和直接表查询。
接口和工具
您可以使用以下工具与 Google Cloud 的 Lakehouse 资源进行交互：
- Google Cloud 控制台：使用控制台创建目录、查看目录属性、查看审核日志和配置权限。
- BigQuery SQL：使用标准 SQL DDL（数据定义语言）创建和管理与 Lakehouse 运行时目录集成的 Apache Iceberg 表和外部表。
- 开源引擎：将 Apache Spark、Apache Flink 和 Apache Hive 等引擎与 Lakehouse 运行时目录搭配使用，以读取和写入数据。
- IDE 和笔记本：使用交互式 Apache Spark 笔记本和 IDE 扩展程序（例如适用于 VS Code 的 Data Agent Kit [DAK] 扩展程序），直接在开发环境中向 Google Cloud 进行身份验证、以交互方式编写代码以及管理笔记本会话。
- 编排和 MLOps 工具：使用 Managed Service for Apache Airflow（以前称为 Cloud Composer）和 Vertex AI 中的 Kubeflow Pipelines，将无服务器批处理流水线和目录操作与编排工作流集成。
- Apache Iceberg REST Catalog API：使用 Apache Iceberg REST 目录端点，通过与开放 Apache Iceberg REST 规范兼容的工具与服务进行交互。
- Apache Iceberg 表支持：支持 Apache Iceberg V2 表（正式版）和 V3 表（预览版）。不支持 Iceberg V1 表。
后续步骤
- 了解 Google Cloud 的无边界湖仓一体的架构。