Was ist ein grenzenloses Lakehouse?

Mit Borderless Lakehouse können Sie Open-Data-Lakehouses aufGoogle Cloud erstellen, indem Sie das offene Tabellenformat Apache Iceberg mit verwaltetem Speicher kombinieren. Diese Architektur entkoppelt Speicher von Rechenleistung, um eine einheitliche Grundlage für Analyse- und KI-Arbeitslasten zu bieten.

Zum Verwalten von Metadaten für offene Tabellen verwendet Lakehouse den Lakehouse-Laufzeitkatalog, einen serverlosen Metadatendienst, der die Erkennung zentralisiert und die Synchronisierung zwischen Repositories überflüssig macht. Dieses Design ermöglicht es mehreren Engines, darunter Managed Service for Apache Spark, Apache Flink, Apache Hive, Trino und BigQuery, direkt auf eine einzige verlässliche Quelle zuzugreifen, ohne dass Daten dupliziert werden müssen.

Hauptvorteile

  • Serverlose Architektur: Das Lakehouse von Google Cloud macht die Server- oder Clusterverwaltung überflüssig, reduziert den Betriebsaufwand und skaliert automatisch nach Bedarf. Bei Rechenarbeitslasten werden durch serverlose Batch- und interaktive Sitzungen Ressourcenkonflikte zwischen Jobs vermieden und die Infrastrukturwartung automatisiert.
  • Interoperabilität beim Lesen und Schreiben: Open-Source-Engines und BigQuery können dieselben Apache Iceberg-Tabellen lesen und schreiben (BigQuery-Schreibvorgänge sind in der Vorabversion verfügbar). Die optionale Tabellenverwaltung (Vorabversion) automatisiert die Komprimierung, den Ablauf von Snapshots und die automatische Speicherbereinigung.
  • Einheitliches Datenmanagement und einheitliche Governance: Durch die Integration in Knowledge Catalog können Sie Governance-Richtlinien zentral für mehrere Engines definieren und erzwingen. Außerdem bietet es semantische Suche, Datenherkunft und Qualitätsprüfungen.
  • Speichererweiterungen: Das Lakehouse von Google Cloud erweitert die Verwaltungsfunktionen von Cloud Storage um Features wie Autoclass-Tiering und kundenverwaltete Verschlüsselungsschlüssel (CMEK).
  • Vollständig verwaltete Umgebung: Wenn das Lakehouse von Google Cloud in BigQuery eingebunden ist, bietet es eine vollständig verwaltete Analyse- und KI-Umgebung.
  • Hochverfügbarkeit und Notfallwiederherstellung: Das Lakehouse von Google Cloud bietet Optionen für die regionenübergreifende Replikation und Notfallwiederherstellung (Vorabversion), um die Hochverfügbarkeit Ihrer Daten zu unterstützen.

Anwendungsfälle

  • Offenes Lakehouse: Verwenden Sie Cloud Storage als Speicherebene. Das Lakehouse von Google Cloud bietet die Verwaltungs- und Governance-Schnittstelle für Apache Iceberg-Daten.
  • Integration von Analyse- und Transaktionsdaten: Sie können direkt in AlloyDB for PostgreSQL (Vorabversion) auf analytische Apache Iceberg-Tabellen zugreifen, um analytische Daten mit Transaktionsarbeitslasten zu kombinieren.
  • Einheitlicher Zugriff: Verschiedene Engines (Apache Spark, Apache Flink, BigQuery) können mit denselben Apache Iceberg-Tabellen mit konsistenten Metadaten interagieren.
  • Cloudübergreifende Analysen und KI: Greifen Sie auf cloudübergreifende Daten in Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake und SAP Business Data Cloud (SAP BDC) zu. Föderierte Kataloge synchronisieren Metadaten von diesen Anbietern, sodass Sie die Daten mit BigQuery oder Open-Source-Engines abfragen können, ohne sie migrieren zu müssen.
  • Öffentliche Datasets untersuchen: Fragen Sie öffentliche Datasets über den Apache Iceberg REST-Katalogendpunkt ab, ohne die Infrastruktur verwalten zu müssen.
  • Hive-Metastore: Verbinden Sie Open-Source-Engines wie Apache Spark und Apache Hive über den Apache Hive-Katalogendpunkt mit dem Lakehouse-Laufzeitkatalog. Dadurch entfällt der Betriebsaufwand für die Verwaltung eines selbst gehosteten Hive-Metastores (HMS). Gleichzeitig können Sie Daten freigeben und Tabellen direkt in BigQuery abfragen.
  • Metastore-Modernisierung: Migrieren Sie Metadaten aus Dataproc Metastore oder anderen externen Metastores in den Lakehouse-Laufzeitkatalog, ohne Datendateien zu kopieren.

Schnittstellen und Tools

Sie können mit den folgenden Tools mit den Lakehouse-Ressourcen von Google Cloud interagieren:

  • Google Cloud Console: Verwenden Sie die Console, um Kataloge zu erstellen, Katalogattribute aufzurufen, Audit-Logs anzusehen und Berechtigungen zu konfigurieren.
  • BigQuery SQL: Verwenden Sie GoogleSQL, um Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog und externe Tabellen abzufragen. Verwenden Sie DDL und DML (Vorabversion), um Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog zu erstellen und zu ändern.
  • Google Cloud CLI, REST API und Terraform: Kataloge, Namespaces, Tabellen und Zugriffsrichtlinien programmatisch erstellen und verwalten.
  • Open-Source-Engines: Verwenden Sie Engines wie Apache Spark, Apache Flink, Trino und Apache Hive mit dem Lakehouse-Laufzeitkatalog, um Daten zu lesen und zu schreiben.
  • IDEs und Notebooks: Verwenden Sie interaktive Apache Spark-Notebooks und IDE-Erweiterungen wie die Data Agent Kit (DAK)-Erweiterung für VS Code, um sich bei Google Cloud zu authentifizieren, Code interaktiv zu schreiben und Notebook-Sitzungen direkt in Ihrer Entwicklungsumgebung zu verwalten.
  • Orchestrierungs- und MLOps-Tools: Integrieren Sie serverlose Batch-Pipelines und Katalogvorgänge in Orchestrierungs-Workflows mit Managed Service for Apache Airflow (ehemals Cloud Composer) und Kubeflow Pipelines in Vertex AI.
  • Apache Iceberg REST Catalog API: Verwenden Sie den Apache Iceberg REST-Katalogendpunkt, um mit dem Dienst über Tools zu interagieren, die mit der offenen Apache Iceberg REST-Spezifikation kompatibel sind.
  • Unterstützung für Apache Iceberg-Tabellen: Apache Iceberg V2-Tabellen (allgemeine Verfügbarkeit) und V3-Tabellen (Vorabversion) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt.

Nächste Schritte