Lakehouse mit Spark und Lakehouse-Laufzeitkatalog erstellen
Eine Lakehouse-Architektur kombiniert die Flexibilität eines Data Lake mit den Datenverwaltungsfunktionen eines Data Warehouse. In diesem Dokument erfahren Sie, wie Sie ein Lakehouse in Google Cloudeinrichten. Sie verwenden Apache Iceberg als Tabellenformat, Managed Service for Apache Spark für die Verarbeitung und den Lakehouse-Laufzeitkatalog Iceberg REST Catalog für die einheitliche Metadatenverwaltung.
In dieser Architektur werden offene Tabellenformate wie Iceberg verwendet, um Daten in Cloud Storage Data-Warehouse-Funktionen wie Transaktionen und Schema-Weiterentwicklung hinzuzufügen. Dieser Ansatz schafft eine zentrale Informationsquelle für Ihre Daten, auf die verschiedene Engines zugreifen können.
In diesem Dokument werden Kataloge behandelt, die Sie im Lakehouse-Laufzeitkatalog erstellen. Informationen zum Abfragen von Iceberg-Tabellen, die von AWS Glue Data Catalog, Databricks Unity Catalog oder Snowflake Horizon Catalog über föderierte Kataloge der Lakehouse-Laufzeit verwaltet werden, finden Sie unter Föderierte Kataloge mit Spark abfragen.
Lakehouse-Laufzeitkatalog
Der Lakehouse-Laufzeitkatalog ist ein serverloser, vollständig verwalteter Metastore, der auf dem Lakehouse-Laufzeitkatalog basiert. Er speichert Tabellenmetadaten für offene Tabellenformate wie Iceberg und stellt die folgenden Endpunkte bereit:
- Iceberg-REST-Katalogendpunkt: Ermöglicht Spark und anderen Engines, Iceberg-Tabellen über das Standard-Iceberg-REST-Protokoll zu lesen und zu schreiben.
- Hive-Katalogendpunkt: Ermöglicht Spark- und Hive-Arbeitslasten die Verwaltung von Standard-Hive- und Spark-Tabellen wie Parquet-, ORC-, Avro- und Delta Lake-Tabellen ohne selbst gehosteten Hive-Metastore.
Ab den Image- und Laufzeitversionen 4.0 von Managed Service for Apache Spark ist der Lakehouse-Laufzeitkatalog der Standard-Spark-Katalog. Sie können also Iceberg-Tabellen ohne Katalogkonfiguration erstellen und abfragen.
Vorteile im Vergleich zum Hive-Metastore
Standardmäßig speichert Open-Source-Apache Spark Tabellenmetadaten in einem Hive Metastore, der mit dem Cluster ausgeführt wird, z. B. in einer eingebetteten Apache Derby-Datenbank oder einem Hive Metastore-Dienst auf dem Clustermasterknoten. Der Lakehouse-Laufzeitkatalog bietet die folgenden Vorteile:
| Funktion | Spark Hive Metastore | Lakehouse-Laufzeitkatalog |
|---|---|---|
| Infrastruktur | Wird im Cluster ausgeführt. Sie dimensionieren, patchen, sichern und skalieren sie. | Serverlos und vollständig verwaltet. Keine Metastore-Infrastruktur, die betrieben werden muss. |
| Lebensdauer von Metadaten | An den Cluster gebunden. Metadaten gehen verloren, wenn Sie einen sitzungsspezifischen Cluster löschen. Serverlose Arbeitslasten haben keinen nichtflüchtigen Metastore. | Wird unabhängig von Clustern, Batcharbeitslasten und Sitzungen beibehalten. |
| Arbeitslastenübergreifende Freigabe | Jeder Cluster hat einen eigenen Metastore, es sei denn, Sie richten einen externen Metastore ein und verbinden ihn. | Cluster, Batcharbeitslasten, Sitzungen und andere Projekte nutzen denselben Katalog. |
| Zugriff auf mehrere Engines | Spark und Hive. | Spark, Hive, BigQuery und jede Engine, die das Iceberg REST-Protokoll unterstützt. |
| Tabellenformate | Hive-Tabellen. Für Iceberg ist eine zusätzliche Katalogkonfiguration erforderlich. | Iceberg-Tabellen über den Iceberg-REST-Katalogendpunkt und Hive-Tabellen über den Hive-Katalogendpunkt. |
| Zugriffssteuerung | Zugriff auf Metastore-Ebene, der oft separat vom Datenzugriff verwaltet wird. | IAM-basierte Katalog- und Tabellenberechtigungen. |
| Einrichtung | Manuelle Katalogeigenschaften in jedem Cluster oder jeder Arbeitslast. | Standardmäßig aktiviert für Image- und Laufzeitversion 4.0 und höher. |
Eine detaillierte Liste der Hive Metastore-Vorgänge, die vom Hive-Katalogendpunkt unterstützt werden, finden Sie unter Featurevergleich mit Hive Metastore.
Hinweis
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that you have the permissions required to complete this guide.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Dataproc, BigLake, BigQuery, and Cloud Storage APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- Erstellen Sie einen Cloud Storage-Bucket zum Speichern von Iceberg-Daten.
- Erstellen Sie einen Katalog im Lakehouse-Laufzeitkatalog, der auf Ihren Bucket verweist. Ein Katalog mit mehreren Buckets wird empfohlen. Dieser Schritt ist für Image- und Laufzeitversionen ab
4.0optional, wenn Sie den Standard-Starterkatalog verwenden, der automatisch erstellt wird. - Optional: Wenn Sie die Datenherkunft verfolgen möchten, aktivieren Sie die Data Lineage API (
datalineage.googleapis.com).
Erforderliche Rollen
Für die Beispiele auf dieser Seite sind bestimmte IAM-Rollen (Identity and Access Management) erforderlich. Je nach Organisationsrichtlinien wurden diese Rollen möglicherweise bereits gewährt. Informationen zum Prüfen von Rollenzuweisungen finden Sie unter Müssen Sie Rollen zuweisen?.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Welche Rollen Sie benötigen, hängt davon ab, wie Ihre Arbeitslast ausgeführt wird.
Managed Service for Apache Spark-Cluster und serverlose Managed Service for Apache Spark-Laufzeiten der Version 2.3 und früher führen Arbeitslasten als Dienstkonto aus. Serverlose Laufzeiten von Managed Service for Apache Spark ab Version 3.0 führen Arbeitslasten standardmäßig mit Ihren Endnutzer-Anmeldedaten (EUC) aus. Daher weisen Sie Ihrem Nutzerkonto anstelle eines Dienstkontos Rollen für den Datenzugriff zu. Wenn Sie ein benutzerdefiniertes Dienstkonto für eine Laufzeit der Version 3.0 oder höher angeben, wird die Arbeitslast mit den Anmeldedaten des Dienstkontos ausgeführt. Weitere Informationen finden Sie unter Rollen für serverlose Bereitstellungen.
Nutzerrollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Managed Service for Apache Spark-Clusters, zum Senden einer Batcharbeitslast oder zum Erstellen einer interaktiven Sitzung benötigen:
-
Verwenden Sie einen Cluster oder eine serverlose Laufzeit der Version 2.3 oder früher:
- Dataproc-Bearbeiter (
roles/dataproc.editor) für das Projekt - Dienstkontonutzer (
roles/iam.serviceAccountUser) für das Compute Engine-Standarddienstkonto oder ein benutzerdefiniertes Dienstkonto
- Dataproc-Bearbeiter (
-
Serverlose Laufzeit 3.0 oder höher verwenden:
Dataproc Serverless-Bearbeiter (
roles/dataproc.serverlessEditor) für das Projekt -
Dienstkonto-Anmeldedaten in einer serverlosen Laufzeit ab Version 3.0 verwenden: Dienstkontonutzer (
roles/iam.serviceAccountUser) für das benutzerdefinierte Dienstkonto
Wenn Sie eine serverlose Managed Service for Apache Spark-Laufzeit ab Version 3.0 mit Endnutzeranmeldedaten (Standardeinstellung) verwenden, benötigen Sie außerdem die folgenden Datenzugriffsrollen:
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Lesen und Schreiben von Tabellen in Ihrem Katalog mit Endnutzer-Anmeldedaten benötigen:
-
Tabellendaten im Modus für die Bereitstellung von Anmeldedaten lesen und schreiben:
BigLake Editor (
roles/biglake.editor) für das Projekt, das den Katalog enthält -
Katalogressourcen verwalten und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten schreiben:
- BigLake Editor (
roles/biglake.editor) für das Projekt, das den Katalog enthält - Storage Object User (
roles/storage.objectUser) für alle Cloud Storage-Buckets, die mit dem Katalog verknüpft sind
- BigLake Editor (
Dienstkontorollen
Weisen Sie dem Dienstkonto, das Ihre Arbeitslast ausführt, die folgenden Rollen zu.
Serverlose Laufzeiten von Managed Service for Apache Spark ab Version 3.0 benötigen diese Rollen nur, wenn die Arbeitslast mit Dienstkonto-Anmeldedaten ausgeführt wird.
Damit das Compute Engine-Standarddienstkonto oder ein benutzerdefiniertes Dienstkonto die erforderlichen Berechtigungen zum Ausführen von Managed Service for Apache Spark-Jobs und zum Lesen und Schreiben von Tabellen in Ihrem Katalog hat, bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto oder einem benutzerdefinierten Dienstkonto die folgenden IAM-Rollen zuzuweisen:
-
Führen Sie Managed Service for Apache Spark-Jobs in einem Cluster oder einer serverlosen Laufzeit der Version 2.3 oder früher aus:
Dataproc Worker (
roles/dataproc.worker) im Projekt -
Führen Sie Managed Service for Apache Spark-Jobs in einer serverlosen Laufzeit ab Version 3.0 aus:
- Dataproc Serverless Node (
roles/dataproc.serverlessNode) für das Projekt - Dataproc Resource Manager Node Service Agent (
roles/dataprocrm.nodeServiceAgent) für das Projekt
- Dataproc Serverless Node (
-
Tabellendaten im Modus für die Bereitstellung von Anmeldedaten lesen und schreiben:
BigLake Editor (
roles/biglake.editor) für das Projekt, das den Katalog enthält -
Katalogressourcen verwalten und Tabellendaten im Modus ohne Bereitstellung von Anmeldedaten schreiben:
- BigLake Editor (
roles/biglake.editor) für das Projekt, das den Katalog enthält - Storage Object User (
roles/storage.objectUser) für alle Cloud Storage-Buckets, die mit dem Katalog verknüpft sind
- BigLake Editor (
Lakehouse-Laufzeitkatalog verwenden
Ab Image- und Laufzeitversion 4.0 legt Managed Service for Apache Spark den Lakehouse-Laufzeitkatalog als Standard-Spark-Katalog für Cluster, Batcharbeitslasten, interaktive Sitzungen und Laufzeitprofile fest. Sie müssen keinen Katalog erstellen oder Katalogattribute festlegen.
In Image- und Laufzeitversion 3.0 und früher können Sie den Standard-Lakehouse-Laufzeitkatalog aktivieren, indem Sie die folgende Property festlegen:
- Batcharbeitslasten, interaktive Sitzungen und Laufzeitprofile:
dataproc.lakehouse.defaultCatalog=standard-lh-catalog-REGION - Cluster:
dataproc:dataproc.lakehouse.defaultCatalog=standard-lh-catalog-REGION
Ersetzen Sie REGION durch die Region der Arbeitslast, z. B. us-central1.
Managed Service for Apache Spark löst den Standardkatalog so auf:
Wenn Sie
dataproc.lakehouse.defaultCatalog(für Clusterdataproc:dataproc.lakehouse.defaultCatalog) festlegen, verwendet Managed Service for Apache Spark Ihren Wert und ändert ihn nicht.Andernfalls legt Managed Service for Apache Spark für Image- und Laufzeitversionen ab
4.0dataproc.lakehouse.defaultCatalogauf den regionalen Starterkatalogstandard-lh-catalog-REGIONfest, wobeiREGIONdie Region der Arbeitslast ist. Wenn der Starterkatalog nicht vorhanden ist, erstellt Managed Service for Apache Spark ihn automatisch in dem Projekt, in dem die Arbeitslast ausgeführt wird. Sie benötigen keine zusätzlichen IAM-Rollen, um den Starterkatalog zu erstellen.Für Image- und Laufzeitversionen bis einschließlich
3.0legt Managed Service for Apache Spark keinen Standardkatalog fest. Wenn Sie die Funktion aktivieren möchten, legen Siedataproc.lakehouse.defaultCatalog=standard-lh-catalog-REGIONexplizit fest, wie weiter oben in diesem Abschnitt beschrieben.
Wenn der Standardkatalog festgelegt ist, registriert Spark ihn mit dem Katalognamen default_catalog und den folgenden aufgelösten Attributen:
| Spark-Attribut | Wert |
|---|---|
spark.sql.defaultCatalog |
default_catalog |
spark.sql.catalog.default_catalog |
org.apache.iceberg.spark.SparkCatalog |
spark.sql.catalog.default_catalog.type |
rest |
spark.sql.catalog.default_catalog.warehouse |
bl://projects/PROJECT_ID/catalogs/CATALOG_ID |
Daher werden nicht qualifizierte Tabellennamen wie my_namespace.my_table im Lakehouse-Laufzeitkatalog in default_catalog.my_namespace.my_table aufgelöst.
Standardkatalog festlegen
Wenn Sie den Lakehouse-Laufzeitkatalog als Standardkatalog für eine frühere Image- oder Laufzeitversion verwenden oder einen anderen Katalog als den Starter-Katalog verwenden möchten, legen Sie das Attribut dataproc.lakehouse.defaultCatalog=CATALOG (für Cluster dataproc:dataproc.lakehouse.defaultCatalog=CATALOG) fest, wobei CATALOG einer der folgenden Werte ist:
standard-lh-catalog-REGION: der regionale Starterkatalog im Arbeitslastprojekt.projects/PROJECT_ID/catalogs/CATALOG_ID: ein vorhandener Katalog, der sich in einem anderen Projekt befinden kann.
Mit dem folgenden Befehl wird beispielsweise eine Batcharbeitslast gesendet, die einen vorhandenen Katalog als Standardkatalog verwendet:
gcloud dataproc batches submit pyspark PYSPARK_FILE \
--region=REGION \
--version=RUNTIME_VERSION \
--properties=dataproc.lakehouse.defaultCatalog=projects/PROJECT_ID/catalogs/CATALOG_ID
Informationen zum Konfigurieren des Standardkatalogs in der Google Cloud -Konsole finden Sie in den Konfigurationsanleitungen für Laufzeitprofil und Cluster.
Starter-Katalog deaktivieren
Ab Image- und Laufzeitversion 4.0 können Sie den regionalen Starterkatalog deaktivieren, indem Sie dataproc.lakehouse.defaultCatalog=CATALOG (für Cluster dataproc:dataproc.lakehouse.defaultCatalog=CATALOG) auf den vollständigen Ressourcennamen eines anderen Katalogs festlegen, z. B. projects/PROJECT_ID/catalogs/CATALOG_ID.
Managed Service for Apache Spark verwendet Ihren Katalog anstelle des Starter-Katalogs und überschreibt das Attribut nicht, wenn Sie es explizit festlegen.
Standardkatalog prüfen
Prüfen Sie die aufgelösten Attribute:
Führen Sie für interaktive Sitzungen den folgenden Befehl aus:
gcloud beta dataproc sessions describe SESSION_ID \ --location=REGION \ --format="yaml(runtimeConfig.properties)"Prüfen Sie bei Clustern
/etc/spark/conf/spark-defaults.confauf dem Masterknoten.
Prüfen Sie in Ihrer Spark-Anwendung, ob der Standardkatalog aktiv ist:
print(spark.conf.get("spark.sql.defaultCatalog")) # default_catalog
Managed Service for Apache Spark konfigurieren und eine Spark-Sitzung erstellen
Konfigurieren Sie einen Cluster, eine Batcharbeitslast oder eine interaktive Sitzung für die Verwendung des Iceberg-REST-Katalogs der Lakehouse-Laufzeit. Alle drei unterstützen die vereinfachte Konfigurationseigenschaft dataproc.lakehouse.catalog.CATALOG_NAME (empfohlen), mit der Managed Service for Apache Spark die Katalogdefinition lesen und die Spark-Eigenschaften für den Iceberg REST-Katalog generieren kann. Nur die Clusterform verwendet das Präfix dataproc:.
Ab Image- und Laufzeitversion 4.0 können Sie diese Konfiguration überspringen und den Standard-Lakehouse-Laufzeitkatalog verwenden. Verwenden Sie die folgende Anleitung, um Ihre eigenen Kataloge zu registrieren oder den Lakehouse-Laufzeitkatalog in früheren Versionen zu konfigurieren.
Unterstützte Image- und Laufzeitversionen:
Sowohl die vereinfachte als auch die manuelle Konfiguration verwenden die Google-Autorisierung für Iceberg (GoogleAuthManager), für die eine der folgenden Versionen erforderlich ist:
- Managed Service for Apache Spark-Cluster:
2.2-Image-Versionen2.2.65und höher,2.3-Image-Versionen2.3.11und höher oder4.0-Image-Versionen und höher. - Serverlose Batcharbeitslasten und interaktive Sitzungen von Managed Service for Apache Spark:
2.2-Laufzeiten2.2.60und höher,2.3-Laufzeiten2.3.10und höher oder3.0-Laufzeiten und höher.
Ab Image- und Laufzeitversion 4.0 ist der Lakehouse-Laufzeitkatalog der Standardkatalog.
Für serverlose Batch-Arbeitslasten und interaktive Sitzungen hängen die erforderlichen Rollen von der Laufzeitversion ab. In Laufzeiten ab 3.0 werden standardmäßig Endnutzer-Anmeldedaten verwendet. Weitere Informationen finden Sie unter Erforderliche Rollen.
Cluster
Erstellen Sie einen Managed Service for Apache Spark-Cluster mit den optionalen Komponenten Iceberg und Jupyter. Verwenden Sie dazu vereinfachte Konfigurationsattribute (empfohlen) oder geben Sie Katalogattribute manuell in Ihrem Notebook an.
Vereinfachte Konfiguration mit Properties (empfohlen)
Erstellen Sie den Cluster mit dem Katalogattribut:
gcloud dataproc clusters create CLUSTER_NAME \ --project=PROJECT_ID \ --region=REGION \ --image-version=IMAGE_VERSION \ --optional-components=ICEBERG,JUPYTER \ --enable-component-gateway \ --properties='dataproc:dataproc.lineage.enabled=true,dataproc:dataproc.lakehouse.catalog.CATALOG_NAME=projects/PROJECT_ID/catalogs/CATALOG_ID,spark:spark.sql.defaultCatalog=CATALOG_NAME'
Ersetzen Sie Folgendes:
CLUSTER_NAME: ein Name für Ihren Cluster.PROJECT_ID: IhreGoogle Cloud -Projekt-ID.REGION: Die Google Cloud-Region für den Cluster, z. B.us-central1.IMAGE_VERSION: die Image-Version des Managed Service for Apache Spark, z. B.2.3-debian12. Weitere Informationen finden Sie unter Unterstützte Image- und Laufzeitversionen.CATALOG_NAME: Ein Name für den lokalen Spark-Katalog, z. B.iceberg_catalog. Er kann mitCATALOG_IDidentisch sein.CATALOG_ID: die ID des Katalogs, den Sie unter Vorbereitung erstellt haben.
Das Attribut dataproc:dataproc.lineage.enabled=true ist nicht erforderlich, damit der Lakehouse-Laufzeitkatalog Iceberg REST Catalog ordnungsgemäß funktioniert. Sie wird im Beispiel für die Datenherkunft für das Herkunfts-Tracking hinzugefügt.
Stellen Sie über ein Jupyter-Notebook (entweder ein Vertex AI Workbench-Notebook oder ein auf dem Cluster gestartetes Notebook) eine Verbindung zum Cluster her und erstellen Sie den SparkSession, ohne Katalogkonfigurationen anzugeben:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("APP_NAME").getOrCreate()
Ersetzen Sie APP_NAME durch den Namen Ihrer Spark-Anwendung.
Manuelle Konfiguration
Wenn Sie die vereinfachte Konfigurationseigenschaft nicht verwenden, erstellen Sie den Cluster wie oben beschrieben ohne dataproc:dataproc.lakehouse.catalog. im Flag --properties, stellen Sie eine Verbindung zu einem Jupyter-Notebook her und konfigurieren Sie SparkSession manuell so:
import pyspark from pyspark.context import SparkContext from pyspark.sql import SparkSession catalog_name = "CATALOG_NAME" spark = SparkSession.builder.appName("APP_NAME") \ .config('spark.sql.defaultCatalog', catalog_name) \ .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \ .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \ .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/v1/restcatalog') \ .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \ .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \ .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \ .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \ .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \ .getOrCreate()
Ersetzen Sie Folgendes:
CATALOG_NAME: ein Name für den lokalen Spark-Katalog, z. B.iceberg_catalog.APP_NAME: der Name Ihrer Spark-Anwendung.WAREHOUSE_PATH: der Pfad zu Ihrem Warehouse. Verwenden Sie für Kataloge mit mehreren Buckets (empfohlen)bl://projects/PROJECT_ID/catalogs/CATALOG_ID. Verwenden Sie für Kataloge mit einem Bucketgs://CLOUD_STORAGE_BUCKET_NAME.PROJECT_ID: Ihre Google Cloud -Projekt-ID.
Mit Bereitstellung von Anmeldedaten konfigurieren
Wenn Sie die Bereitstellung von Anmeldedaten verwenden möchten, müssen Sie einen Katalog im Modus für die Bereitstellung von Anmeldedaten verwenden und den Header X-Iceberg-Access-Delegation mit dem Wert vended-credentials zu Iceberg-REST-Kataloganfragen hinzufügen. Fügen Sie dazu die folgende Zeile zum SparkSession-Builder hinzu:
.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation', 'vended-credentials')
Im folgenden Beispiel wird der SparkSession mit der Bereitstellung von Anmeldedaten konfiguriert:
from pyspark.sql import SparkSession catalog_name = "CATALOG_NAME" spark = SparkSession.builder.appName("APP_NAME") \ .config('spark.sql.defaultCatalog', catalog_name) \ .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \ .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \ .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/v1/restcatalog') \ .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \ .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \ .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \ .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \ .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation', 'vended-credentials') \ .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \ .getOrCreate()
Bei der vereinfachten Konfiguration wird dieser Header hinzugefügt, wenn der Katalog den Modus für die Bereitstellung von Anmeldedaten verwendet. Weitere Informationen finden Sie in der Iceberg-Dokumentation im Abschnitt Header in RESTCatalog.
Konsolenkonfiguration
So konfigurieren Sie den Lakehouse-Laufzeitkatalog, wenn Sie einen Cluster in derGoogle Cloud Console erstellen:
Rufen Sie in der Google Cloud Console die Seite Cluster für Managed Service for Apache Spark auf.
Klicken Sie auf Cluster erstellen und dann in der Zeile Cluster in Compute Engine auf Erstellen.
Wählen Sie im Schritt zur Metastore-Konfiguration unter Metastore und Projekt auswählen die Option Lakehouse-Laufzeitkatalog aus.
Konfigurieren Sie die Projekt-ID, den Iceberg-REST-Endpunkt-Katalog und den optionalen Hive-Endpunkt-Katalog, wie auf dem Tab Laufzeitprofil beschrieben.
Legen Sie die restlichen Clustereinstellungen fest und klicken Sie dann auf Erstellen.
Serverlos
Senden Sie eine PySpark-Batcharbeitslast an Managed Service for Apache Spark Serverless. Verwenden Sie dazu vereinfachte Konfigurationseigenschaften (empfohlen) oder geben Sie Katalogeigenschaften manuell an.
Vereinfachte Konfiguration mit Properties (empfohlen)
Übergeben Sie das Attribut dataproc.lakehouse.catalog.CATALOG_NAME (ohne das Präfix dataproc:), wenn Sie die Batcharbeitslast senden:
gcloud dataproc batches submit pyspark PYSPARK_FILE \ --project=PROJECT_ID \ --region=REGION \ --version=RUNTIME_VERSION \ --properties="spark.dataproc.lineage.enabled=true,dataproc.lakehouse.catalog.CATALOG_NAME=projects/PROJECT_ID/catalogs/CATALOG_ID,spark.sql.defaultCatalog=CATALOG_NAME"
Ersetzen Sie Folgendes:
PYSPARK_FILE: dergs://-Cloud Storage-Pfad zu Ihrer PySpark-Anwendungsdatei.PROJECT_ID: IhreGoogle Cloud -Projekt-ID.REGION: die Region für Ihre Batch-Arbeitslast.RUNTIME_VERSION: die serverlose Laufzeitversion von Managed Service for Apache Spark, z. B.3.0. Die erforderlichen Rollen hängen von der Laufzeitversion ab (siehe Unterstützte Image- und Laufzeitversionen).CATALOG_NAME: Ein Name für den lokalen Spark-Katalog, z. B.iceberg_catalog. Er kann mitCATALOG_IDidentisch sein.CATALOG_ID: die ID des Katalogs, den Sie unter Vorbereitung erstellt haben.
Erstellen Sie in Ihrer PySpark-Anwendungsdatei die SparkSession, ohne Katalogkonfigurationen anzugeben:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("APP_NAME").getOrCreate()
Manuelle Konfiguration
Wenn Sie die vereinfachte Konfigurationseigenschaft nicht verwenden, geben Sie die Katalogeigenschaften im Flag --properties an, wenn Sie Ihre Batcharbeitslast einreichen:
gcloud dataproc batches submit pyspark PYSPARK_FILE \ --project=PROJECT_ID \ --region=REGION \ --version=RUNTIME_VERSION \ --properties="\ spark.sql.defaultCatalog=CATALOG_NAME,\ spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,\ spark.sql.catalog.CATALOG_NAME.type=rest,\ spark.sql.catalog.CATALOG_NAME.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog,\ spark.sql.catalog.CATALOG_NAME.warehouse=WAREHOUSE_PATH,\ spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project=PROJECT_ID,\ spark.sql.catalog.CATALOG_NAME.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\ spark.sql.catalog.CATALOG_NAME.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO,\ spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
Ersetzen Sie WAREHOUSE_PATH durch den Pfad zu Ihrem Warehouse. Verwenden Sie für Kataloge mit mehreren Buckets (empfohlen) bl://projects/PROJECT_ID/catalogs/CATALOG_ID.
Verwenden Sie für Kataloge mit einem Bucket gs://CLOUD_STORAGE_BUCKET_NAME.
Mit Bereitstellung von Anmeldedaten konfigurieren
Wenn Sie die Bereitstellung von Anmeldedaten verwenden möchten, müssen Sie einen Katalog im Modus für die Bereitstellung von Anmeldedaten verwenden und den Header X-Iceberg-Access-Delegation mit dem Wert vended-credentials zu Iceberg REST-Kataloganfragen hinzufügen. Fügen Sie dazu dem Flag --properties das folgende Attribut hinzu:
spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation=vended-credentials
Im folgenden Beispiel wird eine Batcharbeitslast mit Credential Vending gesendet:
gcloud dataproc batches submit pyspark PYSPARK_FILE \ --project=PROJECT_ID \ --region=REGION \ --version=RUNTIME_VERSION \ --properties="\ spark.sql.defaultCatalog=CATALOG_NAME,\ spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,\ spark.sql.catalog.CATALOG_NAME.type=rest,\ spark.sql.catalog.CATALOG_NAME.uri=https://biglake.googleapis.com/iceberg/v1/restcatalog,\ spark.sql.catalog.CATALOG_NAME.warehouse=WAREHOUSE_PATH,\ spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project=PROJECT_ID,\ spark.sql.catalog.CATALOG_NAME.rest.auth.type=org.apache.iceberg.gcp.auth.GoogleAuthManager,\ spark.sql.catalog.CATALOG_NAME.io-impl=org.apache.iceberg.gcp.gcs.GCSFileIO,\ spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation=vended-credentials,\ spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions"
Bei der vereinfachten Konfiguration wird dieser Header hinzugefügt, wenn der Katalog den Modus für die Bereitstellung von Anmeldedaten verwendet. Weitere Informationen finden Sie in der Iceberg-Dokumentation im Abschnitt Header in RESTCatalog.
Serverlos
Erstellen Sie eine interaktive Serverless-Sitzung für Managed Service for Apache Spark aus einem Notebook mit der ManagedSparkSession API. Verwenden Sie dazu vereinfachte Konfigurationseigenschaften (empfohlen) oder geben Sie Katalogeigenschaften manuell an.
Vereinfachte Konfiguration mit Properties (empfohlen)
Übergeben Sie in einem Notebook, in dem das Paket google-cloud-spark-connect installiert ist, z. B. einem Google Cloud Data Agent Kit-Notebook oder einem Vertex AI Workbench-Notebook, beim Erstellen der Sitzung das Attribut dataproc.lakehouse.catalog.CATALOG_NAME (ohne das Präfix dataproc:):
from google.cloud.managed_spark_connect import ManagedSparkSession
from google.cloud.dataproc_v1 import Session
catalog_name = "CATALOG_NAME"
session_config = Session()
session_config.runtime_config.version = 'RUNTIME_VERSION'
session_config.runtime_config.properties["spark.dataproc.lineage.enabled"] = "true"
spark = ManagedSparkSession.builder.sessionId("SESSION_ID") \
.sessionConfig(session_config) \
.config(f'dataproc.lakehouse.catalog.{catalog_name}', 'projects/PROJECT_ID/catalogs/CATALOG_ID') \
.config('spark.sql.defaultCatalog', catalog_name) \
.getOrCreate()
Ersetzen Sie Folgendes:
CATALOG_NAME: Ein Name für den lokalen Spark-Katalog, z. B.iceberg_catalog. Er kann mitCATALOG_IDidentisch sein.RUNTIME_VERSION: die serverlose Laufzeitversion von Managed Service for Apache Spark.google-cloud-spark-connecterfordert die Laufzeit3.0oder höher. Die erforderlichen Rollen hängen von der Laufzeitversion ab (siehe Unterstützte Image- und Laufzeitversionen).SESSION_ID: eine benutzerdefinierte ID für Ihre Spark-Sitzung, z. B.my-spark-session.PROJECT_ID: IhreGoogle Cloud -Projekt-ID.CATALOG_ID: die ID des Katalogs, den Sie unter Vorbereitung erstellt haben.
Sie können einen Lakehouse-Katalog auch in einem Laufzeitprofil konfigurieren. Weitere Informationen finden Sie auf dem Tab Laufzeitprofil.
Manuelle Konfiguration
Wenn Sie das vereinfachte Konfigurationsattribut nicht verwenden, geben Sie die Katalogattribute beim Erstellen der Sitzung an:
from google.cloud.managed_spark_connect import ManagedSparkSession from google.cloud.dataproc_v1 import Session catalog_name = "CATALOG_NAME" session_config = Session() session_config.runtime_config.version = 'RUNTIME_VERSION' session_config.runtime_config.properties["spark.dataproc.lineage.enabled"] = "true" spark = ManagedSparkSession.builder.sessionId("SESSION_ID") \ .sessionConfig(session_config) \ .config('spark.sql.defaultCatalog', catalog_name) \ .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \ .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \ .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/v1/restcatalog') \ .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \ .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \ .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \ .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \ .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \ .getOrCreate()
Ersetzen Sie RUNTIME_VERSION wie im vereinfachten Konfigurationsbeispiel oben auf diesem Tab beschrieben.
Ersetzen Sie WAREHOUSE_PATH durch den Pfad zu Ihrem Warehouse. Verwenden Sie für Kataloge mit mehreren Buckets (empfohlen) bl://projects/PROJECT_ID/catalogs/CATALOG_ID.
Verwenden Sie für Kataloge mit einem Bucket gs://CLOUD_STORAGE_BUCKET_NAME.
Mit Bereitstellung von Anmeldedaten konfigurieren
Wenn Sie die Bereitstellung von Anmeldedaten verwenden möchten, müssen Sie einen Katalog im Modus für die Bereitstellung von Anmeldedaten verwenden und den Header X-Iceberg-Access-Delegation mit dem Wert vended-credentials zu Iceberg-REST-Kataloganfragen hinzufügen. Fügen Sie dazu dem Session Builder die folgende Zeile hinzu:
.config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation', 'vended-credentials')
Im folgenden Beispiel wird eine Sitzung mit Credential Vending erstellt:
from google.cloud.managed_spark_connect import ManagedSparkSession from google.cloud.dataproc_v1 import Session catalog_name = "CATALOG_NAME" session_config = Session() session_config.runtime_config.version = 'RUNTIME_VERSION' session_config.runtime_config.properties["spark.dataproc.lineage.enabled"] = "true" spark = ManagedSparkSession.builder.sessionId("SESSION_ID") \ .sessionConfig(session_config) \ .config('spark.sql.defaultCatalog', catalog_name) \ .config(f'spark.sql.catalog.{catalog_name}', 'org.apache.iceberg.spark.SparkCatalog') \ .config(f'spark.sql.catalog.{catalog_name}.type', 'rest') \ .config(f'spark.sql.catalog.{catalog_name}.uri', 'https://biglake.googleapis.com/iceberg/v1/restcatalog') \ .config(f'spark.sql.catalog.{catalog_name}.warehouse', 'WAREHOUSE_PATH') \ .config(f'spark.sql.catalog.{catalog_name}.header.x-goog-user-project', 'PROJECT_ID') \ .config(f'spark.sql.catalog.{catalog_name}.rest.auth.type', 'org.apache.iceberg.gcp.auth.GoogleAuthManager') \ .config(f'spark.sql.catalog.{catalog_name}.io-impl', 'org.apache.iceberg.gcp.gcs.GCSFileIO') \ .config(f'spark.sql.catalog.{catalog_name}.header.X-Iceberg-Access-Delegation', 'vended-credentials') \ .config('spark.sql.extensions', 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions') \ .getOrCreate()
Bei der vereinfachten Konfiguration wird dieser Header hinzugefügt, wenn der Katalog den Modus für die Bereitstellung von Anmeldedaten verwendet. Weitere Informationen finden Sie in der Iceberg-Dokumentation im Abschnitt Header in RESTCatalog.
Serverlos
In einem Laufzeitprofil, das in der gcloud CLI und der Dataproc API als Sitzungsvorlage bezeichnet wird, werden wiederverwendbare serverlose Einstellungen gespeichert, einschließlich des Metastore. Interaktive Sitzungen, die Sie über das Laufzeitprofil erstellen, verwenden die Katalogkonfiguration.
Konsolenkonfiguration
Rufen Sie in der Google Cloud Console die Seite Serverlose Laufzeitprofile auf.
Klicken Sie auf Erstellen oder auf den Namen eines vorhandenen Laufzeitprofils und dann auf Bearbeiten.
Maximieren Sie Zusätzliche Konfiguration und klicken Sie dann neben Metastore-Konfiguration auf Bearbeiten.
Wählen Sie Lakehouse-Laufzeitkatalog aus. Dies ist die Standardeinstellung.
Katalog konfigurieren:
- Projekt-ID: das Projekt, das den Katalog enthält. Die Standardeinstellung ist das aktuelle Projekt.
- Iceberg-REST-Endpunkt: standardmäßig ausgewählt. Wählen Sie eine der folgenden Optionen aus:
- Definieren Sie einen neuen Katalog, um den regionalen Starterkatalog
standard-lh-catalog-REGIONzu verwenden. - Wählen Sie eine vorhandene Katalog-ID aus.
- Definieren Sie einen neuen Katalog, um den regionalen Starterkatalog
- Optional: Hive-Endpunkt: Klicken Sie dieses Kästchen an und geben Sie die Projekt-ID, die Katalog-ID und den Katalognamen eines Hive-Katalogs an.
Klicken Sie auf Speichern und dann auf Erstellen oder Speichern.
gcloud-Konfiguration
Erstellen Sie eine YAML-Datei, in der der Standardkatalog in
runtimeConfig.propertiesfestgelegt wird:runtimeConfig: version: "RUNTIME_VERSION" properties: dataproc.lakehouse.defaultCatalog: projects/PROJECT_ID/catalogs/CATALOG_ID spark.dataproc.lineage.enabled: "true" sparkConnectSession: {}
Ab Laufzeitversion
4.0können Siedataproc.lakehouse.defaultCatalogweglassen, um den regionalen Starterkatalog zu verwenden.Importieren Sie die Datei, um das Laufzeitprofil zu erstellen oder zu aktualisieren:
gcloud beta dataproc session-templates import RUNTIME_PROFILE_ID \ --location=REGION \ --source=FILE_NAME.yaml
Ersetzen Sie Folgendes:
RUNTIME_VERSION: die serverlose Laufzeitversion von Managed Service for Apache Spark, z. B.4.0.PROJECT_ID: das Projekt, das den Katalog enthält.CATALOG_ID: die ID des Katalogs.RUNTIME_PROFILE_ID: die ID des Laufzeitprofils.REGION: die Region des Laufzeitprofils.FILE_NAME: der Name der YAML-Datei.
Daten mit Spark SQL verwalten
Nachdem Sie die Spark-Sitzung konfiguriert haben, verwenden Sie Spark SQL, um Datenverwaltungsvorgänge auszuführen.
Katalog festlegen: Mit dem Attribut dataproc.lakehouse.catalog. wird der Katalog bei Spark registriert, aber nicht als Standardkatalog festgelegt. In den Beispielen im vorherigen Abschnitt wird spark.sql.defaultCatalog (spark:spark.sql.defaultCatalog in einem Cluster) festgelegt, damit Sie nicht qualifizierte Tabellennamen verwenden können. Wenn Sie dieses Attribut weglassen, müssen Sie Tabellennamen mit dem Katalognamen qualifizieren, z. B. CATALOG_NAME.NAMESPACE_NAME.base_table.
Wenn Sie in Image- und Laufzeitversion 4.0 und höher dataproc.lakehouse.defaultCatalog nicht festlegen, werden nicht qualifizierte Tabellennamen in den Standard-Lakehouse-Laufzeitkatalog (default_catalog) aufgelöst.
Namespace erstellen Im Iceberg-REST-Katalog des Lakehouse-Laufzeitkatalogs entspricht ein Namespace einem BigQuery-Dataset.
spark.sql("CREATE NAMESPACE IF NOT EXISTS NAMESPACE_NAME") spark.sql("USE NAMESPACE_NAME")Ersetzen Sie
NAMESPACE_NAMEdurch den Namen Ihres Namespace, z. B.spark_lakehouse.Erstellen Sie eine Basistabelle im Iceberg-Format und fügen Sie Daten ein.
spark.sql("DROP TABLE IF EXISTS base_table PURGE") spark.sql("CREATE TABLE base_table (id LONG) USING iceberg") spark.sql("INSERT INTO base_table VALUES 0, 1, 2, 3, 4") spark.sql("SELECT * FROM base_table").show()Die Ausgabe sieht etwa so aus:
+---+ | id| +---+ | 0| | 1| | 2| | 3| | 4| +---+Erstellen Sie eine weitere Tabelle für neue Daten.
spark.sql("DROP TABLE IF EXISTS newdata PURGE") spark.sql("CREATE TABLE newdata(id LONG) USING iceberg") spark.sql("INSERT INTO newdata VALUES 3, 4, 5, 6") spark.sql("SELECT * FROM newdata").show()Die Ausgabe sieht etwa so aus:
+---+ | id| +---+ | 3| | 4| | 5| | 6| +---+Führen Sie die neuen Daten mit der Basistabelle zusammen.
spark.sql("""MERGE INTO base_table USING newdata ON base_table.id = newdata.id WHEN MATCHED THEN UPDATE SET base_table.id = newdata.id WHEN NOT MATCHED THEN INSERT * """) spark.sql("SELECT * FROM base_table").show()Die Ausgabe sieht etwa so aus:
+---+ | id| +---+ | 0| | 1| | 2| | 3| | 4| | 5| | 6| +---+Datensätze in der Basistabelle aktualisieren.
spark.sql( "UPDATE base_table SET id = (id + 100) WHERE (id % 2 == 0)" ) spark.sql("SELECT * FROM base_table").show()Die Ausgabe sieht etwa so aus:
+---+ | id| +---+ | 3| |104| | 5| |106| |100| |102| | 1| +---+Datensätze aus der Basistabelle löschen.
spark.sql("DELETE FROM base_table WHERE (id % 2 == 0)") spark.sql("SELECT * FROM base_table").show()Die Ausgabe sieht etwa so aus:
+---+ | id| +---+ | 3| | 5| | 1| +---+
Historischen Snapshot abfragen
Rufen Sie eine frühere Version einer Tabelle ab, indem Sie eine Snapshot-ID abfragen. Dieser Vorgang wird auch als Zeitreise bezeichnet.
Rufen Sie die Snapshot-ID der Tabellenversion vor den Vorgängen
MERGE,UPDATEundDELETEab.snapshot_ids = spark.sql( "SELECT snapshot_id FROM `NAMESPACE_NAME`.`base_table`.snapshots" ).collect() oldest_snapshot_id = snapshot_ids[1]["snapshot_id"]Ersetzen Sie
NAMESPACE_NAMEdurch den von Ihnen erstellten Namespace.Fragen Sie die Tabelle mit der abgerufenen Snapshot-ID ab.
df = ( spark.read.format("iceberg") .option("versionAsOf", oldest_snapshot_id) .load("base_table") ) df.show()Die Ausgabe zeigt den Status der Tabelle nach dem
MERGE-Vorgang, aber vor denUPDATE- oderDELETE-Vorgängen.+---+ | id| +---+ | 0| | 1| | 2| | 3| | 4| | 5| | 6| +---+
Datenherkunft ermitteln
Mit Managed Service for Apache Spark 2.2 und höheren Image- und Laufzeitversionen können Sie Datenbewegungen auf Tabellen- und Spaltenebene für Iceberg REST-Katalogtabellen des Lakehouse-Laufzeitkatalogs erfassen und die Ergebnisse in der Datenherkunft von Knowledge Catalog ansehen.
Herkunftserfassung für Lakehouse-Arbeitslasten aktivieren
Prüfen Sie die folgende Konfiguration, um OpenLineage-Ereignisse von Managed Service for Apache Spark an die Data Lineage API zu senden:
- Data Lineage API aktivieren: Prüfen Sie, ob
datalineage.googleapis.comin Ihrem Projekt aktiviert ist. - IAM-Berechtigungen prüfen: Bestätigen Sie, dass Ihr Arbeitslastdienstkonto oder Ihre Knotenidentität eine Rolle hat, die
datalineage.events.creategewährt, z. B.roles/dataproc.workeroderroles/datalineage.producer(siehe Erforderliche Rollen). - Spark-Lineage-Listener aktivieren:
- Cluster: Übergeben Sie beim Erstellen des Clusters
--properties='dataproc:dataproc.lineage.enabled=true'oder legen SieDATAPROC_LINEAGE_ENABLED=truein den Projektmetadaten fest (siehe Spark-Datenherkunft in Clustern verwenden). - Serverlose Batcharbeitslasten, interaktive Sitzungen und Laufzeitprofile: Legen Sie
spark.dataproc.lineage.enabled=truein den Konfigurationseigenschaften der Laufzeit fest (siehe Datenherkunft mit serverlosen Arbeitslasten verwenden). Projektmetadateneinstellungen (DATAPROC_LINEAGE_ENABLED) gelten nicht für serverlose Laufzeiten ab3.0. Legen Sie die Spark-Property daher explizit fest (siehe Datenherkunft auf Projektebene aktivieren).
- Cluster: Übergeben Sie beim Erstellen des Clusters
- Unterstützte Laufzeit für Herkunft auf Spaltenebene verwenden: Für die Herkunft auf Spaltenebene ist die OpenLineage Spark-Integration
1.34oder höher erforderlich. Weitere Informationen finden Sie unter Unterstützte Mindestversionen für Images und Laufzeiten.
Beispiel für die Datenherkunft
Führen Sie den folgenden PySpark-Code mit aktivierter Herkunft aus, um Iceberg-Quell- und ‑Zieltabellen zu erstellen und Daten zwischen ihnen zu kopieren:
spark.sql("DROP TABLE IF EXISTS source_table PURGE") spark.sql("DROP TABLE IF EXISTS target_table PURGE") spark.sql("CREATE TABLE source_table (id LONG) USING iceberg") spark.sql("""CREATE TABLE target_table USING ICEBERG AS SELECT max(id) as top_id FROM source_table """)Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog Suchen auf.
Suchen Sie nach
target_table(odersource_table) und klicken Sie dann auf den Tab Lineage:
Beispiel für ein Datenherkunftsdiagramm auf der Knowledge Catalog-Seite in der Google Cloud Console.
Wie Tabellen im Herkunftsdiagramm angezeigt werden, hängt vom Typ Ihres Katalog-Warehouse ab:
- Kataloge mit mehreren Buckets (
bl://): Knowledge Catalog zeichnet logische Tabellenknoten imbiglake:table:{projectId}.{catalogId}.{namespaceId}.{tableId}vollständig qualifizierten Namen-Format auf. - Kataloge mit einem einzelnen Bucket (
gs://): Knowledge Catalog erkennt sowohl die logischebiglake:table:-Entität als auch den physischen Cloud Storage-Speicherort (gcs:{bucket}.{path}), wenn OpenLineagegcp_project_id-Katalogmetadaten ausgibt. Andernfalls werden physische Cloud Storage-Knoten aufgezeichnet.
Weitere Informationen zur Facettenauflösung und zum programmatischen Abfragen von biglake:table:-Links finden Sie unter OpenLineage-Zuordnung und Datenherkunft ansehen.
Bekannte Probleme bei der Datenherkunft
In einigen Managed Service for Apache Spark-Clustern wird die vollständige Datenherkunft aufgrund eines Problems mit der OpenLineage-Bibliothek möglicherweise nicht generiert. Dies ist eine bekannte Einschränkung. Wenn sich dies auf Ihre Arbeitslasten auswirkt, wenden Sie sich an den Google Cloud-Support.