Katalog erstellen

Mit dem Lakehouse-Laufzeitkatalog können Sie Katalogendpunkte in einem grenzenlosen Lakehouse erstellen.

Ein Katalogendpunkt verweist auf einen zugrunde liegenden Cloud Storage-Bucket und stellt eine Metadatenebene bereit, über die Abfrage-Engines und Open-Source-Arbeitslasten direkt mit Ihren Tabellen interagieren können. Wenn Sie einen Katalogendpunkt erstellen, können Sie für die Delegierung des Speicherzugriffs zwischen Endnutzer-Anmeldedaten und dem Modus für die Bereitstellung von Anmeldedaten wählen.

Hinweis

1. Lesen Sie Informationen zum Lakehouse-Laufzeitkatalog, um zu erfahren, wie der Lakehouse-Laufzeitkatalog funktioniert und welche Einschränkungen für den Dienst gelten.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Katalogs und zum Registrieren von Tabellen benötigen:

• Katalog erstellen:
  • BigLake-Administrator (roles/biglake.admin) für Ihr Projekt
  • Storage-Administrator (roles/storage.admin) für Ihr Projekt
• Tabellen erstellen (registrieren): BigLake-Administrator (roles/biglake.admin) für Ihr Projekt. Für die Registrierung von Tabellen ist die spezifische Berechtigung zur Tabellenregistrierung (biglake.tables.register) erforderlich, die in der Rolle „BigLake Admin“ enthalten ist.
• Verwenden Sie das automatisch bereitgestellte Katalogdienstkonto im Modus für die Bereitstellung von Anmeldedaten: Storage-Objekt-Nutzer (roles/storage.objectUser) für die Ziel-Cloud Storage-Buckets. Weisen Sie dem automatisch bereitgestellten Dienstkonto nach dem Erstellen des Katalogs explizit die Rolle „Storage Object User“ (roles/storage.objectUser) für Ihre Storage-Buckets zu.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Hinweis: Die Erstellung des automatisch bereitgestellten Katalogdienstkontos ist eventual-consistent. Das bedeutet, dass es einige Zeit dauert, bis das Dienstkonto im System propagiert wird. Wenn Sie versuchen, dem Dienstkonto direkt nach dem Erstellen Rollen zuzuweisen, schlägt die Anfrage möglicherweise fehl. Informationen darüber, wie lange es durchschnittlich dauert, bis Zugriffsänderungen weitergegeben werden, finden Sie unter Zugriffsänderungsverteilung.

Katalog erstellen

Führen Sie die folgenden Schritte aus, um einen Katalog basierend auf dem von Ihnen bevorzugten Anmeldedatenmodus und Bucket-Typ zu erstellen. Weitere Informationen zu den verschiedenen Katalogtypen finden Sie unter Apache Iceberg REST-Katalogendpunkt.

Hinweis: Wenn Sie einen Katalog mit mehreren Buckets inGoogle Clouderstellen oder verwalten, geben Sie Cloud Storage-Pfade (gs://) für die Standard- und eingeschränkten Speicherorte an. Das URI-Format bl://projects/PROJECT_ID/catalogs/CATALOG_ID wird ausschließlich während der Clientkonfiguration verwendet, um das Katalog-Warehouse zu identifizieren, wenn eine Verbindung von Abfrage-Engines (wie Apache Spark oder Trino) hergestellt wird.

Console

Katalog mit mehreren Buckets erstellen (empfohlen)

Mit dieser Konfiguration können Sie Ihrem Katalog mehrere Buckets zuordnen und den Katalog unabhängig von einem Bucket-Namen benennen.

1. Öffnen Sie in der Google Cloud Console die Seite Lakehouse.

   Zu Lakehouse

2. Klicken Sie auf Katalog erstellen und wählen Sie dann Lakehouse-Laufzeitkatalog aus.

3. Wählen Sie als Katalogtyp die Option Iceberg-REST-Katalog aus.

4. Wählen Sie unter Optionen für Lakehouse-Katalog-Bucket die Option Katalog mit mehreren Buckets aus.

5. Geben Sie unter Standardmäßiger Cloud Storage-Pfad für Katalog den Cloud Storage-Pfad ein, der für Ihren Katalog verwendet werden soll, oder suchen Sie danach.

6. Geben Sie unter Katalog-ID einen benutzerdefinierten Namen für den Katalog ein.

7. Wählen Sie unter Primärer Standort einen Standort aus. Der Standort muss sich in der Nähe der Regionen des Haupt-Buckets befinden.

8. Klicken Sie auf Weiter.

9. Wenn Sie im Schritt Datenpfade zusätzliche Cloud Storage-Pfade hinzufügen möchten, klicken Sie auf Pfad hinzufügen und geben Sie einen Pfad ein oder suchen Sie danach.

10. Klicken Sie auf Weiter.

11. Wählen Sie unter Authentifizierungsmethode die Option Anmeldedaten von Endnutzern oder Modus für die Bereitstellung von Anmeldedaten aus.

    Hinweis: Wenn Sie Anmeldedaten des Endnutzers auswählen, werden Tabellen im Katalog nicht automatisch vom Lakehouse-Laufzeitkatalog verwaltet. Sie können keine Aufgaben zur Tabellenverwaltung wie Komprimierung und Snapshot-Ablauf aktivieren.

12. Klicken Sie auf Erstellen.

    Der Katalog wird erstellt und die Seite Katalogdetails wird geöffnet.

13. Wenn Sie Modus für Bereitstellung von Anmeldedaten ausgewählt haben, führen Sie die folgenden zusätzlichen Schritte aus:

    1. Klicken Sie unter Authentifizierungsmethode auf Bucket-Berechtigungen festlegen (oder auf Berechtigungen für Buckets festlegen, wenn Ihr Katalog mehr als einen Bucket verwendet).
    2. Klicken Sie im Dialogfeld auf Bestätigen.

Katalog mit einem Bucket erstellen

Achtung: Verwenden Sie die Konfiguration mit einem einzelnen Bucket nicht für neue Projekte. Durch diese Konfiguration wird Ihr Katalog auf einen einzelnen Bucket beschränkt und der Katalogname wird an den Bucket-Namen gebunden.

1. Klicken Sie auf der Seite Lakehouse auf Katalog erstellen und wählen Sie dann Lakehouse-Laufzeitkatalog aus.
2. Wählen Sie als Katalogtyp die Option Iceberg-REST-Katalog oder Hive Metastore aus.
3. Wenn Sie Iceberg-REST-Katalog ausgewählt haben, wählen Sie unter Optionen für Lakehouse-Katalog-Bucket die Option Katalog mit einem Bucket aus.
4. Geben Sie unter Standardmäßiger Cloud Storage-Bucket für Katalog (oder Standardmäßiger Cloud Storage-Pfad für Katalog für einen Apache Hive-Katalogendpunkt) den Cloud Storage-Bucket ein, der mit Ihrem Katalog verwendet werden soll, oder suchen Sie danach. Bei einem Katalog mit einem einzelnen Bucket kann es nur einen Katalog pro Bucket geben und der Katalogname entspricht dem Bucket-Namen.
5. Klicken Sie auf Weiter.
6. Wählen Sie unter Authentifizierungsmethode die Option Anmeldedaten von Endnutzern oder Modus für die Bereitstellung von Anmeldedaten aus.
7. Klicken Sie auf Erstellen.
8. Wenn Sie Modus für Bereitstellung von Anmeldedaten ausgewählt haben, führen Sie die folgenden zusätzlichen Schritte aus:
   1. Klicken Sie unter Authentifizierungsmethode auf Bucket-Berechtigungen festlegen.
   2. Klicken Sie im Dialogfeld auf Bestätigen.

gcloud

Katalog mit mehreren Buckets erstellen (empfohlen)

Mit dieser Konfiguration können Sie Ihrem Katalog mehrere Buckets zuordnen und den Katalog unabhängig von einem Bucket-Namen benennen.

Führen Sie den Befehl gcloud biglake iceberg catalogs create aus, um einen Katalog mit mehreren Buckets zu erstellen (empfohlen):

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type biglake \
    --default-location DEFAULT_LOCATION \
    --credential-mode CREDENTIAL_MODE \
    [--restricted-locations RESTRICTED_LOCATIONS] \
    [--primary-location LOCATION]

Ersetzen Sie Folgendes:

• CATALOG_NAME: ein Name für Ihren Katalog. Bei Katalogen mit mehreren Buckets (empfohlen) ist dies der Name Ihres benutzerdefinierten Katalogs.
• PROJECT_ID: Ihre Projekt-ID in Google Cloud.
• DEFAULT_LOCATION: der Standardspeicherort für den Katalog. Sie können einen Bucket (gs://my-bucket) oder einen Unterpfad (gs://my-bucket/path) angeben. Alle Namespaces und Tabellen im Katalog müssen sich im angegebenen Pfad befinden. Wenn Sie beispielsweise gs://my-bucket/path angeben, können Sie keine Namespaces oder Tabellen unter gs://my-bucket/another/path erstellen.

• CREDENTIAL_MODE: die Authentifizierungsmethode. Verwenden Sie end-user für Anmeldedaten von Endnutzern oder vended-credentials für den Modus für die Bereitstellung von Anmeldedaten. Wenn Sie end-user angeben, werden Tabellen im Katalog nicht automatisch vom Lakehouse-Laufzeitkatalog verwaltet. Sie können keine Tabellenverwaltungsaufgaben wie Komprimierung und Snapshot-Ablauf aktivieren.

  Hinweis: Wenn Sie den Modus für die Bereitstellung von Anmeldedaten verwenden, müssen Sie dem automatisch bereitgestellten Lakehouse-Laufzeitkatalog-Dienstkonto Ihres Katalogs explizit die Rolle „Storage Object User“ (roles/storage.objectUser) für alle zugehörigen Storage-Buckets zuweisen.

• RESTRICTED_LOCATIONS: optional: eine durch Kommas getrennte Liste zusätzlicher zulässiger Speicherorte im Format gs://my-bucket-1/...,gs://my-bucket-2/.... Wenn Sie einen Pfad angeben (z. B. gs://my-bucket/path), müssen sich alle Namespaces oder Tabellen in diesem Bucket unter diesem Pfad befinden. Alle konfigurierten Cloud Storage-Standorte am Standardstandort und an eingeschränkten Standorten müssen sich in derselben geografischen Regionsgruppe oder Gerichtsbarkeit befinden (z. B. USA, Europa, Kanada oder Asien). Sie können beispielsweise keinen Bucket in den USA mit einem Bucket in Europa kombinieren. Eine Liste der unterstützten Standorte finden Sie unter Lakehouse-Standorte.

  Warnung: Vermeiden Sie die Konfiguration von sich überschneidenden Pfaden mit anderen Katalogen, um eine unbefugte Offenlegung von Anmeldedaten zu verhindern. Weitere Informationen finden Sie unter Speicher in mehreren Buckets.

• LOCATION: optional: die primäre Region für den Katalog, um die Interoperabilität mit BigQuery zu gewährleisten. Geben Sie für Cloud Storage-Buckets in der Region „US“ (z. B. US oder us-central1) oder in der Region „EU“ (z. B. EU oder europe-west4) US bzw. EU an, damit der Katalog zugänglich ist und von den entsprechenden BigQuery-Multiregionen abgefragt werden kann. Weitere Informationen finden Sie unter Bucket- und Katalogregionen.

Katalog mit einem Bucket erstellen

Achtung: Verwenden Sie die Konfiguration mit einem einzelnen Bucket nicht für neue Projekte. Durch diese Konfiguration wird Ihr Katalog auf einen einzelnen Bucket beschränkt und der Katalogname wird an den Bucket-Namen gebunden.

Führen Sie den folgenden Befehl aus, um einen Katalog mit einem einzelnen Bucket zu erstellen:

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode CREDENTIAL_MODE

Ersetzen Sie Folgendes:

• CATALOG_NAME: ein Name für Ihren Katalog. Bei Katalogen mit einem einzelnen Bucket entspricht dies der Cloud Storage-Bucket-ID, die mit dem Katalog verwendet wird.
• PROJECT_ID: Ihre Google Cloud-Projekt-ID.
• CREDENTIAL_MODE: die Authentifizierungsmethode. Verwenden Sie end-user für Anmeldedaten von Endnutzern oder vended-credentials für den Modus für die Bereitstellung von Anmeldedaten.

REST

Apache Iceberg REST-Katalogendpunkt erstellen

Wenn Sie einen Katalogverwaltungs-Endpunkt mit der REST API erstellen möchten, senden Sie eine POST-Anfrage an den Endpunkt CreateIcebergCatalog:

POST /iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?iceberg-catalog-id=CATALOG_ID

Der Anfragetext muss eine JSON-Nutzlast vom Typ IcebergCatalog enthalten, die die Katalogkonfiguration definiert, z. B. das zugrunde liegende Cloud Storage-Bucket-Warehouse und den Authentifizierungsmodus.

Ersetzen Sie Folgendes:

• PROJECT_ID: Projekt-ID in Google Cloud .
• CATALOG_ID: die ID Ihres Lakehouse-Laufzeitkatalogs.