Tabelle erstellen

Beim Erstellen einer Apache Iceberg-Tabelle werden neue Tabellenmetadaten und Speicher in einem Namespace im Lakehouse-Laufzeitkatalog initialisiert.

Wenn Sie eine vorhandene Apache Iceberg-Tabelle im Katalog verfügbar machen möchten, lesen Sie den Abschnitt Tabelle registrieren.

Wenn Sie beim Erstellen der Tabelle keinen expliziten Speicherort auf Namespace- oder Tabellenebene angeben, erstellt das System die Metadaten- und Datenverzeichnisse der Tabelle automatisch am Standardspeicherort des Katalogs (abgeleitet vom Cloud Storage-Basis-Bucket des Katalogs), indem es die Namespace- und Tabellenkennungen anhängt.

Hinweis

  1. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud -Projekt aktiviert ist.

  2. Aktivieren Sie die BigLake API, falls sie noch nicht aktiviert ist.

    Erforderliche Rollen zum Aktivieren von APIs

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

  3. Richten Sie den Lakehouse-Laufzeitkatalog mit dem Apache Iceberg REST-Katalogendpunkt ein. Wenn Sie die automatische Tabellenverwaltung aktivieren möchten, muss der Katalog den Modus für die Bereitstellung von Anmeldedaten verwenden.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt und Ihren Storage-Bucket zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Tabelle benötigen:

  • Tabelle erstellen:
    • BigLake-Administrator (roles/biglake.admin) – Ihr Projekt
    • Storage-Administrator (roles/storage.admin) – der Cloud Storage-Ziel-Bucket

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Tabellenfunktionen und -unterstützung

Wenn Sie Tabellen im Lakehouse-Laufzeitkatalog verwenden, ist es hilfreich, die verschiedenen Tabellentypen und ihre Opt-in-Funktionen zu kennen. Weitere Informationen zur Verwendung von Apache Iceberg-Tabellen finden Sie unter Übersicht über Apache Iceberg-Tabellen.

Unterstützte Iceberg-Tabellen

Es werden nur Apache Iceberg V2- (GA) und V3-Tabellen (Vorabversion) unterstützt. Iceberg V1-Tabellen werden nicht unterstützt. Informationen zum Upgrade vorhandener V1-Tabellen finden Sie unter Iceberg-V1-Tabellen auf V2 aktualisieren.

Tabellenoptionen verwenden (Vorabversion)

Sie können die verwalteten BigQuery-Funktionen wie die BigQuery-Datenbearbeitungssprache (DML) und die automatische Tabellenverwaltung aktivieren, indem Sie bestimmte Tabellenattribute konfigurieren. Diese Funktionen werden je nach Erstellungsort der Tabelle auf unterschiedliche Weise aktiviert:

  • Aus BigQuery: BigQuery-DML und die automatische Tabellenverwaltung sind standardmäßig aktiviert.
  • Aus Open-Source-Engines: Wenn Sie die Funktion aktivieren möchten, müssen Sie die Tabellenattribute explizit konfigurieren. Weitere Informationen finden Sie unter Tabellenoptionen konfigurieren.

Tabelle erstellen

Iceberg-Tabelle erstellen Wenn Sie die automatische Tabellenverwaltung (gcp.biglake.table-management.enabled) aktivieren möchten, muss der Katalog den Modus für die Bereitstellung von Anmeldedaten verwenden.

Console

  1. Rufen Sie in der Google Cloud Console Lakehouse auf.

    Zu Lakehouse

  2. Wählen Sie einen vorhandenen Katalog aus oder erstellen Sie einen, falls Sie noch keinen haben.

  3. Wählen Sie einen vorhandenen Namespace aus oder erstellen Sie einen, falls Sie noch keinen haben.

  4. Klicken Sie in der Menüleiste auf + Tabelle erstellen.

  5. Wählen Sie als Tabellenformat die Option Iceberg aus.

  6. Geben Sie unter Tabellenname einen eindeutigen Tabellennamen ein.

  7. Optional: Konfigurieren Sie im Abschnitt Attribute die Tabellenattribute. In diesem Abschnitt werden vordefinierte Attribute wie gcp.biglake.bigquery-dml.enabled und gcp.biglake.table-management.enabled aufgeführt.

    Sie können diese Werte beispielsweise in true ändern, um BigQuery-DML oder die Tabellenverwaltung zu aktivieren. Bei der Tabellenverwaltung werden Hintergrundaufgaben wie Komprimierung und Snapshot-Ablauf ausgeführt. Weitere Informationen finden Sie unter Tabellenoptionen konfigurieren.

  8. Klicken Sie auf Erstellen.

Ihre Tabelle wird auf der Seite Namespace-Details angezeigt.

Spark 

spark.sql("CREATE TABLE NAMESPACE_NAME.TABLE_NAME (id int, data string) USING ICEBERG;")

Ersetzen Sie die folgenden Werte:

  • NAMESPACE_NAME: der Name Ihres Namespace.
  • TABLE_NAME: ein Name für Ihre Tabelle.

Wenn Sie die Lese-/Schreibinteroperabilität und Tabellenverwaltung (Vorschau) aktivieren möchten, fügen Sie die Attribute der TBLPROPERTIES-Klausel hinzu:

TBLPROPERTIES (
  'gcp.biglake.bigquery-dml.enabled' = true,
  'gcp.biglake.table-management.enabled' = true
)

Trino 

CREATE TABLE SCHEMA_NAME.TABLE_NAME (id int, data varchar);

Ersetzen Sie die folgenden Werte:

  • SCHEMA_NAME: der Name Ihres Schemas.
  • TABLE_NAME: ein Name für Ihre Tabelle.

Wenn Sie die Lese-/Schreibinteroperabilität und Tabellenverwaltung (Vorschau) aktivieren möchten, fügen Sie der WITH-Klausel die folgenden Attribute hinzu:

WITH (
  "gcp.biglake.bigquery-dml.enabled" = 'true',
  "gcp.biglake.table-management.enabled" = 'true'
)

gcloud

Führen Sie den Befehl gcloud biglake iceberg tables create aus, um eine Tabelle mit der Google Cloud CLI zu erstellen:

gcloud biglake iceberg tables create \
    --project="PROJECT_ID" \
    --catalog="CATALOG_ID" \
    --namespace="NAMESPACE_NAME" \
    --create-from-file="TABLE_DEFINITION_FILE"

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID in Google Cloud.
  • CATALOG_ID: die ID Ihres Katalogs.
  • NAMESPACE_NAME: der Name Ihres Katalog-Namespace.
  • TABLE_DEFINITION_FILE: der Pfad zu einer JSON-Datei, die die Iceberg-Tabellendefinition enthält.

BigQuery

Verwenden Sie die folgende GoogleSQL-CREATE TABLE-Anweisung, um eine Apache Iceberg-Tabelle im Lakehouse-Laufzeitkatalog aus BigQuery zu erstellen. Wenn Sie eine Tabelle in BigQuery erstellen, sind BigQuery-DML und die Tabellenverwaltung standardmäßig aktiviert. Wenn Sie die automatische Tabellenverwaltung verwenden möchten, muss der Katalog den Modus für die Bereitstellung von Anmeldedaten verwenden.

CREATE TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` (id int, data string);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID in Google Cloud .
  • CATALOG_ID: Ihre Lakehouse-Laufzeitkatalog-ID.
  • NAMESPACE: der Name Ihres Iceberg-Namespace.
  • TABLE_NAME: Ein Name für Ihre Iceberg-Tabelle.

REST

Wenn Sie eine Iceberg-Tabelle mit der REST API erstellen möchten, senden Sie eine POST-Anfrage an den Endpunkt CreateIcebergTable:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/tables

Der Anfragetext muss eine gültige Iceberg-CreateTableRequest-JSON-Nutzlast enthalten, die das Tabellenschema, die Partitionsspezifikation und die anfänglichen Attribute definiert.

Ersetzen Sie Folgendes:

  • PROJECT_ID: Projekt-ID in Google Cloud .
  • CATALOG_ID: die ID Ihres Katalogs.
  • NAMESPACE_NAME: der Name Ihres Katalog-Namespace.

Nächste Schritte