Cloudübergreifende Verbindungen erstellen

Cloudübergreifende Verbindungen sind BigQuery-Verbindungen, mit denen Daten von Amazon Web Services (AWS), Microsoft Azure und Salesforce Data 360 für Abfragen in BigQuery übertragen werden. Diese Verbindungen sind eine Alternative zu BigQuery-Standardverbindungen, die BigQuery Omni verwenden. Bei BigQuery Omni stellt BigQuery einfache Compute-Worker in Remote-Regionen bereit, um Daten in anderen Clouds ohne Datenverschiebung für Abfragen verfügbar zu machen.

Arbeitslasten können aus folgenden Gründen von cloudübergreifenden Verbindungen im Vergleich zu Standardverbindungen profitieren:

  • Konsistenz der Funktionen: Wenn Sie Ihre Daten aus anderen Clouds in BigQuery importieren, erhalten Sie direkten Zugriff auf die KI-Funktionen von BigQuery, die Gemini Enterprise Agent Platform, materialisierte Ansichten, benutzerdefinierte Funktionen und andere Features, die über Standardverbindungen nicht verfügbar sind.
  • Kosteneffizienz: Arbeitslasten, die cloudübergreifende Verbindungen verwenden, verbrauchen Standard-Slot-Reservierungen und -Zusicherungen. Es müssen also keine separaten Rechenkapazitäten verwaltet werden.
  • Intelligentes Caching Während Daten cloudübergreifend übertragen werden, speichert BigQuery Fragmente automatisch lokal im Cache. So werden bei nachfolgenden Abfragen erhebliche Gebühren für cloudübergreifenden ausgehenden Traffic vermieden. Weitere Informationen finden Sie unter Intelligentes Caching.

Wenn Ihre Arbeitslast Apache Iceberg-Kataloge umfasst oder Sie Abfrageunterstützung für andere Engines als BigQuery benötigen, sollten Sie stattdessen die cloudübergreifende Datenzugriffsfunktion von Borderless Lakehouse verwenden.

Hinweis

Weisen Sie IAM-Rollen (Identity and Access Management) und Drittanbieterrollen zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für das Projekt zuzuweisen, um die Berechtigungen abzurufen, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Drittanbieterrollen

Damit Sie die Berechtigungen erhalten, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen, müssen Sie die folgenden Drittanbieterrollen haben:

  • Für AWS: Eine Rolle, mit der Sie IAM-Richtlinien und -Rollen in Ihrem AWS-Konto erstellen können.
  • Für Azure: Eine Rolle, mit der Sie App-Registrierungen in Microsoft Entra ID (Azure AD) verwalten und Rollen wie „Storage Blob Data Reader“ im Azure-Zielkonto zuweisen können.

AWS-Cloudübergreifende Verbindungen erstellen

So erstellen Sie eine AWS-Cloud-übergreifende Verbindung:

  1. Erstellen Sie eine AWS IAM-Richtlinie für BigQuery, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
  2. Erstellen Sie eine AWS-IAM-Rolle für BigQuery, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
  3. Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl bq mk --connection:

    bq mk --connection \
        --connection_type='AWS' \
        --location=LOCATION \
        --project_id=PROJECT_ID \
        --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \
        CONNECTION_ID

    Ersetzen Sie Folgendes:

    • LOCATION: Ein standardmäßiger BigQuery-Standort, kein BigQuery Omni-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.
    • PROJECT_ID: die ID Ihres Projekts in Google Cloud .
    • AWS_ACCOUNT_ID: die ID des AWS-IAM-Nutzers aus dem vorherigen Schritt.
    • ROLE_NAME: der Name der AWS-Rollenrichtlinie, die Sie ausgewählt haben.
    • CONNECTION_ID: Eine ID, die dieser Verbindungsressource zugewiesen werden soll.

    Weitere Informationen zu AWS-Verbindungsattributen finden Sie unter AwsProperties.

  4. Verwenden Sie den Befehl bq show, um die Dienstkontoinformationen zu notieren:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Fügen Sie der AWS-Rolle eine Vertrauensrichtlinie hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es auch für Standard-BigQuery-Verbindungen tun würden.

Mit Ihrer hergestellten AWS-cloudübergreifenden Verbindung können Sie jetzt Tabellen und Datasets erstellen, um Ihre Remote-Daten abzufragen.

AWS-Beispiele

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Amazon Simple Storage Service-Bucket (Amazon S3) mit einer cloudübergreifenden Verbindung abzufragen:

CREATE SCHEMA `my-project.aws_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['s3://my-data-bucket/sales/year=2025/*']);

Im folgenden Beispiel wird eine gesamte Datenbank mithilfe von AWS Glue mit einer cloudübergreifenden Verbindung in BigQuery eingebunden:

CREATE EXTERNAL SCHEMA `my-project.aws_glue_data`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    location = 'us-east4',
    external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');

Weitere Informationen zur AWS Glue-Föderation finden Sie unter Föderierte AWS Glue-Datasets erstellen und verwalten.

Azure-cloudübergreifende Verbindungen erstellen

So erstellen Sie eine Azure-cloudübergreifende Verbindung:

  1. Erstellen Sie eine Anwendung in Ihrem Azure-Mandanten, wie Sie es für Standard-BigQuery-Verbindungen tun würden, und notieren Sie sich die Anwendungs- (Client) und Verzeichnis-IDs (Mandant).
  2. Weisen Sie der Azure-Anwendung eine Rolle zu, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
  3. Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl bq mk --connection:

    bq mk --connection \
        --connection_type='Azure' \
        --tenant_id=TENANT_ID \
        --location=LOCATION \
        --federated_azure=true \
        --federated_app_client_id=APP_ID \
        --project_id=PROJECT_ID \
        CONNECTION_ID

    Ersetzen Sie Folgendes:

    • TENANT_ID: die Mandanten-ID des Azure-Verzeichnisses, das das Azure-Konto enthält.
    • LOCATION: Ein standardmäßiger BigQuery-Standort, kein BigQuery Omni-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.
    • APP_ID: die ID der Azure-Anwendung (Client)
    • PROJECT_ID: die ID Ihres Projekts in Google Cloud .
    • CONNECTION_ID: Eine ID, die dieser Verbindungsressource zugewiesen werden soll.

    Weitere Informationen zu Azure-Verbindungseigenschaften finden Sie unter AzureProperties.

  4. Verwenden Sie den Befehl bq show, um die Dienstkontoinformationen zu notieren:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Fügen Sie mithilfe der Dienstkontoinformationen einen föderierten Berechtigungsnachweis hinzu, wie Sie es auch für standardmäßige BigQuery-Verbindungen tun würden.

Mit Ihrer eingerichteten Azure-Cloudübergreifenden Verbindung können Sie jetzt Tabellen und Datasets erstellen, um Ihre Remote-Daten abzufragen.

Azure-Beispiele

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Azure Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:

CREATE SCHEMA `my-project.azure_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Roh-CSV-Exporte aus einem Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:

CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'CSV',
    skip_leading_rows = 1,
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);

Cloudübergreifende Data 360-Verbindungen erstellen

Wenn Sie eine cloudübergreifende Data 360-Verbindung erstellen möchten, folgen Sie der Anleitung zum Verknüpfen eines Data 360-Datasets mit BigQuery. Erstellen Sie das verknüpfte Dataset jedoch nicht an einem BigQuery Omni-Standort, sondern an einem standardmäßigen BigQuery-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.

Nachdem Sie Ihre Abfragen so aktualisiert haben, dass die neuen Datasets verwendet werden, können Sie alle verknüpften Legacy-Datasets und materialisierten BigQuery Omni-Ansichten löschen.

Regionsempfehlungen

Wenn Sie eine BigQuery-Standardregion für Ihre cloudübergreifende Verbindung auswählen, wählen Sie die Region aus, die Ihren Daten physisch am nächsten ist, um eine optimale Kosten- und Leistungseffizienz zu erzielen.

In der folgenden Tabelle sind AWS-Regionen und die am besten entsprechenden BigQuery-Regionen aufgeführt:

AWS-Region Nächstgelegene BigQuery-Region Andere nahegelegene BigQuery-Regionen
us-east-1 us-east4 us-east1
us-east5
us-central1
us-east-2 us-east5 us-east4
us-east1
us-central1
us-west-1 us-west2 us-west4
us-west1
us-west3
us-west-2 us-west1 us-west3
us-west4
us-west2
ca-central-1 northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
sa-east-1 southamerica-east1 southamerica-west1
us-east1
us-south1
eu-west-1 europe-west1 europe-west2
europe-west9
europe-west4
eu-west-2 europe-west2 europe-west1
europe-west9
europe-west4
eu-west-3 europe-west9 europe-west1
europe-west2
europe-west3
eu-central-1 europe-west3 europe-west4
europe-west1
europe-west6
eu-central-2 europe-west6 europe-west8
europe-west12
europe-west3
eu-north-1 europe-north1 europe-west4
europe-central2
europe-west1
eu-south-1 europe-west8 europe-west12
europe-west6
europe-west3
eu-south-2 europe-southwest1 europe-west9
europe-west1
europe-west8
me-central-1 me-central1 me-central2
me-west1
asia-south1
me-south-1 me-central2 me-central1
me-west1
asia-south1
af-south-1 europe-southwest1 me-central2
me-west1
europe-west1
ap-east-1 asia-east2 asia-east1
asia-southeast1
asia-northeast1
ap-northeast-1 asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
ap-northeast-2 asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
ap-northeast-3 asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
ap-south-1 asia-south1 asia-south2
me-central1
asia-southeast1
ap-south-2 asia-south2 asia-south1
asia-southeast1
me-central1
ap-southeast-1 asia-southeast1 asia-southeast2
asia-east1
asia-south1
ap-southeast-2 australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
ap-southeast-3 asia-southeast2 asia-southeast1
australia-southeast1
asia-east1

In der folgenden Tabelle sind Azure-Regionen und die am besten entsprechenden BigQuery-Regionen aufgeführt:

Azure-Region Nächstgelegene BigQuery-Region Andere nahegelegene BigQuery-Regionen
Ost USA us-east4 us-east1
us-east5
us-central1
Ost USA 2 us-east4 us-east1
us-east5
us-south1
West USA us-west1 us-west2
us-west3
us-west4
West USA 2 us-west1 us-west4
us-west3
us-west2
West USA 3 us-west4 us-west2
us-west3
us-west1
Mitte der USA us-central1 us-east5
us-east4
us-east1
Nord Zentral USA us-east5 us-central1
us-east4
us-east1
Süd Zentral USA us-south1 us-east5
us-central1
us-east1
West Zentral USA us-west3 us-central1
us-west4
us-west2
Kanada Zentral northamerica-northeast2 northamerica-northeast1
us-east5
us-east4
Kanada Ost northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
Westeuropa europe-west4 europe-west1
europe-west3
europe-west9
Nordeuropa europe-west1 europe-west2
europe-west9
europe-west4
Frankreich Zentral europe-west9 europe-west1
europe-west2
europe-west3
Frankreich Süd europe-west9 europe-southwest1
europe-west8
europe-west1
Deutschland West Zentral europe-west3 europe-west4
europe-west1
europe-west6
Deutschland Nord europe-west3 europe-west4
europe-central2
europe-west2
Schweiz Nord europe-west6 europe-west8
europe-west12
europe-west3
Schweiz West europe-west6 europe-west9
europe-west8
europe-west3
Vereinigtes Königreich Süd europe-west2 europe-west1
europe-west9
europe-west4
Vereinigtes Königreich West europe-west2 europe-west1
europe-west9
europe-west4
Norwegen Ost europe-north1 europe-west4
europe-central2
europe-west1
Norwegen West europe-north1 europe-west4
europe-central2
europe-west1
Schweden Zentral europe-north1 europe-west4
europe-central2
europe-west1
Ostasien asia-east2 asia-east1
asia-southeast1
asia-northeast1
Südostasien asia-southeast1 asia-southeast2
asia-east1
asia-south1
Japan Ost asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
Japan West asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
Korea Zentral asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
Australien Ost australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Australien Südost australia-southeast2 australia-southeast1
asia-southeast1
asia-east1
Australien Zentral australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Westindien asia-south1 asia-south2
me-central1
asia-southeast1
Zentralindien asia-south1 asia-south2
me-central1
asia-southeast1
Südindien asia-south1 asia-south2
asia-southeast1
me-central1

Nächste Schritte