Cross-Cloud-Verbindungen erstellen

Cloudübergreifende Verbindungen sind BigQuery-Verbindungen, mit denen Daten aus Amazon Web Services (AWS), Microsoft Azure und Salesforce Data 360 für Abfragen in BigQuery verfügbar gemacht werden. Diese Verbindungen sind eine Alternative zu Standard-BigQuery-Verbindungen, die BigQuery Omni verwenden. Dabei werden von BigQuery einfache Compute-Worker in Remote-Regionen bereitgestellt, um Daten in anderen Clouds ohne Datenübertragung für Abfragen verfügbar zu machen.

Arbeitslasten können aus folgenden Gründen von Cloud-übergreifenden Verbindungen im Vergleich zu Standardverbindungen profitieren:

  • Konsistenz der Funktionen: Wenn Sie Ihre Daten aus anderen Clouds in BigQuery übertragen, erhalten Sie direkten Zugriff auf BigQuery AI-Funktionen, die Gemini Enterprise Agent Platform, materialisierte Ansichten, benutzerdefinierte Funktionen und andere Funktionen, die über Standardverbindungen nicht verfügbar sind.
  • Kosteneffizienz: Für Arbeitslasten, die cloudübergreifende Verbindungen verwenden, werden standardmäßige Slotreservierungen und ‑zusicherungen genutzt. So müssen Sie keine separaten Rechenkapazitäten verwalten.
  • Intelligentes Caching Während Daten zwischen Clouds übertragen werden, werden Fragmente in BigQuery automatisch lokal im Cache gespeichert. So werden bei nachfolgenden Abfragen erhebliche Gebühren für den Cloud-übergreifenden Egress vermieden. Weitere Informationen finden Sie unter Intelligentes Caching.

Wenn für Ihren Arbeitslasten Apache Iceberg-Kataloge erforderlich sind oder Sie die Unterstützung von Abfragen für andere Engines als BigQuery benötigen, sollten Sie stattdessen die cloudübergreifende Datenzugriffsfunktion von Borderless Lakehouse verwenden.

Hinweis

Weisen Sie IAM-Rollen (Identity and Access Management) und Drittanbieterrollen zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für das Projekt zuzuweisen, um die Berechtigungen abzurufen, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Drittanbieterrollen

Damit Sie die Berechtigungen erhalten, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen, müssen Sie die folgenden Drittanbieterrollen haben:

  • Für AWS:Eine Rolle, mit der Sie IAM-Richtlinien und -Rollen in Ihrem AWS-Konto erstellen können.
  • Für Azure:Eine Rolle, mit der Sie App-Registrierungen in Microsoft Entra ID (Azure AD) verwalten und Rollen wie „Storage Blob Data Reader“ für das Ziel-Azure-Konto zuweisen können.

AWS-Cloud-übergreifende Verbindungen erstellen

So erstellen Sie eine AWS-Cloud-übergreifende Verbindung:

  1. Erstellen Sie eine AWS IAM-Richtlinie für BigQuery wie für standardmäßige BigQuery-Verbindungen.
  2. Erstellen Sie eine AWS IAM-Rolle für BigQuery wie für standardmäßige BigQuery-Verbindungen.
  3. Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl bq mk --connection:

    bq mk --connection \
        --connection_type='AWS' \
        --location=LOCATION \
        --project_id=PROJECT_ID \
        --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \
        CONNECTION_ID

    Ersetzen Sie Folgendes:

    • LOCATION: Ein Standard-BigQuery-Standort, kein BigQuery Omni-Standort. Empfehlungen für Regionen
    • PROJECT_ID: die ID Ihres Projekts in Google Cloud .
    • AWS_ACCOUNT_ID: die ID des AWS IAM-Nutzers aus dem vorherigen Schritt.
    • ROLE_NAME: der Name der AWS-Rollenrichtlinie, die Sie ausgewählt haben.
    • CONNECTION_ID: Eine ID für diese Verbindungsressource.
  4. Verwenden Sie den bq show-Befehl, um die Dienstkontoinformationen zu notieren:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Fügen Sie der AWS-Rolle eine Vertrauensrichtlinie hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es bei standardmäßigen BigQuery-Verbindungen tun würden.

Nachdem Sie die cloudübergreifende AWS-Verbindung eingerichtet haben, können Sie Tabellen und Datasets erstellen, um Ihre Remotedaten abzufragen.

AWS-Beispiele

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Amazon Simple Storage Service-Bucket (Amazon S3) mit einer cloudübergreifenden Verbindung abzufragen:

CREATE SCHEMA `my-project.aws_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['s3://my-data-bucket/sales/year=2025/*']);

Im folgenden Beispiel wird eine gesamte Datenbank mit AWS Glue und einer cloudübergreifenden Verbindung in BigQuery eingebunden:

CREATE EXTERNAL SCHEMA `my-project.aws_glue_data`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    location = 'us-east4',
    external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');

Weitere Informationen zur AWS Glue-Föderation finden Sie unter Föderierte AWS Glue-Datasets erstellen und verwalten.

Azure-Cloud-übergreifende Verbindungen erstellen

So erstellen Sie eine Azure-Cloud-übergreifende Verbindung:

  1. Erstellen Sie eine Anwendung in Ihrem Azure-Mandanten wie für Standard-BigQuery-Verbindungen und notieren Sie sich die Anwendungs- (Client-) und Verzeichnis- (Mandanten-)IDs.
  2. Weisen Sie der Azure-Anwendung eine Rolle zu, wie Sie es auch bei standardmäßigen BigQuery-Verbindungen tun würden.
  3. Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl bq mk --connection:

    bq mk --connection \
        --connection_type='Azure' \
        --tenant_id=TENANT_ID \
        --location=LOCATION \
        --federated_azure=true \
        --federated_app_client_id=APP_ID \
        --project_id=PROJECT_ID \
        CONNECTION_ID

    Ersetzen Sie Folgendes:

    • TENANT_ID: die Mandanten-ID des Azure-Verzeichnisses, das das Azure-Konto enthält.
    • LOCATION: Ein Standard-BigQuery-Standort, kein BigQuery Omni-Standort. Empfehlungen für Regionen
    • APP_ID: die ID der Azure-Anwendung (Client)
    • PROJECT_ID: die ID Ihres Projekts in Google Cloud .
    • CONNECTION_ID: Eine ID für diese Verbindungsressource.
  4. Verwenden Sie den bq show-Befehl, um die Dienstkontoinformationen zu notieren:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Fügen Sie ein föderiertes Anmeldedatenpaar hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es auch bei standardmäßigen BigQuery-Verbindungen tun.

Nachdem Sie die Azure-Cloud-übergreifende Verbindung eingerichtet haben, können Sie Tabellen und Datasets erstellen, um Ihre Remotedaten abzufragen.

Azure-Beispiele

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Azure Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:

CREATE SCHEMA `my-project.azure_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);

Im folgenden Beispiel wird eine externe Tabelle erstellt, um Roh-CSV-Exporte aus einem Blob-Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:

CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'CSV',
    skip_leading_rows = 1,
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);

Cross-Cloud-Verbindungen für Data 360 erstellen

Wenn Sie eine Data 360-Cloud-übergreifende Verbindung erstellen möchten, folgen Sie der Anleitung zum Verknüpfen eines Data 360-Datasets mit BigQuery. Erstellen Sie das verknüpfte Dataset jedoch nicht an einem BigQuery Omni-Standort, sondern an einem standardmäßigen BigQuery-Standort. Empfehlungen für Regionen

Nachdem Sie Ihre Abfragen aktualisiert haben, um die neuen Datasets zu verwenden, können Sie alle alten verknüpften Datasets und BigQuery Omni-Materialized Views löschen.

Regionsempfehlungen

Wenn Sie eine BigQuery-Standardregion für Ihre cloudübergreifende Verbindung auswählen, sollten Sie die Region wählen, die sich physisch am nächsten an Ihren Daten befindet, um optimale Kosten- und Leistungseffizienz zu erzielen.

In der folgenden Tabelle sind AWS-Regionen und die besten entsprechenden BigQuery-Regionen aufgeführt:

AWS-Region Nächstgelegene BigQuery-Region Andere nahegelegene BigQuery-Regionen
us-east-1 us-east4 us-east1
us-east5
us-central1
us-east-2 us-east5 us-east4
us-east1
us-central1
us-west-1 us-west2 us-west4
us-west1
us-west3
us-west-2 us-west1 us-west3
us-west4
us-west2
ca-central-1 northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
sa-east-1 southamerica-east1 southamerica-west1
us-east1
us-south1
eu-west-1 europe-west1 europe-west2
europe-west9
europe-west4
eu-west-2 europe-west2 europe-west1
europe-west9
europe-west4
eu-west-3 europe-west9 europe-west1
europe-west2
europe-west3
eu-central-1 europe-west3 europe-west4
europe-west1
europe-west6
eu-central-2 europe-west6 europe-west8
europe-west12
europe-west3
eu-north-1 europe-north1 europe-west4
europe-central2
europe-west1
eu-south-1 europe-west8 europe-west12
europe-west6
europe-west3
eu-south-2 europe-southwest1 europe-west9
europe-west1
europe-west8
me-central-1 me-central1 me-central2
me-west1
asia-south1
me-south-1 me-central2 me-central1
me-west1
asia-south1
af-south-1 europe-southwest1 me-central2
me-west1
europe-west1
ap-east-1 asia-east2 asia-east1
asia-southeast1
asia-northeast1
ap-northeast-1 asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
ap-northeast-2 asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
ap-northeast-3 asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
ap-south-1 asia-south1 asia-south2
me-central1
asia-southeast1
ap-south-2 asia-south2 asia-south1
asia-southeast1
me-central1
ap-southeast-1 asia-southeast1 asia-southeast2
asia-east1
asia-south1
ap-southeast-2 australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
ap-southeast-3 asia-southeast2 asia-southeast1
australia-southeast1
asia-east1

In der folgenden Tabelle sind Azure-Regionen und die besten entsprechenden BigQuery-Regionen aufgeführt:

Azure-Region Nächstgelegene BigQuery-Region Andere nahegelegene BigQuery-Regionen
Ost USA us-east4 us-east1
us-east5
us-central1
Ost USA 2 us-east4 us-east1
us-east5
us-south1
West USA us-west1 us-west2
us-west3
us-west4
West USA 2 us-west1 us-west4
us-west3
us-west2
West USA 3 us-west4 us-west2
us-west3
us-west1
Mitte der USA us-central1 us-east5
us-east4
us-east1
Nord Zentral USA us-east5 us-central1
us-east4
us-east1
Süd Zentral USA us-south1 us-east5
us-central1
us-east1
West Zentral USA us-west3 us-central1
us-west4
us-west2
Kanada Zentral northamerica-northeast2 northamerica-northeast1
us-east5
us-east4
Kanada Ost northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
Westeuropa europe-west4 europe-west1
europe-west3
europe-west9
Nordeuropa europe-west1 europe-west2
europe-west9
europe-west4
Frankreich Zentral europe-west9 europe-west1
europe-west2
europe-west3
Frankreich Süd europe-west9 europe-southwest1
europe-west8
europe-west1
Deutschland West Zentral europe-west3 europe-west4
europe-west1
europe-west6
Deutschland Nord europe-west3 europe-west4
europe-central2
europe-west2
Schweiz Nord europe-west6 europe-west8
europe-west12
europe-west3
Schweiz West europe-west6 europe-west9
europe-west8
europe-west3
Vereinigtes Königreich Süd europe-west2 europe-west1
europe-west9
europe-west4
Vereinigtes Königreich West europe-west2 europe-west1
europe-west9
europe-west4
Norwegen Ost europe-north1 europe-west4
europe-central2
europe-west1
Norwegen West europe-north1 europe-west4
europe-central2
europe-west1
Schweden Zentral europe-north1 europe-west4
europe-central2
europe-west1
Ostasien asia-east2 asia-east1
asia-southeast1
asia-northeast1
Südostasien asia-southeast1 asia-southeast2
asia-east1
asia-south1
Japan (Osten) asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
Japan West asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
Korea Central asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
Australien Ost australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Südostaustralien australia-southeast2 australia-southeast1
asia-southeast1
asia-east1
Australien Zentral australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Westindien asia-south1 asia-south2
me-central1
asia-southeast1
Zentralindien asia-south1 asia-south2
me-central1
asia-southeast1
Südindien asia-south1 asia-south2
asia-southeast1
me-central1

Nächste Schritte