Cross-Cloud-Verbindungen erstellen
Cloudübergreifende Verbindungen sind BigQuery-Verbindungen, mit denen Daten aus Amazon Web Services (AWS), Microsoft Azure und Salesforce Data 360 für Abfragen in BigQuery verfügbar gemacht werden. Diese Verbindungen sind eine Alternative zu Standard-BigQuery-Verbindungen, die BigQuery Omni verwenden. Dabei werden von BigQuery einfache Compute-Worker in Remote-Regionen bereitgestellt, um Daten in anderen Clouds ohne Datenübertragung für Abfragen verfügbar zu machen.
Arbeitslasten können aus folgenden Gründen von Cloud-übergreifenden Verbindungen im Vergleich zu Standardverbindungen profitieren:
- Konsistenz der Funktionen: Wenn Sie Ihre Daten aus anderen Clouds in BigQuery übertragen, erhalten Sie direkten Zugriff auf BigQuery AI-Funktionen, die Gemini Enterprise Agent Platform, materialisierte Ansichten, benutzerdefinierte Funktionen und andere Funktionen, die über Standardverbindungen nicht verfügbar sind.
- Kosteneffizienz: Für Arbeitslasten, die cloudübergreifende Verbindungen verwenden, werden standardmäßige Slotreservierungen und ‑zusicherungen genutzt. So müssen Sie keine separaten Rechenkapazitäten verwalten.
- Intelligentes Caching Während Daten zwischen Clouds übertragen werden, werden Fragmente in BigQuery automatisch lokal im Cache gespeichert. So werden bei nachfolgenden Abfragen erhebliche Gebühren für den Cloud-übergreifenden Egress vermieden. Weitere Informationen finden Sie unter Intelligentes Caching.
Wenn für Ihren Arbeitslasten Apache Iceberg-Kataloge erforderlich sind oder Sie die Unterstützung von Abfragen für andere Engines als BigQuery benötigen, sollten Sie stattdessen die cloudübergreifende Datenzugriffsfunktion von Borderless Lakehouse verwenden.
Hinweis
Weisen Sie IAM-Rollen (Identity and Access Management) und Drittanbieterrollen zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren.
Erforderliche BigQuery-Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für das Projekt zuzuweisen, um die Berechtigungen abzurufen, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Erforderliche Drittanbieterrollen
Damit Sie die Berechtigungen erhalten, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen, müssen Sie die folgenden Drittanbieterrollen haben:
- Für AWS:Eine Rolle, mit der Sie IAM-Richtlinien und -Rollen in Ihrem AWS-Konto erstellen können.
- Für Azure:Eine Rolle, mit der Sie App-Registrierungen in Microsoft Entra ID (Azure AD) verwalten und Rollen wie „Storage Blob Data Reader“ für das Ziel-Azure-Konto zuweisen können.
AWS-Cloud-übergreifende Verbindungen erstellen
So erstellen Sie eine AWS-Cloud-übergreifende Verbindung:
- Erstellen Sie eine AWS IAM-Richtlinie für BigQuery wie für standardmäßige BigQuery-Verbindungen.
- Erstellen Sie eine AWS IAM-Rolle für BigQuery wie für standardmäßige BigQuery-Verbindungen.
Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl
bq mk --connection:bq mk --connection \ --connection_type='AWS' \ --location=LOCATION \ --project_id=PROJECT_ID \ --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \ CONNECTION_ID
Ersetzen Sie Folgendes:
LOCATION: Ein Standard-BigQuery-Standort, kein BigQuery Omni-Standort. Empfehlungen für RegionenPROJECT_ID: die ID Ihres Projekts in Google Cloud .AWS_ACCOUNT_ID: die ID des AWS IAM-Nutzers aus dem vorherigen Schritt.ROLE_NAME: der Name der AWS-Rollenrichtlinie, die Sie ausgewählt haben.CONNECTION_ID: Eine ID für diese Verbindungsressource.
Verwenden Sie den
bq show-Befehl, um die Dienstkontoinformationen zu notieren:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Fügen Sie der AWS-Rolle eine Vertrauensrichtlinie hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es bei standardmäßigen BigQuery-Verbindungen tun würden.
Nachdem Sie die cloudübergreifende AWS-Verbindung eingerichtet haben, können Sie Tabellen und Datasets erstellen, um Ihre Remotedaten abzufragen.
AWS-Beispiele
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Amazon Simple Storage Service-Bucket (Amazon S3) mit einer cloudübergreifenden Verbindung abzufragen:
CREATE SCHEMA `my-project.aws_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( format = 'PARQUET', uris = ['s3://my-data-bucket/sales/year=2025/*']);
Im folgenden Beispiel wird eine gesamte Datenbank mit AWS Glue und einer cloudübergreifenden Verbindung in BigQuery eingebunden:
CREATE EXTERNAL SCHEMA `my-project.aws_glue_data` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( location = 'us-east4', external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');
Weitere Informationen zur AWS Glue-Föderation finden Sie unter Föderierte AWS Glue-Datasets erstellen und verwalten.
Azure-Cloud-übergreifende Verbindungen erstellen
So erstellen Sie eine Azure-Cloud-übergreifende Verbindung:
- Erstellen Sie eine Anwendung in Ihrem Azure-Mandanten wie für Standard-BigQuery-Verbindungen und notieren Sie sich die Anwendungs- (Client-) und Verzeichnis- (Mandanten-)IDs.
- Weisen Sie der Azure-Anwendung eine Rolle zu, wie Sie es auch bei standardmäßigen BigQuery-Verbindungen tun würden.
Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl
bq mk --connection:bq mk --connection \ --connection_type='Azure' \ --tenant_id=TENANT_ID \ --location=LOCATION \ --federated_azure=true \ --federated_app_client_id=APP_ID \ --project_id=PROJECT_ID \ CONNECTION_ID
Ersetzen Sie Folgendes:
TENANT_ID: die Mandanten-ID des Azure-Verzeichnisses, das das Azure-Konto enthält.LOCATION: Ein Standard-BigQuery-Standort, kein BigQuery Omni-Standort. Empfehlungen für RegionenAPP_ID: die ID der Azure-Anwendung (Client)PROJECT_ID: die ID Ihres Projekts in Google Cloud .CONNECTION_ID: Eine ID für diese Verbindungsressource.
Verwenden Sie den
bq show-Befehl, um die Dienstkontoinformationen zu notieren:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Fügen Sie ein föderiertes Anmeldedatenpaar hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es auch bei standardmäßigen BigQuery-Verbindungen tun.
Nachdem Sie die Azure-Cloud-übergreifende Verbindung eingerichtet haben, können Sie Tabellen und Datasets erstellen, um Ihre Remotedaten abzufragen.
Azure-Beispiele
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Azure Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:
CREATE SCHEMA `my-project.azure_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'PARQUET', uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Roh-CSV-Exporte aus einem Blob-Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:
CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'CSV', skip_leading_rows = 1, uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);
Cross-Cloud-Verbindungen für Data 360 erstellen
Wenn Sie eine Data 360-Cloud-übergreifende Verbindung erstellen möchten, folgen Sie der Anleitung zum Verknüpfen eines Data 360-Datasets mit BigQuery. Erstellen Sie das verknüpfte Dataset jedoch nicht an einem BigQuery Omni-Standort, sondern an einem standardmäßigen BigQuery-Standort. Empfehlungen für Regionen
Nachdem Sie Ihre Abfragen aktualisiert haben, um die neuen Datasets zu verwenden, können Sie alle alten verknüpften Datasets und BigQuery Omni-Materialized Views löschen.
Regionsempfehlungen
Wenn Sie eine BigQuery-Standardregion für Ihre cloudübergreifende Verbindung auswählen, sollten Sie die Region wählen, die sich physisch am nächsten an Ihren Daten befindet, um optimale Kosten- und Leistungseffizienz zu erzielen.
In der folgenden Tabelle sind AWS-Regionen und die besten entsprechenden BigQuery-Regionen aufgeführt:
| AWS-Region | Nächstgelegene BigQuery-Region | Andere nahegelegene BigQuery-Regionen |
|---|---|---|
us-east-1 |
us-east4 |
us-east1us-east5us-central1
|
us-east-2 |
us-east5 |
us-east4us-east1us-central1
|
us-west-1 |
us-west2 |
us-west4us-west1us-west3
|
us-west-2 |
us-west1 |
us-west3us-west4us-west2
|
ca-central-1 |
northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
sa-east-1 |
southamerica-east1 |
southamerica-west1us-east1us-south1
|
eu-west-1 |
europe-west1 |
europe-west2europe-west9europe-west4
|
eu-west-2 |
europe-west2 |
europe-west1europe-west9europe-west4
|
eu-west-3 |
europe-west9 |
europe-west1europe-west2europe-west3
|
eu-central-1 |
europe-west3 |
europe-west4europe-west1europe-west6
|
eu-central-2 |
europe-west6 |
europe-west8europe-west12europe-west3
|
eu-north-1 |
europe-north1 |
europe-west4europe-central2europe-west1
|
eu-south-1 |
europe-west8 |
europe-west12europe-west6europe-west3
|
eu-south-2 |
europe-southwest1 |
europe-west9europe-west1europe-west8
|
me-central-1 |
me-central1 |
me-central2me-west1asia-south1
|
me-south-1 |
me-central2 |
me-central1me-west1asia-south1
|
af-south-1 |
europe-southwest1 |
me-central2me-west1europe-west1
|
ap-east-1 |
asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
ap-northeast-1 |
asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
ap-northeast-2 |
asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
ap-northeast-3 |
asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
ap-south-1 |
asia-south1 |
asia-south2me-central1asia-southeast1
|
ap-south-2 |
asia-south2 |
asia-south1asia-southeast1me-central1
|
ap-southeast-1 |
asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
ap-southeast-2 |
australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
ap-southeast-3 |
asia-southeast2 |
asia-southeast1australia-southeast1asia-east1
|
In der folgenden Tabelle sind Azure-Regionen und die besten entsprechenden BigQuery-Regionen aufgeführt:
| Azure-Region | Nächstgelegene BigQuery-Region | Andere nahegelegene BigQuery-Regionen |
|---|---|---|
| Ost USA | us-east4 |
us-east1us-east5us-central1
|
| Ost USA 2 | us-east4 |
us-east1us-east5us-south1
|
| West USA | us-west1 |
us-west2us-west3us-west4
|
| West USA 2 | us-west1 |
us-west4us-west3us-west2
|
| West USA 3 | us-west4 |
us-west2us-west3us-west1
|
| Mitte der USA | us-central1 |
us-east5us-east4us-east1
|
| Nord Zentral USA | us-east5 |
us-central1us-east4us-east1
|
| Süd Zentral USA | us-south1 |
us-east5us-central1us-east1
|
| West Zentral USA | us-west3 |
us-central1us-west4us-west2
|
| Kanada Zentral | northamerica-northeast2 |
northamerica-northeast1us-east5us-east4
|
| Kanada Ost | northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
| Westeuropa | europe-west4 |
europe-west1europe-west3europe-west9
|
| Nordeuropa | europe-west1 |
europe-west2europe-west9europe-west4
|
| Frankreich Zentral | europe-west9 |
europe-west1europe-west2europe-west3
|
| Frankreich Süd | europe-west9 |
europe-southwest1europe-west8europe-west1
|
| Deutschland West Zentral | europe-west3 |
europe-west4europe-west1europe-west6
|
| Deutschland Nord | europe-west3 |
europe-west4europe-central2europe-west2
|
| Schweiz Nord | europe-west6 |
europe-west8europe-west12europe-west3
|
| Schweiz West | europe-west6 |
europe-west9europe-west8europe-west3
|
| Vereinigtes Königreich Süd | europe-west2 |
europe-west1europe-west9europe-west4
|
| Vereinigtes Königreich West | europe-west2 |
europe-west1europe-west9europe-west4
|
| Norwegen Ost | europe-north1 |
europe-west4europe-central2europe-west1
|
| Norwegen West | europe-north1 |
europe-west4europe-central2europe-west1
|
| Schweden Zentral | europe-north1 |
europe-west4europe-central2europe-west1
|
| Ostasien | asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
| Südostasien | asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
| Japan (Osten) | asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
| Japan West | asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
| Korea Central | asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
| Australien Ost | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Südostaustralien | australia-southeast2 |
australia-southeast1asia-southeast1asia-east1
|
| Australien Zentral | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Westindien | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Zentralindien | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Südindien | asia-south1 |
asia-south2asia-southeast1me-central1
|