Cloudübergreifende Verbindungen erstellen
Cloudübergreifende Verbindungen sind BigQuery-Verbindungen, mit denen Daten von Amazon Web Services (AWS), Microsoft Azure und Salesforce Data 360 für Abfragen in BigQuery übertragen werden. Diese Verbindungen sind eine Alternative zu BigQuery-Standardverbindungen, die BigQuery Omni verwenden. Bei BigQuery Omni stellt BigQuery einfache Compute-Worker in Remote-Regionen bereit, um Daten in anderen Clouds ohne Datenverschiebung für Abfragen verfügbar zu machen.
Arbeitslasten können aus folgenden Gründen von cloudübergreifenden Verbindungen im Vergleich zu Standardverbindungen profitieren:
- Konsistenz der Funktionen: Wenn Sie Ihre Daten aus anderen Clouds in BigQuery importieren, erhalten Sie direkten Zugriff auf die KI-Funktionen von BigQuery, die Gemini Enterprise Agent Platform, materialisierte Ansichten, benutzerdefinierte Funktionen und andere Features, die über Standardverbindungen nicht verfügbar sind.
- Kosteneffizienz: Arbeitslasten, die cloudübergreifende Verbindungen verwenden, verbrauchen Standard-Slot-Reservierungen und -Zusicherungen. Es müssen also keine separaten Rechenkapazitäten verwaltet werden.
- Intelligentes Caching Während Daten cloudübergreifend übertragen werden, speichert BigQuery Fragmente automatisch lokal im Cache. So werden bei nachfolgenden Abfragen erhebliche Gebühren für cloudübergreifenden ausgehenden Traffic vermieden. Weitere Informationen finden Sie unter Intelligentes Caching.
Wenn Ihre Arbeitslast Apache Iceberg-Kataloge umfasst oder Sie Abfrageunterstützung für andere Engines als BigQuery benötigen, sollten Sie stattdessen die cloudübergreifende Datenzugriffsfunktion von Borderless Lakehouse verwenden.
Hinweis
Weisen Sie IAM-Rollen (Identity and Access Management) und Drittanbieterrollen zu, die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument gewähren.
Erforderliche BigQuery-Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle BigQuery-Administrator (roles/bigquery.admin) für das Projekt zuzuweisen, um die Berechtigungen abzurufen, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Erforderliche Drittanbieterrollen
Damit Sie die Berechtigungen erhalten, die Sie zum Erstellen einer cloudübergreifenden Verbindung benötigen, müssen Sie die folgenden Drittanbieterrollen haben:
- Für AWS: Eine Rolle, mit der Sie IAM-Richtlinien und -Rollen in Ihrem AWS-Konto erstellen können.
- Für Azure: Eine Rolle, mit der Sie App-Registrierungen in Microsoft Entra ID (Azure AD) verwalten und Rollen wie „Storage Blob Data Reader“ im Azure-Zielkonto zuweisen können.
AWS-Cloudübergreifende Verbindungen erstellen
So erstellen Sie eine AWS-Cloud-übergreifende Verbindung:
- Erstellen Sie eine AWS IAM-Richtlinie für BigQuery, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
- Erstellen Sie eine AWS-IAM-Rolle für BigQuery, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl
bq mk --connection:bq mk --connection \ --connection_type='AWS' \ --location=LOCATION \ --project_id=PROJECT_ID \ --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \ CONNECTION_ID
Ersetzen Sie Folgendes:
LOCATION: Ein standardmäßiger BigQuery-Standort, kein BigQuery Omni-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.PROJECT_ID: die ID Ihres Projekts in Google Cloud .AWS_ACCOUNT_ID: die ID des AWS-IAM-Nutzers aus dem vorherigen Schritt.ROLE_NAME: der Name der AWS-Rollenrichtlinie, die Sie ausgewählt haben.CONNECTION_ID: Eine ID, die dieser Verbindungsressource zugewiesen werden soll.
Weitere Informationen zu AWS-Verbindungsattributen finden Sie unter AwsProperties.
Verwenden Sie den Befehl
bq show, um die Dienstkontoinformationen zu notieren:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Fügen Sie der AWS-Rolle eine Vertrauensrichtlinie hinzu. Verwenden Sie dazu die Dienstkontoinformationen, wie Sie es auch für Standard-BigQuery-Verbindungen tun würden.
Mit Ihrer hergestellten AWS-cloudübergreifenden Verbindung können Sie jetzt Tabellen und Datasets erstellen, um Ihre Remote-Daten abzufragen.
AWS-Beispiele
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Amazon Simple Storage Service-Bucket (Amazon S3) mit einer cloudübergreifenden Verbindung abzufragen:
CREATE SCHEMA `my-project.aws_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( format = 'PARQUET', uris = ['s3://my-data-bucket/sales/year=2025/*']);
Im folgenden Beispiel wird eine gesamte Datenbank mithilfe von AWS Glue mit einer cloudübergreifenden Verbindung in BigQuery eingebunden:
CREATE EXTERNAL SCHEMA `my-project.aws_glue_data` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( location = 'us-east4', external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');
Weitere Informationen zur AWS Glue-Föderation finden Sie unter Föderierte AWS Glue-Datasets erstellen und verwalten.
Azure-cloudübergreifende Verbindungen erstellen
So erstellen Sie eine Azure-cloudübergreifende Verbindung:
- Erstellen Sie eine Anwendung in Ihrem Azure-Mandanten, wie Sie es für Standard-BigQuery-Verbindungen tun würden, und notieren Sie sich die Anwendungs- (Client) und Verzeichnis-IDs (Mandant).
- Weisen Sie der Azure-Anwendung eine Rolle zu, wie Sie es für Standard-BigQuery-Verbindungen tun würden.
Verwenden Sie zum Erstellen einer Verbindungsressource den Befehl
bq mk --connection:bq mk --connection \ --connection_type='Azure' \ --tenant_id=TENANT_ID \ --location=LOCATION \ --federated_azure=true \ --federated_app_client_id=APP_ID \ --project_id=PROJECT_ID \ CONNECTION_ID
Ersetzen Sie Folgendes:
TENANT_ID: die Mandanten-ID des Azure-Verzeichnisses, das das Azure-Konto enthält.LOCATION: Ein standardmäßiger BigQuery-Standort, kein BigQuery Omni-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.APP_ID: die ID der Azure-Anwendung (Client)PROJECT_ID: die ID Ihres Projekts in Google Cloud .CONNECTION_ID: Eine ID, die dieser Verbindungsressource zugewiesen werden soll.
Weitere Informationen zu Azure-Verbindungseigenschaften finden Sie unter AzureProperties.
Verwenden Sie den Befehl
bq show, um die Dienstkontoinformationen zu notieren:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Fügen Sie mithilfe der Dienstkontoinformationen einen föderierten Berechtigungsnachweis hinzu, wie Sie es auch für standardmäßige BigQuery-Verbindungen tun würden.
Mit Ihrer eingerichteten Azure-Cloudübergreifenden Verbindung können Sie jetzt Tabellen und Datasets erstellen, um Ihre Remote-Daten abzufragen.
Azure-Beispiele
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Parquet-Dateien direkt aus einem Azure Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:
CREATE SCHEMA `my-project.azure_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'PARQUET', uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);
Im folgenden Beispiel wird eine externe Tabelle erstellt, um Roh-CSV-Exporte aus einem Blob Storage-Container mit einer cloudübergreifenden Verbindung abzufragen:
CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'CSV', skip_leading_rows = 1, uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);
Cloudübergreifende Data 360-Verbindungen erstellen
Wenn Sie eine cloudübergreifende Data 360-Verbindung erstellen möchten, folgen Sie der Anleitung zum Verknüpfen eines Data 360-Datasets mit BigQuery. Erstellen Sie das verknüpfte Dataset jedoch nicht an einem BigQuery Omni-Standort, sondern an einem standardmäßigen BigQuery-Standort. Informationen zur Auswahl einer Region finden Sie unter Regionsempfehlungen.
Nachdem Sie Ihre Abfragen so aktualisiert haben, dass die neuen Datasets verwendet werden, können Sie alle verknüpften Legacy-Datasets und materialisierten BigQuery Omni-Ansichten löschen.
Regionsempfehlungen
Wenn Sie eine BigQuery-Standardregion für Ihre cloudübergreifende Verbindung auswählen, wählen Sie die Region aus, die Ihren Daten physisch am nächsten ist, um eine optimale Kosten- und Leistungseffizienz zu erzielen.
In der folgenden Tabelle sind AWS-Regionen und die am besten entsprechenden BigQuery-Regionen aufgeführt:
| AWS-Region | Nächstgelegene BigQuery-Region | Andere nahegelegene BigQuery-Regionen |
|---|---|---|
us-east-1 |
us-east4 |
us-east1us-east5us-central1
|
us-east-2 |
us-east5 |
us-east4us-east1us-central1
|
us-west-1 |
us-west2 |
us-west4us-west1us-west3
|
us-west-2 |
us-west1 |
us-west3us-west4us-west2
|
ca-central-1 |
northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
sa-east-1 |
southamerica-east1 |
southamerica-west1us-east1us-south1
|
eu-west-1 |
europe-west1 |
europe-west2europe-west9europe-west4
|
eu-west-2 |
europe-west2 |
europe-west1europe-west9europe-west4
|
eu-west-3 |
europe-west9 |
europe-west1europe-west2europe-west3
|
eu-central-1 |
europe-west3 |
europe-west4europe-west1europe-west6
|
eu-central-2 |
europe-west6 |
europe-west8europe-west12europe-west3
|
eu-north-1 |
europe-north1 |
europe-west4europe-central2europe-west1
|
eu-south-1 |
europe-west8 |
europe-west12europe-west6europe-west3
|
eu-south-2 |
europe-southwest1 |
europe-west9europe-west1europe-west8
|
me-central-1 |
me-central1 |
me-central2me-west1asia-south1
|
me-south-1 |
me-central2 |
me-central1me-west1asia-south1
|
af-south-1 |
europe-southwest1 |
me-central2me-west1europe-west1
|
ap-east-1 |
asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
ap-northeast-1 |
asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
ap-northeast-2 |
asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
ap-northeast-3 |
asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
ap-south-1 |
asia-south1 |
asia-south2me-central1asia-southeast1
|
ap-south-2 |
asia-south2 |
asia-south1asia-southeast1me-central1
|
ap-southeast-1 |
asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
ap-southeast-2 |
australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
ap-southeast-3 |
asia-southeast2 |
asia-southeast1australia-southeast1asia-east1
|
In der folgenden Tabelle sind Azure-Regionen und die am besten entsprechenden BigQuery-Regionen aufgeführt:
| Azure-Region | Nächstgelegene BigQuery-Region | Andere nahegelegene BigQuery-Regionen |
|---|---|---|
| Ost USA | us-east4 |
us-east1us-east5us-central1
|
| Ost USA 2 | us-east4 |
us-east1us-east5us-south1
|
| West USA | us-west1 |
us-west2us-west3us-west4
|
| West USA 2 | us-west1 |
us-west4us-west3us-west2
|
| West USA 3 | us-west4 |
us-west2us-west3us-west1
|
| Mitte der USA | us-central1 |
us-east5us-east4us-east1
|
| Nord Zentral USA | us-east5 |
us-central1us-east4us-east1
|
| Süd Zentral USA | us-south1 |
us-east5us-central1us-east1
|
| West Zentral USA | us-west3 |
us-central1us-west4us-west2
|
| Kanada Zentral | northamerica-northeast2 |
northamerica-northeast1us-east5us-east4
|
| Kanada Ost | northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
| Westeuropa | europe-west4 |
europe-west1europe-west3europe-west9
|
| Nordeuropa | europe-west1 |
europe-west2europe-west9europe-west4
|
| Frankreich Zentral | europe-west9 |
europe-west1europe-west2europe-west3
|
| Frankreich Süd | europe-west9 |
europe-southwest1europe-west8europe-west1
|
| Deutschland West Zentral | europe-west3 |
europe-west4europe-west1europe-west6
|
| Deutschland Nord | europe-west3 |
europe-west4europe-central2europe-west2
|
| Schweiz Nord | europe-west6 |
europe-west8europe-west12europe-west3
|
| Schweiz West | europe-west6 |
europe-west9europe-west8europe-west3
|
| Vereinigtes Königreich Süd | europe-west2 |
europe-west1europe-west9europe-west4
|
| Vereinigtes Königreich West | europe-west2 |
europe-west1europe-west9europe-west4
|
| Norwegen Ost | europe-north1 |
europe-west4europe-central2europe-west1
|
| Norwegen West | europe-north1 |
europe-west4europe-central2europe-west1
|
| Schweden Zentral | europe-north1 |
europe-west4europe-central2europe-west1
|
| Ostasien | asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
| Südostasien | asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
| Japan Ost | asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
| Japan West | asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
| Korea Zentral | asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
| Australien Ost | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Australien Südost | australia-southeast2 |
australia-southeast1asia-southeast1asia-east1
|
| Australien Zentral | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Westindien | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Zentralindien | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Südindien | asia-south1 |
asia-south2asia-southeast1me-central1
|