Einführung in BigQuery Data Transfer Service
Mit dem BigQuery Data Transfer Service können Sie geplante, verwaltete Datenübertragungen in BigQuery automatisieren. Nachdem Sie eine Datenübertragung konfiguriert haben, werden Daten von BigQuery Data Transfer Service automatisch regelmäßig in BigQuery geladen. Sie können auch Daten-Backfills initiieren, um eine Wiederherstellung nach Ausfällen oder Lücken zu erreichen, Dataset-Kopien erstellen und geplante Abfragen ausführen. Sie können mit BigQuery Data Transfer Service keine Daten aus BigQuery übertragen.
Zum Konfigurieren und Verwalten von Übertragungen können Sie die Google Cloud Console, das bq-Befehlszeilentool oder die BigQuery Data Transfer Service API verwenden. Die Seite Pipelines und Verbindungen bietet außerdem einen optimierten Workflow (Vorabversion) zum Erstellen von Übertragungen. Wenn Sie Dienstupdates erhalten möchten, abonnieren Sie die Gruppe für BigQuery DTS-Ankündigungen.
Unterstützte Datenquellen
Der BigQuery Data Transfer Service unterstützt das Laden von Daten aus den folgenden Datenquellen:
| Kategorie | Datenquelle |
|---|---|
| Cloud-Speicher | Amazon Simple Storage Service (Amazon S3) |
| Cloud-Speicher | Azure Blob Storage |
| Cloud-Speicher | Cloud Storage |
| Datenbanken und Data Warehouses | Amazon Redshift |
| Datenbanken und Data Warehouses | Apache Hive Metastore |
| Datenbanken und Data Warehouses | Microsoft SQL Server (Vorabversion) |
| Datenbanken und Data Warehouses | MySQL |
| Datenbanken und Data Warehouses | Oracle |
| Datenbanken und Data Warehouses | PostgreSQL |
| Datenbanken und Data Warehouses | Snowflake |
| Datenbanken und Data Warehouses | Teradata |
| Google-Dienste | Campaign Manager |
| Google-Dienste | Preisvergleichsportal (CSS) Center (Vorschau) |
| Google-Dienste | Display & Video 360 |
| Google-Dienste | Google Ad Manager |
| Google-Dienste | Google Ads |
| Google-Dienste | Google Analytics 4 |
| Google-Dienste | Google Merchant Center (Vorschau) |
| Google-Dienste | Google Play |
| Google-Dienste | Search Ads 360 |
| Google-Dienste | YouTube-Kanal |
| Google-Dienste | YouTube-Rechteinhaber |
| Marketingplattformen | Facebook Ads |
| Marketingplattformen | HubSpot (Vorabversion) |
| Marketingplattformen | Klaviyo (Vorabversion) |
| Marketingplattformen | Mailchimp (Vorabversion) |
| Zahlungsplattformen | PayPal (Vorabversion) |
| Zahlungsplattformen | Shopify (Vorabversion) |
| Zahlungsplattformen | Stripe (Vorabversion) |
| SaaS-Plattformen | Salesforce |
| SaaS-Plattformen | Salesforce Marketing Cloud |
| SaaS-Plattformen | ServiceNow |
Überlegungen zum SLO für die Datenbereitstellung
Das SLO für die Datenbereitstellung gilt für automatisch geplante Datenübertragungen mit dem BigQuery Data Transfer Service aus Quellen innerhalb von Google Cloud.
Bei Datenübertragungen, die Drittanbieter- oder Nicht-Google Cloud -Quellen betreffen, können Dienstausfälle bei diesen Quellen die Leistung des BigQuery Data Transfer Service beeinträchtigen. Daher gilt das SLO für die Datenbereitstellung nicht für BigQuery Data Transfer Service-Datenübertragungen aus Nicht-Google Cloud -Quellen.
Unterstützte Regionen
Ebenso wie BigQuery ist auch BigQuery Data Transfer Service eine multiregionale Ressource mit vielen zusätzlichen einzelnen verfügbaren Regionen.
Der Standort eines BigQuery-Datasets wird angegeben, wenn Sie ein Ziel-Dataset erstellen, um die vom BigQuery Data Transfer Service übertragenen Daten zu speichern. Wenn Sie eine Übertragung einrichten, wird für die Übertragungskonfiguration derselbe Standort wie für das Ziel-Dataset festgelegt. Daten werden von BigQuery Data Transfer Service am selben Speicherort wie das Ziel-Dataset verarbeitet und bereitgestellt.
Der BigQuery Data Transfer Service unterstützt Datenübertragungen von jeder Region, in der Ihre Daten gespeichert sind, zu jedem Standort, an dem sich Ihr Ziel-Dataset befindet.
Ausführliche Informationen zu Übertragungen und zur Regionskompatibilität für den BigQuery Data Transfer Service finden Sie unter Dataset-Standorte und Übertragungen. Für BigQuery unterstützte Regionen finden Sie unter Dataset-Standorte.
Reservierungs-Slots mit Datenübertragungen verwenden
Jobs, die vom BigQuery Data Transfer Service ausgelöst werden, verwenden nur Reservierungs-Slots, wenn das Projekt, der Ordner oder die Organisation einer Reservierung mit einem der folgenden Jobtypen zugewiesen ist:
- Abfragejobs mit
QUERY - Ladejobs mit
PIPELINE
Preise
Die Preise für BigQuery Data Transfer Service finden Sie auf der Seite "Preise".
Nach der Übertragung von Daten in BigQuery gelten die Standardpreise für Speicher und Abfragen in BigQuery.
Kontingente
Informationen zu den Kontingenten für BigQuery Data Transfer Service finden Sie auf der Seite Kontingente und Limits.
Fehlerbehebung bei Transferkonfigurationen
Informationen zur Behebung von Problemen mit dem BigQuery Data Transfer Service finden Sie unter Fehlerbehebung bei Transferkonfigurationen.
Nächste Schritte
- In der Dokumentation zu Ihrer Datenquelle erfahren sie mehr über das Erstellen einer Übertragung.