Einführung in die BigQuery-Migration

Der BigQuery Migration Service ist eine umfassende Lösung für die Migration Ihres Data Warehouse zu BigQuery. Der Dienst bietet Tools für jede Phase der Migration, einschließlich Bewertung und Planung, SQL-Übersetzung für eine Vielzahl von SQL-Dialekten und Datenübertragung, damit Sie Ihre Arbeitslasten mit minimalem manuellem Aufwand umstellen können.

Wenn Sie auf den BigQuery Migration Service zugreifen möchten, rufen Sie in der Google Cloud Console die Seite BigQuery auf und wählen Sie dann Migration > Dienste aus.

Migrationsfunktionen und -tools

Mit dem BigQuery-Migrationsdienst können Sie Folgendes tun:

  • Bewerten: Planen Sie die Migration Ihres Data Warehouse, indem Sie eine BigQuery-Migrationsbewertung ausführen.
  • SQL übersetzen: Die Übersetzungsdienste automatisieren die Konvertierung Ihrer SQL-Abfragen in GoogleSQL, einschließlich der Gemini-gestützten SQL-Anpassung. Sie können den Batch-SQL-Übersetzer, den interaktiven SQL-Übersetzer oder die SQL Translation API verwenden, um Ihre Arbeitslasten zu BigQuery zu migrieren.
  • Daten übertragen: Richten Sie eine Datenübertragung ein, mit der Daten aus Ihrer Datenquelle in BigQuery geladen werden. Weitere Informationen finden Sie unter Was ist der BigQuery Data Transfer Service?.
  • Offenes Lakehouse registrieren oder migrieren: Migrieren Sie Metadaten aus externen Katalogen wie Apache Hive Metastore und Apache Iceberg REST-Katalogen in Lakehouse REST-Katalogtabellen für Apache Iceberg.

Sie können auch die folgenden Open-Source-Tools verwenden, um Sie bei der Migration zu unterstützen:

  • Datenmigrationstool: Verwenden Sie das Datenmigrationstool, um die Migration Ihres Data Warehouse zu BigQuery zu automatisieren. Das Tool verwendet den BigQuery Data Transfer Service, die BigQuery-Übersetzungsdienste und das Datenvalidierungstool, um Daten zu übertragen und DDL-, DML- und SQL-Abfragen zu übersetzen und zu validieren.
  • Datenvalidierungstool: Führen Sie nach der Migration Ihrer Daten zu BigQuery das Datenvalidierungstool aus, um zu prüfen, ob Ihre Quell- und Zieltabellen übereinstimmen.
  • BigQuery-Berechtigungszuordnung: Verwenden Sie die Berechtigungszuordnung, um die Erstellung und Verwaltung von vom Nutzer änderbaren Berechtigungszuordnungen zu automatisieren. Mit dem Berechtigungs-Mapper können Sie doppelte Berechtigungen und Nutzergruppen analysieren und abgleichen sowie Fehlerberichte erstellen. Das Tool gibt JSON- und Terraform-Skripts für die Erstellung von BigQuery-Gruppen, -Nutzern und -Bindungen aus.
  • Managed Service for Apache Airflow-Vorlagen: Mit Managed Service for Apache Airflow-Vorlagen können Sie die Erstellung neuer Airflow-DAGs oder die Migration vorhandener orchestrierter Jobs von lokalen Umgebungen in die Cloud vereinfachen.
  • Cloud Foundation Fabric: Terraform-Beispiele und -Module fürGoogle Cloud, einschließlich eines organisationsweiten Landing-Zone-Blueprints, Referenz-Blueprints für Netzwerkmuster und Produktfunktionen sowie einer Bibliothek mit anpassbaren Modulen.

Migrationsquellen

Der BigQuery-Migrationsdienst unterstützt die Migration der folgenden Data Warehouses zu BigQuery:

Kontingente

Für die Anzahl der Jobs sowie für die Größe der Dateien gelten Kontingente und Beschränkungen. Weitere Informationen zu Kontingenten und Limits für den Migrationsdienst finden Sie unter Kontingente und Limits.

Preise

Für die Verwendung der BigQuery Migration API fallen keine Gebühren an. Für die Speicherung von Eingabe- und Ausgabedateien werden jedoch die normalen Gebühren berechnet. Weitere Informationen finden Sie unter Speicherpreise.

Darüber hinaus können Sie die Funktion zur Kostenschätzung im Google Cloud Migration Center verwenden, um eine Kostenschätzung für die Ausführung Ihres Data Warehouse zu erstellen, das Sie zu BigQuery migrieren. Weitere Informationen finden Sie unter Kostenschätzung starten und Anforderungen für Data Warehousing angeben.

Nächste Schritte