Auf dieser Seite wird beschrieben, wie Sie Spanner-Datenbanken mit derGoogle Cloud Console exportieren.
Wenn Sie eine Spanner-Datenbank mit der REST API oder der Google Cloud CLI exportieren möchten, führen Sie die Schritte im Abschnitt Vorbereitung auf dieser Seite aus und lesen Sie dann die detaillierte Anleitung unter Spanner zu Cloud Storage Avro in der Dataflow-Dokumentation. Beim Export wird Dataflow verwendet und Daten werden in einen Ordner in einem Cloud Storage-Bucket geschrieben. Der resultierende Ordner enthält eine Reihe von Avro-Dateien und JSON-Manifestdateien.
Hinweis
Wenn Sie eine Spanner-Datenbank exportieren möchten, müssen Sie zuerst die APIs für Spanner, Cloud Storage, Compute Engine und Dataflow aktivieren:
Erforderliche Rollen zum Aktivieren von APIs
Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten.
Informationen zum Zuweisen von Rollen
Außerdem brauchen Sie ein ausreichend großes Kontingent und die erforderlichen IAM-Berechtigungen.
Kontingentanforderungen
Für Exportjobs gelten die folgenden Kontingentanforderungen:
- Spanner: Für den Export einer Datenbank ist keine zusätzliche Rechenkapazität erforderlich. Möglicherweise müssen Sie jedoch mehr Rechenkapazität hinzufügen, damit der Job in angemessener Zeit abgeschlossen wird. Weitere Informationen finden Sie unter Jobs optimieren.
- Cloud Storage: Für den Export müssen Sie einen Bucket für Ihre exportierten Dateien erstellen, falls Sie noch keinen haben. Sie können dies in der Google Cloud Console tun, entweder über die Cloud Storage-Seite oder beim Erstellen des Exports über die Spanner-Seite. Sie müssen keine Größe für Ihren Bucket festlegen.
- Dataflow: Bei Exportjobs gelten die gleichen Compute Engine-Kontingente für CPU, Laufwerksauslastung und IP-Adressen wie bei anderen Dataflow-Jobs.
Compute Engine: Bevor Sie den Exportjob ausführen, müssen Sie zuerst Kontingente für Compute Engine einrichten, die von Dataflow verwendet werden. Diese Kontingente stellen die maximale Anzahl an Ressourcen dar, die Dataflow für Ihren Job verwenden darf. Empfohlene Anfangswerte sind:
- CPUs: 200
- Verwendete IP-Adressen: 200
- Nichtflüchtiger Standardspeicher: 50 TB
In der Regel müssen Sie keine weiteren Anpassungen vornehmen. Dataflow bietet Autoscaling, sodass Sie nur für die Ressourcen zahlen, die beim Export tatsächlich verwendet werden. Wenn Ihr Job mehr Ressourcen verwenden kann, wird in der Dataflow-UI ein Warnsymbol angezeigt. Der Job sollte trotz dieses Warnsymbols beendet werden.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Dataflow-Worker-Dienstkonto zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Exportieren einer Datenbank benötigen:
- Cloud Spanner-Betrachter (
roles/spanner.viewer) - Dataflow-Worker (
roles/dataflow.worker) - Storage-Administrator (
roles/storage.admin) - Spanner-Datenbankleser (
roles/spanner.databaseReader) - Database Admin (
roles/spanner.databaseAdmin)
Wenn Sie die unabhängigen Rechenressourcen von Spanner Data Boost während eines Exports verwenden möchten, benötigen Sie außerdem die IAM-Berechtigung (Identity and Access Management) spanner.databases.useDataBoost. Weitere Informationen finden Sie unter Data Boost-Übersicht.
Datenbank exportieren
Nachdem Sie die oben beschriebenen Kontingent- und IAM-Anforderungen erfüllt haben, können Sie eine vorhandene Spanner-Datenbank exportieren.
So exportieren Sie Ihre Spanner-Datenbank in einen Cloud Storage-Bucket:
Rufen Sie die Spanner-Seite Instanzen auf.
Klicken Sie auf den Namen der Instanz, die die Datenbank enthält.
Klicken Sie im linken Bereich auf den Menüpunkt Import/Export und anschließend auf den Button Export.
Klicken Sie unter Speicherort für den Export auswählen auf Durchsuchen.
Wenn Sie noch keinen Cloud Storage-Bucket für den Export haben:
- Klicken Sie auf Neuer Bucket
. - Geben Sie einen Namen für den Bucket ein. Bucket-Namen in Cloud Storage dürfen nur einmal vorkommen.
- Wählen Sie eine Standardspeicherklasse und einen Speicherort aus und klicken Sie auf Erstellen.
- Klicken Sie auf den Bucket, um ihn auszuwählen.
Wenn bereits ein Bucket vorhanden ist, wählen Sie ihn entweder aus der angezeigten Liste aus oder klicken Sie auf Suchen
, damit Sie die Liste filtern können. Klicken Sie dann auf den entsprechenden Bucket, um ihn auszuwählen.- Klicken Sie auf Neuer Bucket
Klicken Sie auf Auswählen.
Wählen Sie im Drop-down-Menü Datenbank für den Export auswählen die zu exportierende Datenbank aus.
Optional: Wenn Sie Ihre Datenbank von einem früheren Zeitpunkt exportieren möchten, setzen Sie ein Häkchen in das Kästchen und geben Sie einen Zeitstempel ein.
Wählen Sie im Drop-down-Menü Region für den Exportjob auswählen eine Region aus.
Optional: So verschlüsseln Sie den Dataflow-Pipelinestatus mit einem kundenverwalteten Verschlüsselungsschlüssel:
- Klicken Sie auf Verschlüsselungsoptionen anzeigen.
- Wählen Sie kundenverwalteten Verschlüsselungsschlüssel (CMEK) verwenden aus.
- Wählen Sie Ihren Schlüssel aus der Drop-down-Liste aus.
Diese Option hat keine Auswirkungen auf die Verschlüsselung auf Bucket-Ebene des Cloud Storage-Buckets. Informationen zum Aktivieren von CMEK für Ihren Cloud Storage-Bucket finden Sie unter CMEK mit Cloud Storage verwenden.
Optional: Wenn Sie den Export mit Data Boost ausführen möchten, setzen Sie ein Häkchen bei Spanner Data Boost verwenden. Weitere Informationen finden Sie unter Data Boost-Übersicht.
Klicken Sie das Kästchen unter Gebühren bestätigen an, um zu bestätigen, dass zusätzlich zu den Gebühren für Ihre vorhandene Spanner-Instanz weitere Gebühren anfallen.
Klicken Sie auf Exportieren.
In der Google Cloud Console wird die Seite Datenbankimport/-export angezeigt. Dort finden Sie jetzt in der Liste der Import-/Exportjobs einen Eintrag für Ihren Exportjob, einschließlich der verstrichenen Zeit des Jobs:
Wenn der Job abgeschlossen oder beendet wird, wird der Status in der Import-/Exportliste aktualisiert. Wenn der Job erfolgreich ausgeführt wurde, wird der Status Succeeded (Erfolgreich) angezeigt:
Wenn der Job fehlgeschlagen ist, wird der Status Fehlgeschlagen angezeigt:
Wenn Sie die Details des Dataflow-Vorgangs für Ihren Job aufrufen möchten, klicken Sie in der Spalte Dataflow-Jobname auf den Namen des Jobs.
Falls der Job fehlschlägt, sehen Sie sich die Fehlerdetails in den Dataflow-Logs des Jobs an.
Löschen Sie den Ordner und die Dateien, die durch den fehlgeschlagenen Exportjob erstellt wurden, um Cloud Storage-Gebühren für diese Dateien zu vermeiden. Informationen zum Suchen des Ordners finden Sie unter Export ansehen.
Hinweis zum Exportieren generierter Spalten und Änderungsstreams
Die Werte in einer gespeicherten generierten Spalte werden nicht exportiert. Die Spaltendefinition wird als Eintragsfeld vom Typ Null als Teil des Avro-Schemas exportiert, wobei die Spaltendefinition als benutzerdefinierte Attribute des Felds angegeben wird. Bis der Backfill-Vorgang einer neu hinzugefügten generierten Spalte abgeschlossen ist, wird die generierte Spalte ignoriert, als wäre sie nicht im Schema vorhanden.
Als Avro-Dateien exportierte Änderungsstreams enthalten nur das Schema der Änderungsstreams und keine Datenänderungsdatensätze.
Hinweis zum Exportieren von Sequenzen
Sequenzen (GoogleSQL, PostgreSQL) sind Schemaobjekte, mit denen Sie eindeutige Ganzzahlwerte generieren.
Cloud Spanner exportiert jedes Schemaobjekt als Datensatzfeld in das Avro-Schema, wobei die Sequenzart, der übersprungene Bereich und der Zähler als Attribute des Felds verwendet werden. Damit eine Sequenz nach dem Import nicht zurückgesetzt wird und doppelte Werte generiert, erfasst die Funktion GET_INTERNAL_SEQUENCE_STATE() (GoogleSQL, PostgreSQL) während des Schemaexports den Sequenzzähler. Cloud Spanner fügt dem Zähler einen Puffer von 1.000 hinzu und schreibt den neuen Zählerwert in das Datensatzfeld. So werden Fehler aufgrund doppelter Werte vermieden, die nach dem Import auftreten können.
Wenn während des Datenexports weitere Schreibvorgänge in die Quelldatenbank erfolgen, sollten Sie den tatsächlichen Sequenzzähler mit der Anweisung ALTER SEQUENCE (GoogleSQL, PostgreSQL) anpassen.
Beim Import beginnt die Sequenz mit diesem neuen Zähler anstelle des im Schema gefundenen Zählers. Alternativ können Sie die Anweisung ALTER SEQUENCE (GoogleSQL, PostgreSQL) verwenden, um die Sequenz mit einem neuen Zähler zu aktualisieren.
Export in Cloud Storage ansehen
Wenn Sie den Ordner mit der exportierten Datenbank in derGoogle Cloud Console aufrufen möchten, rufen Sie den Cloud Storage-Browser auf und wählen Sie den zuvor ausgewählten Bucket aus:
Der Bucket enthält jetzt einen Ordner mit der exportierten Datenbank. Der Ordnername beginnt mit der ID Ihrer Instanz, dem Datenbanknamen und dem Zeitstempel des Exportjobs. Der Ordner enthält:
- Eine
spanner-export.json-Datei - Eine
TableName-manifest.json-Datei für jede Tabelle in der Datenbank, die Sie exportiert haben. Mindestens eine
TableName.avro-#####-of-#####-Datei. Die erste Zahl in der Erweiterung.avro-#####-of-#####steht für den Index der Avro-Datei, beginnend bei null, und die zweite Zahl steht für die Anzahl der Avro-Dateien, die für jede Tabelle generiert werden.Songs.avro-00001-of-00002ist beispielsweise die zweite von zwei Dateien, die die Daten der TabelleSongsenthalten.Eine
ChangeStreamName-manifest.json-Datei für jeden Änderungsstream in der Datenbank, die Sie exportiert haben.Eine
ChangeStreamName.avro-00000-of-00001-Datei für jeden Änderungsstream. Diese Datei enthält leere Daten, die nur das Avro-Schema des Änderungsstreams enthalten.
Region für den Importjob auswählen
Je nach Standort Ihres Cloud Storage-Bucket sollten Sie eventuell eine andere Region auswählen. Wählen Sie eine Region aus, die dem Standort Ihres Cloud Storage-Bucket entspricht, um Gebühren für die ausgehende Datenübertragung zu vermeiden.
Wenn der Standort Ihres Cloud Storage-Bucket eine Region ist, können Sie die kostenlose Netzwerknutzung nutzen, indem Sie dieselbe Region für Ihren Importjob auswählen, sofern diese Region verfügbar ist.
Wenn sich Ihr Cloud Storage-Bucket in einer Dual-Region befindet, können Sie die kostenlose Netzwerknutzung in Anspruch nehmen, indem Sie eine der beiden Regionen, aus denen die Dual-Region besteht, für Ihren Importjob auswählen, sofern eine der Regionen verfügbar ist.
- Wenn für Ihren Importjob keine Region am selben Standort verfügbar ist oder wenn sich Ihr Cloud Storage-Bucket an einem multiregionalen Standort befindet, fallen Gebühren für die ausgehende Datenübertragung an. Informationen zu den Preisen für die Datenübertragung in Cloud Storage finden Sie unter „Cloud Storage – Preise“. Wählen Sie eine Region aus, für die die niedrigsten Gebühren für die Datenübertragung anfallen.
Teilmenge von Tabellen exportieren
Wenn Sie nur die Daten aus bestimmten Tabellen und nicht die gesamte Datenbank exportieren möchten, können Sie diese Tabellen beim Export angeben. In diesem Fall exportiert Spanner das gesamte Schema der Datenbank, einschließlich der Daten der von Ihnen angegebenen Tabellen. Alle anderen Tabellen sind in der exportierten Datei vorhanden, aber leer.
Sie können eine Teilmenge von Tabellen für den Export angeben. Verwenden Sie dazu entweder die Dataflow-Seite in der Google Cloud Console oder die gcloud CLI. (Diese Aktion ist auf der Spanner-Seite nicht verfügbar.)
Wenn Sie die Daten einer Tabelle exportieren, die einer anderen Tabelle untergeordnet ist, sollten Sie auch die Daten der übergeordneten Tabelle exportieren. Wenn übergeordnete Elemente nicht exportiert werden, schlägt der Exportjob fehl.
Wenn Sie eine Teilmenge von Tabellen exportieren möchten, starten Sie den Export mit der Avro-Vorlage „Spanner zu Cloud Storage“ von Dataflow und geben Sie die Tabellen entweder auf der Dataflow-Seite in der Google Cloud Console oder mit der gcloud CLI an, wie beschrieben:
Console
Wenn Sie die Dataflow-Seite in der Google Cloud Console verwenden, befindet sich der Parameter Cloud Spanner-Tabellenname(n) im Abschnitt Optionale Parameter der Seite Job aus Vorlage erstellen. Mehrere Tabellen können in einem kommagetrennten Format angegeben werden.
gcloud
Führen Sie den Befehl gcloud dataflow jobs run aus und geben Sie das Argument tableNames an. Beispiel:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,tableNames=table1,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Wenn Sie mehrere Tabellen in gcloud angeben, ist ein Escaping von Argumenten vom Typ „Wörterbuch“ erforderlich.
Im folgenden Beispiel wird „|“ als Escape-Zeichen verwendet:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='^|^instanceId=test-instance|databaseId=example-db|tableNames=table1,table2|outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Der Parameter shouldExportRelatedTables ist eine praktische Option, um automatisch alle übergeordneten Tabellen der ausgewählten Tabellen zu exportieren. In dieser Schemahierarchie mit den Tabellen Singers, Albums und Songs müssen Sie beispielsweise nur Songs angeben. Mit der Option shouldExportRelatedTables werden auch Singers und Albums exportiert, da Songs ein Nachfolger von beiden ist.
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,tableNames=Songs,shouldExportRelatedTables=true,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Jobs in der Dataflow-Benutzeroberfläche ansehen oder Fehler beheben
Nachdem Sie einen Exportjob gestartet haben, können Sie im Dataflow-Bereich der Google Cloud -Console Details zum Job aufrufen, einschließlich Logs.
Details zum Dataflow-Job ansehen
So rufen Sie Details zu Import- oder Exportjobs auf, die Sie in der letzten Woche ausgeführt haben, einschließlich aller Jobs, die gerade ausgeführt werden:
- Wechseln Sie zur Seite Datenbanküberblick für die Datenbank.
- Klicken Sie im linken Bereich auf den Menüpunkt Import/Export. Auf der Datenbankseite Import/Export wird eine Liste der letzten Jobs angezeigt.
Klicken Sie auf der Seite Import/Export der Datenbank in der Spalte Dataflow-Jobname auf den Jobnamen:
In der Google Cloud Console werden Details zum Dataflow-Job angezeigt.
So rufen Sie einen Job auf, den Sie vor mehr als einer Woche ausgeführt haben:
Rufen Sie in der Google Cloud Console die Seite „Dataflow-Jobs“ auf.
Suchen Sie den Job in der Liste und klicken Sie auf seinen Namen.
In der Google Cloud Console werden Details zum Dataflow-Job angezeigt.
Dataflow-Logs für Ihren Job ansehen
Wenn Sie die Logs eines Dataflow-Jobs aufrufen möchten, rufen Sie die Detailseite des Jobs auf und klicken Sie rechts neben dem Jobnamen auf Logs.
Wenn ein Job fehlschlägt, suchen Sie in den Logs nach Fehlern. Falls Fehler aufgetreten sind, ist neben Logs die Fehleranzahl zu sehen:
So sehen Sie sich Jobfehler genauer an:
Klicken Sie neben Logs auf die Anzahl der Fehler.
In der Google Cloud Console werden die Logs des Jobs angezeigt. Unter Umständen müssen Sie scrollen, um die Fehler einzublenden.
Suchen Sie nach Einträgen mit dem Fehlersymbol
.Klicken Sie auf einen einzelnen Logeintrag, um seinen Inhalt zu maximieren.
Weitere Informationen zur Fehlerbehebung bei Dataflow-Jobs finden Sie unter Fehlerbehebung bei Pipelines.
Fehlerbehebung bei fehlgeschlagenen Exportjobs
Wenn in Ihren Joblogs die folgenden Fehler angezeigt werden:
com.google.cloud.spanner.SpannerException: NOT_FOUND: Session not found --or-- com.google.cloud.spanner.SpannerException: DEADLINE_EXCEEDED: Deadline expired before operation could complete.
Prüfen Sie die 99 % Leselatenz auf dem Tab Monitoring Ihrer Spanner-Datenbank in derGoogle Cloud Console. Wenn hohe Werte angezeigt werden (mehrere Sekunden), bedeutet dies, dass die Instanz überlastet ist, was zu Lesefehlern führt.
Eine Ursache für hohe Latenz ist, dass der Dataflow-Job mit zu vielen Workern ausgeführt wird, was die Spanner-Instanz zu stark belastet.
Wenn Sie die Anzahl der Dataflow-Worker begrenzen möchten, müssen Sie den Export mit der Dataflow-Vorlage „Spanner zu Cloud Storage Avro“ starten und die maximale Anzahl von Workern wie beschrieben angeben, anstatt den Tab „Import/Export“ auf der Detailseite der Instanz Ihrer Spanner-Datenbank in der Google Cloud Console zu verwenden:Console
Wenn Sie die Dataflow-Konsole verwenden, befindet sich der Parameter Maximale Anzahl von Workern im Abschnitt Optionale Parameter der Seite Job aus Vorlage erstellen.
gcloud
Führen Sie den Befehl gcloud dataflow jobs run aus und geben Sie das Argument max-workers an. Beispiel:
gcloud dataflow jobs run my-export-job \
--gcs-location='gs://dataflow-templates/latest/Cloud_Spanner_to_GCS_Avro' \
--region=us-central1 \
--parameters='instanceId=test-instance,databaseId=example-db,outputDir=gs://my-gcs-bucket' \
--max-workers=10 \
--network=network-123
Netzwerkfehler beheben
Der folgende Fehler kann auftreten, wenn Sie Ihre Spanner-Datenbanken exportieren:
Workflow failed. Causes: Error: Message: Invalid value for field 'resource.properties.networkInterfaces[0].subnetwork': ''. Network interface must specify a subnet if the network resource is in custom subnet mode. HTTP Code: 400
Dieser Fehler tritt auf, weil Spanner davon ausgeht, dass Sie im selben Projekt wie der Dataflow-Job ein VPC-Netzwerk im automatischen Modus namens default verwenden möchten. Wenn Sie im Projekt kein Standard-VPC-Netzwerk haben oder für Ihr VPC-Netzwerk der benutzerdefinierte Modus gilt, müssen Sie einen Dataflow-Job erstellen und ein alternatives Netzwerk oder Subnetzwerk angeben.
Langsam ausgeführte Exportjobs optimieren
Wenn Sie die Vorschläge für die Anfangseinstellungen befolgt haben, sollten in der Regel keine weiteren Anpassungen nötig sein. Falls der Job jedoch langsam ausgeführt wird, können Sie einige andere Optimierungen versuchen:
Job- und Datenstandort optimieren: Führen Sie Ihren Dataflow-Job in derselben Region aus, in der sich Ihre Spanner-Instanz und Ihr Cloud Storage-Bucket befinden.
Ausreichende Dataflow-Ressourcen sicherstellen: Wenn die relevanten Compute Engine-Kontingente die Ressourcen Ihres Dataflow-Jobs einschränken, werden auf der Dataflow-Seite des Jobs in der Google Cloud -Console ein Warnsymbol
und Logeinträge angezeigt:
In diesem Fall kann das Erhöhen der Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher die Ausführungszeit des Jobs verkürzen, aber auch höhere Compute Engine-Gebühren zur Folge haben.
Spanner-CPU-Auslastung prüfen: Wenn die CPU-Auslastung für die Instanz über 65 % liegt, können Sie die Rechenkapazität in dieser Instanz erhöhen. Durch die Kapazität werden mehr Spanner-Ressourcen hinzugefügt und der Job sollte schneller ausgeführt werden, aber es fallen mehr Spanner-Gebühren an.
Faktoren, die sich auf die Leistung von Exportjobs auswirken
Mehrere Faktoren beeinflussen die Zeit, die für einen Exportjob benötigt wird.
Größe der Spanner-Datenbank: Die Verarbeitung von mehr Daten erfordert mehr Zeit und Ressourcen.
Spanner-Datenbankschema, einschließlich:
- Die Anzahl der Tabellen
- Die Größe der Zeilen
- Die Anzahl der sekundären Indexe
- Die Anzahl der Fremdschlüssel
- Die Anzahl der Änderungsstreams
Speicherort der Daten: Daten werden mit Dataflow zwischen Spanner und Cloud Storage übertragen. Idealerweise befinden sich alle drei Komponenten in derselben Region. Wenn das nicht der Fall ist, dauert das regionsübergreifende Verschieben der Daten länger.
Anzahl der Dataflow-Worker: Optimale Dataflow-Worker sind für eine gute Leistung erforderlich. Mithilfe von Autoscaling wählt Dataflow die Anzahl der Worker für einen Job abhängig vom Arbeitsumfang aus. Diese Anzahl wird jedoch durch die Kontingente für CPUs, verwendete IP-Adressen und nichtflüchtigen Standardspeicher begrenzt. In der Dataflow-UI ist ein Warnsymbol zu sehen, wenn Kontingentobergrenzen erreicht werden. In diesem Fall dauert die Verarbeitung länger, aber der Job sollte dennoch abgeschlossen werden.
Vorhandene Last auf Spanner: Ein Exportjob verursacht in der Regel eine geringe Last auf einer Spanner-Instanz. Wenn die Instanz jedoch bereits eine erhebliche bestehende Auslastung aufweist, wird der Job langsamer ausgeführt.
Menge der Spanner-Rechenkapazität: Wenn die CPU-Auslastung für die Instanz über 65 % liegt, wird der Job langsamer ausgeführt.