Auf dieser Seite werden bekannte Einschränkungen von Cloud Storage und Storage Transfer Service dokumentiert.
Allgemeine Einschränkungen
Cloud Storage-Objektgrößenlimit von 5 TiB
Cloud Storage unterstützt einzelne Objekte einer Größe von bis zu 5 Tebibyte. Bei Objekten, die größer als 5 TiB sind, schlägt die Objektübertragung für Cloud Storage oder Storage Transfer Service fehl.
Anforderungen für die Benennung von Cloud Storage-Objekten
Cloud Storage erzwingt Anforderungen für Objektnamen, die für alle Übertragungen von Storage Transfer Service gelten.
Geänderte Objekte werden nicht übertragen
Storage Transfer Service sperrt Quelldateien während einer Übertragung nicht.
Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, beschreibt Folgendes, wie Storage Transfer Service reagiert:
Übertragungen von Nicht-Google-Clouds zu Google Cloud: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, schlägt die Übertragung fehl und Storage Transfer Service kann dieses bestimmte Objekt nicht übertragen.
Übertragungen von Dateisystemen zu Google Cloud: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, versucht Storage Transfer Service, den Upload noch einmal durchzuführen. Wenn der Upload mehrmals fehlschlägt, protokolliert Storage Transfer Service einen
FILE_MODIFIED_FAILURE. Weitere Informationen finden Sie unter Fehlerbehebung.Übertragungen von Google Cloud zu einem Dateisystem: Wenn die Daten eines Objekts während einer Übertragung aktualisiert werden, versucht Storage Transfer Service, den Download noch einmal durchzuführen. Wenn der Download mehrmals fehlschlägt, protokolliert Storage Transfer Service einen
PRECONDITION_FAILURE. Weitere Informationen finden Sie unter Fehlerbehebung.
So beheben Sie den Fehler:
- Wiederholen Sie die Übertragung.
Sollte die Übertragung des Objekts weiterhin fehlschlagen, achten Sie darauf, dass die Daten während der Übertragung nicht aktualisiert werden können:
- Cloud Storage-Quelle: – Objekt-Hold festlegen
- Amazon S3-Quelle: – S3-Objektsperre festlegen
- Microsoft Azure Storage-Quelle: – Unveränderlichkeitsrichtlinie für Blob-Speicher festlegen
- Dateisystemquelle: – Dateien als schreibgeschützt festlegen oder Schreibvorgänge in den zu übertragenden Dateien einschränken
Nachdem die Übertragung abgeschlossen wurde, können Sie die Aktualisierungen des Objekts wieder aktivieren.
Ordner in Cloud Storage
In Buckets, für die kein hierarchischer Namespace aktiviert ist, befinden sich Cloud Storage-Objekte in einem flachen Namespace. Weitere Informationen finden Sie unter Objekt-Namespace. In diesen Buckets erstellt der Storage Transfer Service keine Ordner. Die Verzeichnisstruktur wird nur durch Präfixe von Objektnamen dargestellt. Wenn Sie beispielsweise von Azure Data Lake Storage (ADLS) Gen 2 in einen Bucket mit flachem Namespace übertragen, erstellt der Storage Transfer Service die ADLS Gen 2-Namespaces nicht in Cloud Storage neu. Informationen zu Buckets mit aktiviertem hierarchischem Namespace finden Sie unter Cloud Storage-Buckets mit hierarchischem Namespace übertragen.
Objekte in Versionsverwaltungssperren von Amazon S3-Buckets löschen
Wenn Sie die Storage Transfer Service-Funktion zum Löschen von Objekten auf der Quelle in einem versionsgesperrten Amazon S3-Bucket nutzen, entfernt der Storage Transfer Service das Objekt mit einer Null-Versions-ID, nicht jedoch die aktuelle Version.
Standort von Storage Transfer Service-Jobs
Der Storage Transfer Service wählt seinen Standort basierend auf der Region des Cloud Storage-Quell-Buckets aus. Derzeit werden Storage Transfer Service-Jobs an den folgenden Standorten erstellt. Diese Liste kann sich ändern, wenn der Storage Transfer Service Unterstützung für neue Regionen hinzufügt.
Wenn sich der Cloud Storage-Quell-Bucket in einer Region befindet, die nicht aufgeführt ist, wird die Standardregion innerhalb der äußeren Region der Quelle ausgewählt.
| Unterstützte Standorte | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
Bekannte Einschränkungen bei Dateisystemübertragungen
Keine Echtzeitunterstützung
Der Storage Transfer Service unterstützt keine Änderungserkennung in kürzeren Intervallen als einer Stunde. Storage Transfer Service ist ein Dienst zur Batch-Datenverschiebung, der die Quelle bis zu einmal pro Stunde scannen kann.
Unterstützte Betriebssystemkonfigurationen
Übertragungs-Agents werden in Docker- oder Podman-Containern auf Linux-Servern oder virtuellen Maschinen (VMs) ausgeführt. Wenn Sie Daten auf ein CIFS- oder SMB-Dateisystem kopieren möchten, können Sie das Volume auf einem Linux-Server oder einer VM bereitstellen und dann den Agent vom Linux-Server oder der VM aus ausführen.
Speicheranforderungen
Im Folgenden sind die Speicheranforderungen für Übertragungs-Agents aufgeführt:- Mindestspeicher: 1 GiB
- Mindestspeicher für Hochleistungs-Uploads: 6 GiB
Skalierungseinschränkungen
Der Storage Transfer Service unterstützt einzelne Übertragungen innerhalb folgender Grenzwerte:
- Volumen von mehreren Hundert Terabyte
- Bis zu 1 Milliarde Dateien
- Mit einer Übertragungsgeschwindigkeit von mehreren 10 Gbit/s
Einzelne Übertragungen, die diese Größen überschreiten, sind zuverlässig, wurden jedoch nicht auf Leistung getestet.
Wenn Sie ein Dataset übertragen möchten, das diese Grenzwerte überschreitet, empfehlen wir, die Daten auf mehrere Übertragungsjobs aufzuteilen.
Wir unterstützen derzeit große Verzeichnisse, sofern jeder Agent mindestens 1 GB Arbeitsspeicher pro Million Dateien im größten Verzeichnis zur Verfügung hat, sodass wir über die Verzeichnisinhalte iterieren können, ohne die Speicherkapazität zu überschreiten.
Einschränkungen für Agents und Agent-Pools
Wir unterstützen bis zu 100 Agents für einen einzelnen Agent-Pool. Es ist unwahrscheinlich, dass Sie in typischen Umgebungen mehr Agents benötigen, um eine bessere Leistung zu erzielen.
Pro Projekt werden bis zu 800 Agent-Pools unterstützt.
Ein Verzeichnis pro Job
Mit jeder Übertragung wird der Inhalt eines Dateisystemverzeichnisses (rekursiv) übertragen. Wenn Sie nur bestimmte Dateien aus diesem Verzeichnis übertragen möchten, verwenden Sie ein Manifest. Wenn Sie mehrere Verzeichnisse übertragen möchten, erstellen Sie einen Job pro Verzeichnis. File Globbing wird für Dateisystemübertragungen nicht unterstützt.
Unterstützte Dateinamen
Die folgenden Regeln gelten für alle Dateinamen, die Teil einer Übertragung sind:
- Dateinamen müssen die UTF-8-Codierung verwenden.
- Dateinamen müssen Unicode-kompatibel sein.
- Sie dürfen keine Zeilenumbrüche (
\n) oder Wagenrückläufe (\r) enthalten.
Wenn Ihr Quellverzeichnis nicht unterstützte Dateinamen enthält, schlägt die Aufgabe zum Auflisten der Dateien für dieses Verzeichnis fehl.
Aktualisieren Sie in diesem Fall alle nicht unterstützten Dateinamen und führen Sie den Job noch einmal aus.
Unterstützte Dateitypen
Storage Transfer Service unterstützt die Übertragung regulärer Dateien und Unix-ähnlicher versteckter Dateien.
Versteckte Dateien im Unix-Stil sind Dateien, die mit einem .-Zeichen beginnen. Wenn Storage Transfer Service eine nicht reguläre Datei wie ein Gerät, eine Named Pipe oder einen Socket findet, wird ein UNSUPPORTED_FILE_MODE-Fehler ausgegeben.
In Cloud Storage werden keine leeren Verzeichnisse erstellt, da sich Objekte in einem Bucket nicht innerhalb von Unterverzeichnissen befinden. Weitere Informationen finden Sie unter Objekt-Namespace.
Maximale Pfadlänge
Storage Transfer Service folgt der maximalen Pfadlänge von Cloud Storage von 1.024 Byte. Das Objektpräfix für das Zielobjekt ist in der Längenbeschränkung enthalten, da das Präfix in den Namen des Objekts in Cloud Storage aufgenommen wird.
Unterstützte Dateimetadaten
Unter Erhalt von Metadaten finden Sie weitere Informationen dazu, welche Metadaten standardmäßig oder optional beibehalten werden.
Lange pausierte Jobs
Jobs, die länger als 30 Tage pausiert sind, gelten als inaktiv. Wenn ein Job inaktiv ist, wird der pausierte Job abgebrochen und der Zeitplan für die Jobkonfiguration deaktiviert. Neue Jobausführungen starten erst, wenn Sie den Job explizit wieder aktivieren.
Sicherheit der Dateisystemquelle
KI-Agenten-Zugriff
Nutzer, die Übertragungsjobs erstellen können, können Daten aus jedem Dateisystemverzeichnis abrufen und in jedes Dateisystemverzeichnis herunterladen, auf das der Agent zugreifen kann. Wenn Agents als Root ausgeführt werden und Zugriff auf das gesamte Dateisystem haben, kann ein böswilliger Akteur den Host übernehmen. Es wird dringend empfohlen, den Zugriff des Agents auf die erforderlichen Verzeichnisse zu beschränken.