Questa pagina documenta le limitazioni note di Cloud Storage e Storage Transfer Service.
Limitazioni comuni
Limite di dimensioni degli oggetti di Cloud Storage di 5 TiB
Cloud Storage supporta una dimensione massima per singolo oggetto di 5 tebibyte. Se hai oggetti di dimensioni superiori a 5 TiB, il trasferimento degli oggetti non va a buon fine per Cloud Storage o Storage Transfer Service.
Requisiti per i nomi degli oggetti Cloud Storage
Cloud Storage impone requisiti per i nomi degli oggetti che si applicano a tutti i trasferimenti di Storage Transfer Service.
Gli oggetti modificati non vengono trasferiti
Storage Transfer Service non blocca i file di origine durante un trasferimento.
Se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service risponde come segue:
Trasferimenti da cloud non Google a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service non riesce a trasferire l'oggetto specifico e l'oggetto non viene trasferito.
Trasferimenti da file system a Google Cloud: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta nuovamente il caricamento. Se il caricamento non va a buon fine più volte, Storage Transfer Service registra un errore
FILE_MODIFIED_FAILURE. Per saperne di più, consulta la sezione Risoluzione dei problemi.Trasferimenti da Google Cloud a un file system: se i dati di un oggetto vengono aggiornati durante un trasferimento, Storage Transfer Service tenta nuovamente il download. Se il download non va a buon fine più volte, Storage Transfer Service registra un log del servizio
PRECONDITION_FAILURE. Per saperne di più, consulta la sezione Risoluzione dei problemi.
Per risolvere l'errore:
- Riprova a effettuare il trasferimento.
Se il trasferimento dell'oggetto continua a non riuscire, assicurati che i suoi dati non possano essere aggiornati durante il trasferimento:
- Origine Cloud Storage - Applica un blocco oggetto.
- Origine Amazon S3 - Imposta un blocco degli oggetti S3.
- Origine Microsoft Azure Storage - Imposta un criterio di immutabilità per l'archiviazione BLOB.
- Origine del file system: imposta i file in modalità di sola lettura o limita in altro modo le scritture sui file in fase di trasferimento.
Al termine del trasferimento, puoi riattivare gli aggiornamenti dell'oggetto.
Cartelle in Cloud Storage
Nei bucket in cui non è abilitato lo spazio dei nomi gerarchico, gli oggetti Cloud Storage risiedono all'interno di uno spazio dei nomi semplice. Per saperne di più, consulta Spazio dei nomi degli oggetti. In questi bucket, Storage Transfer Service non crea cartelle; la struttura delle directory è rappresentata solo dai prefissi dei nomi degli oggetti. Ad esempio, se stai eseguendo il trasferimento da Azure Data Lake Storage (ADLS) Gen 2 a un bucket con spazio dei nomi semplice, Storage Transfer Service non ricrea gli spazi dei nomi ADLS Gen 2 in Cloud Storage. Per i bucket di spazi di nomi gerarchici abilitati, consulta Trasferisci i bucket di spazi di nomi gerarchici di Cloud Storage.
Eliminazione di oggetti nei bucket Amazon S3 con controllo delle versioni sospeso
Quando utilizzi la funzionalità di Storage Transfer Service per eliminare gli oggetti dall'origine dopo il trasferimento su un bucket Amazon S3 con controllo delle versioni sospeso, Storage Transfer Service rimuove l'oggetto con un ID versione null, non la versione corrente.
Località dei job di Storage Transfer Service
Storage Transfer Service sceglie la località in base alla regione del bucket Cloud Storage di origine. Al momento, creiamo job di Storage Transfer Service nelle seguenti località. Questo elenco potrebbe cambiare man mano che Storage Transfer Service aggiunge il supporto per nuove regioni.
Se il bucket Cloud Storage di origine si trova in una regione non elencata, sceglieremo la regione predefinita all'interno della regione esterna dell'origine.
| Località supportate | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
Limitazioni note dei trasferimenti del file system
Nessuna assistenza in tempo reale
Storage Transfer Service non supporta il rilevamento delle modifiche con frequenza inferiore a un'ora. Storage Transfer Service è un servizio di spostamento dei dati in batch che può scansionare l'origine con una frequenza massima di una volta all'ora.
Configurazioni dei sistemi operativi supportate
Gli agenti di trasferimento vengono eseguiti in container Docker o Podman su server o macchine virtuali (VM) Linux. Per copiare i dati su un file system CIFS o SMB, puoi montare il volume su un server o una VM Linux, quindi eseguire l'agente dal server o dalla VM Linux.
Requisiti di memoria
Di seguito sono riportati i requisiti di memoria per gli agenti di trasferimento:- Memoria minima: 1 GiB
- Memoria minima per supportare caricamenti ad alte prestazioni: 6 GiB
Limitazioni di scalabilità
Storage Transfer Service supporta singoli trasferimenti che sono:
- Centinaia di terabyte
- Fino a 1 miliardo di file
- Velocità di trasferimento di diverse decine di Gbps
I trasferimenti individuali di dimensioni superiori a queste sono affidabili, ma non sono stati testati per le prestazioni.
Se il tuo set di dati supera questi limiti, ti consigliamo di suddividerlo in più job di trasferimento.
Al momento supportiamo directory di grandi dimensioni, a condizione che ogni agente abbia almeno 1 GB di memoria disponibile per ogni milione di file nella directory più grande, in modo da poter eseguire l'iterazione dei contenuti della directory senza superare la memoria.
Limitazioni degli agenti e dei pool di agenti
Supportiamo fino a 100 agenti per un singolo pool di agenti. È improbabile che tu abbia bisogno di più agenti per ottenere prestazioni migliori, dati gli ambienti tipici.
Sono supportati fino a 800 pool di agenti per progetto.
Singola directory per job
Ogni job di trasferimento trasferisce i contenuti di una directory del file system (in modo ricorsivo). Per trasferire solo file specifici da quella directory, utilizza un manifest. Per trasferire più directory, crea un job per ogni directory. Il globbing dei file non è supportato per i trasferimenti del file system.
Nomi file supportati
Le seguenti regole si applicano a tutti i nomi file che fanno parte di un trasferimento:
- I nomi file devono utilizzare la codifica UTF8.
- I nomi file devono essere compatibili con Unicode.
- Non devono contenere ritorni a capo (
\n) o avanzamenti riga (\r).
Se la directory di origine contiene nomi file non supportati, l'attività di elenco dei file per quella directory non va a buon fine.
In questo caso, aggiorna i nomi dei file non supportati ed esegui nuovamente il job.
Tipi di file supportati
Storage Transfer Service supporta il trasferimento di file normali e file nascosti di tipo Unix.
I file nascosti in stile Unix sono file che iniziano con un carattere .. Quando Storage Transfer Service rileva un file non regolare, ad esempio un dispositivo, una named pipe o un socket, genera un errore UNSUPPORTED_FILE_MODE.
Le directory vuote non vengono create in Cloud Storage, perché gli oggetti non risiedono all'interno di sottodirectory in un bucket. Per saperne di più, consulta Spazio dei nomi degli oggetti.
Lunghezza massima del percorso
Storage Transfer Service segue la lunghezza massima del percorso di Cloud Storage di 1024 byte. Il prefisso dell'oggetto di destinazione è incluso nel limite di lunghezza, poiché è incorporato nel nome dell'oggetto in Cloud Storage.
Metadati dei file supportati
Per informazioni dettagliate sui metadati conservati, per impostazione predefinita o facoltativamente, consulta Conservazione dei metadati.
Pause dei job estese
I job messi in pausa per più di 30 giorni sono considerati inattivi. Quando un job è inattivo, il job in pausa viene interrotto e la pianificazione della configurazione del job viene disabilitata. Non verranno avviate nuove esecuzioni del job, a meno che non lo riattivi esplicitamente.
Sicurezza dell'origine del file system
Accesso agente
Gli utenti che possono creare job di trasferimento possono recuperare i dati da qualsiasi directory del file system accessibile dall'agente e scaricarli nella stessa directory. Se gli agenti vengono eseguiti come root e hanno accesso all'intero file system, un malintenzionato potrebbe essere in grado di assumere il controllo dell'host. Ti consigliamo vivamente di limitare l'accesso dell'agente solo alle directory necessarie.