Storage Transfer Service può essere utilizzato per trasferire grandi quantità di dati tra bucket Cloud Storage, all'interno dello stesso progetto Google Cloud o tra progetti diversi.
Le migrazioni dei bucket sono utili in diversi scenari. Possono essere utilizzati per consolidare i dati di progetti separati, per spostarli in una posizione di backup o per modificarne la posizione.
Quando utilizzare Storage Transfer Service
Google Cloud offre diverse opzioni per trasferire i dati tra i bucket Cloud Storage. Ti consigliamo di seguire queste linee guida:
Trasferimento di meno di 1 TB: utilizza
gcloud. Per istruzioni, consulta Sposta e rinomina i bucket.Trasferimento di più di 1 TB: utilizza Storage Transfer Service. Storage Transfer Service è un'opzione di trasferimento gestito che offre sicurezza, affidabilità e prestazioni pronte all'uso. Elimina la necessità di ottimizzare e gestire gli script e di gestire i nuovi tentativi.
Questa guida illustra le best practice per il trasferimento di dati tra bucket Cloud Storage utilizzando Storage Transfer Service.
Definisci una strategia di trasferimento
La strategia di trasferimento dipende dalla complessità della tua situazione. Assicurati di includere le seguenti considerazioni nel tuo piano.
Scegli un nome per il bucket
Per spostare i dati in un bucket di archiviazione diverso, scegli uno dei seguenti approcci:
- Nuovo nome del bucket. Aggiorna le tue applicazioni in modo che puntino a un bucket di archiviazione con un nome diverso.
- Mantieni il nome del bucket. Sostituisci il bucket di archiviazione per mantenere il nome attuale, il che significa che non devi aggiornare le tue applicazioni.
In entrambi i casi, devi pianificare i tempi di inattività e dare agli utenti un preavviso adeguato. Esamina le seguenti spiegazioni per capire quale scelta è più adatta alle tue esigenze.
Nome del nuovo bucket
Con un nuovo nome del bucket, devi aggiornare tutti i codici e i servizi che utilizzano il bucket attuale. La modalità dipende da come sono create e di cui è stato eseguito il deployment delle applicazioni.
Per alcune configurazioni, questo approccio potrebbe comportare tempi di inattività inferiori, ma richiede più lavoro per garantire una transizione senza problemi. La procedura prevede i seguenti passaggi:
- Copia dei dati in un nuovo bucket di archiviazione.
- Inizio del tempo senza schermo.
- Aggiornamento delle applicazioni in modo che puntino al nuovo bucket.
- Verificare che tutto funzioni come previsto e che tutti i sistemi e gli account pertinenti abbiano accesso al bucket.
- Eliminazione del bucket originale.
- Termine del tempo senza schermo.
Mantieni il nome del bucket
Utilizza questo approccio se preferisci non modificare il codice in modo che rimandi a un nuovo nome del bucket. La procedura prevede i seguenti passaggi:
- Copia dei dati in un bucket di archiviazione temporaneo.
- Inizio del tempo senza schermo.
- Eliminazione del bucket originale.
- Creazione di un nuovo bucket con lo stesso nome del bucket originale.
- Copia dei dati nel nuovo bucket dal bucket temporaneo.
- Eliminazione del bucket temporaneo.
- Verificare che tutto funzioni come previsto e che tutti i sistemi e gli account pertinenti abbiano accesso al bucket.
- Termine del tempo senza schermo.
Riduci al minimo i tempi di inattività
Storage Transfer Service non blocca le letture o le scritture sui bucket di origine o di destinazione durante un trasferimento.
Se scegli di bloccare manualmente le operazioni di lettura e scrittura sul bucket, puoi ridurre al minimo i tempi di inattività trasferendo i dati in due passaggi: seeding e sincronizzazione.
Trasferimento di seed: esegui un trasferimento collettivo senza bloccare le letture e le scritture sull'origine.
Sincronizza il trasferimento: una volta completata la prima esecuzione, blocca le letture e le scritture sul bucket di origine ed esegui un altro trasferimento. I trasferimenti di Storage Transfer Service sono incrementali per impostazione predefinita, pertanto questo secondo trasferimento trasferisce solo i dati che sono stati modificati durante il trasferimento iniziale.
Ottimizza la velocità di trasferimento
Quando stimi il tempo necessario per un job di trasferimento, considera i possibili colli di bottiglia. Ad esempio, se l'origine contiene miliardi di file di piccole dimensioni, la velocità di trasferimento sarà limitata dalle QPS. Se le dimensioni degli oggetti sono grandi, la larghezza di banda potrebbe essere il collo di bottiglia.
I limiti di larghezza di banda sono impostati a livello di regione e vengono allocati equamente tra tutti i progetti. Se è disponibile una larghezza di banda sufficiente, Storage Transfer Service può completare circa 1000 attività per job di trasferimento al secondo. In questo caso, puoi accelerare un trasferimento suddividendo il job in più job di trasferimento di piccole dimensioni, ad esempio utilizzando i prefissi di inclusione ed esclusione per trasferire determinati file.
Nei casi in cui la località, la classe di archiviazione e la chiave di crittografia sono le stesse, Storage Transfer Service non crea una nuova copia dei byte, ma una nuova voce di metadati che punta al blob di origine. Di conseguenza, le copie di un corpus di grandi dimensioni nella stessa località e classe vengono completate molto rapidamente e sono limitate solo dalle QPS.
Anche le eliminazioni sono operazioni solo sui metadati. Per questi trasferimenti, la parallelizzazione del trasferimento mediante la suddivisione in più job di piccole dimensioni può aumentare la velocità.
Conserva i metadati
I seguenti metadati degli oggetti vengono conservati durante il trasferimento dei dati tra bucket Cloud Storage con Storage Transfer Service:
- Metadati personalizzati creati dall'utente.
- Campi dei metadati a chiave fissa di Cloud Storage, come Cache-Control, Content-Disposition, Content-Type e Custom-Time.
- Dimensioni dell'oggetto.
- Il numero di generazione viene conservato come campo di metadati personalizzato con la chiave
x-goog-reserved-source-generation, che puoi modificare in un secondo momento o rimuovere.
I seguenti campi dei metadati possono essere facoltativamente conservati durante il trasferimento utilizzando l'API:
- ACL (
acl) - Classe di archiviazione (
storageClass) - CMEK (
kmsKey) - Trattenuta temporanea (
temporaryHold) - Ora di creazione dell'oggetto (
timeCreated)
Per ulteriori dettagli, consulta il Riferimento API TransferOptions.
I seguenti campi dei metadati non vengono conservati:
- Data/ora ultimo aggiornamento (
updated) etagcomponentCount
Se conservata, l'ora di creazione dell'oggetto viene archiviata come campo personalizzato, customTime. Il tempo updated dell'oggetto viene reimpostato al momento del trasferimento, quindi viene reimpostato anche il tempo trascorso dall'oggetto nella sua classe di archiviazione.
Puoi applicare le policy del ciclo di vita basate su createTime utilizzando customTime. I valori customTime esistenti vengono sovrascritti.
Per maggiori dettagli su ciò che viene conservato e ciò che non viene conservato, consulta Conservazione dei metadati.
Gestisci gli oggetti sottoposti al controllo delle versioni
Se vuoi trasferire tutte le versioni degli oggetti di archiviazione e non solo l'ultima, puoi utilizzare la funzionalità manifest di Storage Transfer Service.
Per trasferire tutte le versioni degli oggetti:
Elenca gli oggetti del bucket e copiali in un file JSON:
gcloud storage ls --all-versions --recursive --json gs://SOURCE_BUCKET > object-listing.jsonIn genere, questo comando elenca circa 1000 oggetti al secondo.
Copia gli oggetti non attuali in un file CSV:
jq -r '.[] | select( .type=="cloud_object" and (.metadata | has("timeDeleted"))) | [.metadata.name, .metadata.generation] | @csv' object-listing.json > non-current-object-manifest.csvAbilita il controllo delle versioni degli oggetti nel bucket di destinazione.
Trasferisci le versioni non correnti con le seguenti opzioni di trasferimento:
- Specifica il file manifest.
- Scegli di sovrascrivere sempre gli oggetti nel sink (
--overwrite-when=alwaysotransferOptions.overwriteWhen: ALWAYSnell'API). Tieni presente che in rari casi questa operazione può creare versioni duplicate di un file. - Conserva i metadati
timeCreated(metadataOptions.timeCreated: TIME_CREATED_PRESERVE_AS_CUSTOM_TIME).
Trasferisci le versioni attive utilizzando un normale job di trasferimento.
Configura le opzioni di trasferimento
Ecco alcune delle opzioni disponibili per la configurazione del trasferimento:
Logging: Cloud Logging fornisce log dettagliati dei singoli oggetti, consentendoti di verificare lo stato del trasferimento ed eseguire ulteriori controlli di integrità dei dati.
Filtro: puoi utilizzare i prefissi di inclusione ed esclusione per limitare gli oggetti su cui opera Storage Transfer Service. Questa opzione può essere utilizzata per suddividere un trasferimento in più job di trasferimento in modo che possano essere eseguiti in parallelo. Per saperne di più, consulta Ottimizza la velocità di trasferimento.
Opzioni di trasferimento: puoi configurare il trasferimento in modo da sovrascrivere gli elementi esistenti nel bucket di destinazione, eliminare gli oggetti nella destinazione che non esistono nel set di trasferimento o eliminare gli oggetti trasferiti dall'origine.
Trasferire i dati
Dopo aver definito la tua strategia di trasferimento, puoi eseguire il trasferimento vero e proprio.
Creazione di un nuovo bucket
Prima di iniziare il trasferimento, crea un bucket di archiviazione.
Consulta Considerazioni sulla località per scegliere una località del bucket appropriata.
Potresti voler copiare alcuni dei metadati del bucket quando crei il nuovo bucket. Consulta Recupera i metadati del bucket per scoprire come visualizzare i metadati del bucket di origine, in modo da poter applicare le stesse impostazioni al nuovo bucket.
Copia gli oggetti nel nuovo bucket
Puoi copiare gli oggetti dal bucket di origine a un nuovo bucket utilizzando la consoleGoogle Cloud , l'interfaccia a riga di comando gcloud, l'API REST o le librerie client.
L'approccio scelto dipende dalla tua strategia di trasferimento.
Le seguenti istruzioni riguardano il caso d'uso di base del trasferimento di oggetti da un bucket a un altro e devono essere modificate in base alle tue esigenze.
Console Google Cloud
Utilizza Storage Transfer Service dalla consoleGoogle Cloud :
Apri la pagina Trasferimento nella console Google Cloud .
- Fai clic su Crea job di trasferimento.
Segui la procedura dettagliata, facendo clic su Passaggio successivo man mano che completi ogni passaggio:
Per iniziare: utilizza Cloud Storage sia come Tipo di origine sia come Tipo di destinazione.
Scegli un'origine: inserisci direttamente il nome del bucket desiderato o fai clic su Sfoglia per trovare e selezionare il bucket che ti interessa.
Scegli una destinazione: inserisci direttamente il nome del bucket desiderato o fai clic su Sfoglia per trovare e selezionare il bucket che ti interessa.
Scegli le impostazioni: seleziona l'opzione Elimina i file dall'origine dopo il trasferimento.
Opzioni di pianificazione: puoi ignorare questa sezione.
Dopo aver completato la procedura dettagliata, fai clic su Crea.
In questo modo, inizia il processo di copia degli oggetti dal bucket precedente a quello nuovo. Questo processo potrebbe richiedere del tempo. Tuttavia, dopo aver fatto clic su Crea, puoi uscire dalla console Google Cloud .
Per visualizzare l'avanzamento del trasferimento:
Apri la pagina Trasferimento nella console Google Cloud .
Per scoprire come ottenere informazioni dettagliate sugli errori relativi alle operazioni di Storage Transfer Service non riuscite nella console Google Cloud , consulta Risoluzione dei problemi.
Al termine del trasferimento, non devi fare nulla per eliminare gli oggetti dal bucket precedente se hai selezionato la casella di controllo Elimina i file dall'origine dopo il trasferimento durante la configurazione. Tuttavia, potresti anche voler eliminare il bucket precedente, operazione che devi eseguire separatamente.
gcloud CLI
Installa Google Cloud CLI
Se non l'hai ancora fatto, installa Google Cloud CLI.
Poi, chiama gcloud init per inizializzare lo strumento e specificare l'ID progetto e l'account utente. Per maggiori dettagli, consulta Inizializza gcloud CLI.
gcloud init
Concedi al service agent l'accesso ai tuoi bucket
Prima di creare un trasferimento, devi concedere all'agente di servizio Storage Transfer Service i ruoli richiesti sia per il bucket di origine sia per quello di destinazione. Consulta Configura l'accesso a un'origine: Cloud Storage e Configura l'accesso a un sink: Cloud Storage.
Ad esempio, per concedere un ruolo nel bucket di destinazione, utilizza gcloud storage buckets add-iam-policy-binding:
gcloud storage buckets add-iam-policy-binding gs://bucket_name \ --member=serviceAccount:project-12345678@storage-transfer-service. \ --role=roles/storage.admin
Per istruzioni sull'utilizzo della console Google Cloud o dell'API, consulta Utilizza le autorizzazioni IAM nella documentazione di Cloud Storage.
Crea il job di trasferimento
Per creare un nuovo job di trasferimento, utilizza il comando gcloud transfer jobs create.
La creazione di un nuovo job avvia il trasferimento specificato, a meno che non venga specificata una pianificazione o --do-not-run.
gcloud transfer jobs create SOURCE DESTINATION
Sostituisci quanto segue:
SOURCE è l'origine dati per questo trasferimento, nel formato
gs://BUCKET_NAME.DESTINATION è il nuovo bucket, nel formato
gs://BUCKET_NAME.
Tra le altre opzioni ci sono:
Informazioni sul job: puoi specificare
--namee--description.Pianificazione: specifica
--schedule-starts,--schedule-repeats-everye--schedule-repeats-untilo--do-not-run.Condizioni degli oggetti: utilizza le condizioni per determinare quali oggetti vengono trasferiti. Queste includono
--include-prefixese--exclude-prefixes, nonché le condizioni basate sul tempo in--include-modified-[before | after]-[absolute | relative].Opzioni di trasferimento: specifica se sovrascrivere i file di destinazione (
--overwrite-when=differentoalways) e se eliminare determinati file durante o dopo il trasferimento (--delete-from=destination-if-uniqueosource-after-transfer); specifica quali valori dei metadati conservare (--preserve-metadata); facoltativamente, imposta una classe di archiviazione per gli oggetti trasferiti (--custom-storage-class).Notifiche: configura le notifiche Pub/Sub per i trasferimenti con
--notification-pubsub-topic,--notification-event-typese--notification-payload-format.
Per visualizzare tutte le opzioni, esegui gcloud transfer jobs create --help.
Ad esempio, per trasferire tutti gli oggetti con il prefisso folder1:
gcloud transfer jobs create gs://old-bucket gs://new-bucket \
--include-prefixes="folder1/"
REST
In questo esempio imparerai a spostare i file da un bucket Cloud Storage a un altro.
Ad esempio, puoi spostare i dati in un bucket in un'altra località.
Richiesta utilizzando transferJobs create:
POST https://storagetransfer./v1/transferJobs { "description": "YOUR_DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "schedule": { "scheduleStartDate": { "day": DAY, "month": MONTH, "year": YEAR }, "startTimeOfDay": { "hours": 1, "minutes": 1 }, "scheduleEndDate": { "day": DAY, "month": MONTH, "year": YEAR } }, "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } } }
Risposta:
200 OK { "name": "transferJobs/JOB_ID", "description": "YOUR_DESCRIPTION", "projectId": "PROJECT_ID", "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } }, "schedule": { "scheduleStartDate": { "day": DAY, "month": MONTH, "year": YEAR }, "scheduleEndDate": { "day": DAY, "month": MONTH, "year": YEAR }, "startTimeOfDay": { "hours": 1, "minutes": 1 } }, "status": "ENABLED", "creationTime": "2026-01-01T01:01:00.000000000Z", "lastModificationTime": "2026-01-01T01:01:00.000000000Z" }
Librerie client
I seguenti esempi creano un job di trasferimento giornaliero che sposta gli oggetti non modificati per 30 giorni da un bucket Cloud Storage di origine a un bucket Cloud Storage Nearline.
Puoi anche utilizzare le librerie client per replicare i dati in un bucket in un'altra località.
Per ulteriori informazioni sulle librerie client di Storage Transfer Service, consulta Introduzione alle librerie client di Storage Transfer Service.
Java
Stai cercando esempi precedenti? Consulta la guida alla migrazione di Storage Transfer Service.
Python
Stai cercando esempi precedenti? Consulta la guida alla migrazione di Storage Transfer Service.
Verifica gli oggetti copiati
Una volta completato il trasferimento, ti consigliamo di eseguire ulteriori controlli di integrità dei dati.
Convalida che gli oggetti siano stati copiati correttamente verificando i metadati degli oggetti, ad esempio i checksum e le dimensioni.
Verifica che sia stata copiata la versione corretta degli oggetti. Storage Transfer Service offre un'opzione predefinita per verificare che gli oggetti siano copie. Se hai attivato il logging, visualizza i log per verificare se tutti gli oggetti sono stati copiati correttamente, inclusi i relativi campi dei metadati corrispondenti.
Inizia a utilizzare il bucket di destinazione
Una volta completata e verificata la migrazione, aggiorna le applicazioni o i workload esistenti in modo che utilizzino il nome del bucket di destinazione. Controlla gli audit log di accesso ai dati in Cloud Audit Logs per assicurarti che le tue operazioni modifichino e leggano correttamente gli oggetti.
Elimina il bucket originale
Quando tutto funziona correttamente, elimina il bucket originale.
Storage Transfer Service offre l'opzione di eliminare gli oggetti dopo che sono stati trasferiti specificando deleteObjectsFromSourceAfterTransfer: true nella configurazione del job o selezionando l'opzione nella console Google Cloud .
Pianifica l'eliminazione degli oggetti
Per pianificare l'eliminazione degli oggetti in una data successiva, utilizza una combinazione di un job di trasferimento pianificato e l'opzione deleteObjectsUniqueInSink = true.
Il job di trasferimento deve essere configurato per trasferire un bucket vuoto nel bucket contenente i tuoi oggetti. In questo modo, Storage Transfer Service elenca gli oggetti e inizia a eliminarli. Poiché le eliminazioni sono un'operazione solo sui metadati, il job di trasferimento è limitato solo dalle QPS. Per velocizzare la procedura, suddividi il trasferimento in più job, ognuno dei quali agisce su un insieme distinto di prefissi.
In alternativa, Google Cloud offre uno scheduler per cron job gestito. Per saperne di più, consulta Pianifica un job di trasferimento STS di Google Cloud con Cloud Scheduler.