Questo documento descrive i metadati che vengono conservati quando utilizzi Storage Transfer Service per trasferire dati tra varie origini e destinazioni.
Panoramica
Storage Transfer Service conserva i seguenti metadati:
I metadati personalizzati creati dall'utente per i trasferimenti provenienti da Cloud Storage, Amazon S3, archiviazione compatibile con S3 o Microsoft Azure Blob Storage vengono conservati.
I trasferimenti tra bucket Cloud Storage possono facoltativamente conservare gli ACL degli oggetti, le chiavi di crittografia gestite dal cliente, la classe di archiviazione, l'ora di creazione degli oggetti (come valore di un campo
customTime) e i blocchi temporanei.Per i trasferimenti a un bucket Cloud Storage da qualsiasi origine diversa da un file system, la classe di archiviazione dell'oggetto nel bucket di destinazione può essere impostata su qualsiasi classe supportata nell'ambito del trasferimento. I trasferimenti dai file system utilizzano sempre la classe di archiviazione predefinita del bucket di destinazione.
Le dimensioni del file e l'ora dell'ultima modifica (
mtime) vengono conservate per i trasferimenti provenienti da file system POSIX.mtimenon viene conservato per le cartelle.Facoltativamente, è possibile conservare i collegamenti simbolici, l'UID numerico, il GID numerico e la MODALITÀ numerica per i trasferimenti da e verso i file system POSIX.
Solo per i trasferimenti tra file system, se vengono conservati UID, GID o MODE, questi metadati vengono conservati anche per le cartelle. Storage Transfer Service ricrea le cartelle nel file system di destinazione e ripristina UID, GID e/o MODE. Sono incluse le cartelle vuote.
mtimenon viene conservato.I metadati a livello di cartella non vengono conservati se il trasferimento avviene tramite manifest.
I campi dei metadati non menzionati esplicitamente in questo documento non vengono conservati.
Comportamento di conservazione dei metadati
Le sezioni seguenti elencano esempi di metadati di diversi sistemi di archiviazione di origine e il modo in cui Storage Transfer Service conserva i metadati di ciascuno. Per un elenco esaustivo dei metadati, consulta la documentazione del sistema di archiviazione di origine.
Da Amazon S3 o spazio di archiviazione compatibile con S3 a Cloud Storage
| Esempio di metadati | Comportamento di conservazione |
|---|---|
Campi dei metadati a chiave fissa di Amazon S3, ad esempio:
Cache-Control,
Content-Disposition e
Content-Type.
|
Conservati come metadati a chiave fissa. |
| Metadati definiti dall'utente di Amazon S3, formattati come coppie chiave:valore. Per saperne di più, consulta la sezione Metadati degli oggetti definiti dall'utente di Chiave e metadati degli oggetti. |
Conservato come campo dei metadati personalizzato negli oggetti Cloud Storage di destinazione, che puoi modificare in un secondo momento o rimuovere. |
ETag |
Conservato come campo di metadati personalizzato con la chiave
x-goog-source-etag, che puoi modificare in un secondo momento o rimuovere.
|
| Dimensioni dell'oggetto. |
Conservato come size.
|
| Elenchi di controllo dell'accesso (ACL) di Amazon S3. Per un elenco completo, consulta la sezione Chiavi di condizione della Panoramica degli elenchi di controllo dell'accesso (ACL). | Non conservato. |
| Tag degli oggetti Amazon S3, definiti da te come coppie chiave-valore. Per saperne di più, consulta Tag degli oggetti. | Non conservato. |
Metadati definiti dal sistema Amazon S3, ad eccezione di ETag e
delle dimensioni degli oggetti. Per un elenco completo, consulta la sezione Metadati degli oggetti definiti dal sistema di Chiave e metadati degli oggetti. |
Non conservati per impostazione predefinita.
I metadati del timestamp dell'origine non vengono conservati per impostazione predefinita. La data/ora di creazione, |
| Classe di archiviazione |
Esistono diverse opzioni per impostare la classe di archiviazione durante un trasferimento.
Per i dettagli, consulta la documentazione di riferimento di metadataOptions. |
Da Microsoft Azure Storage a Cloud Storage
| Esempio di metadati | Comportamento di conservazione |
|---|---|
Campi dei metadati a chiave fissa di Microsoft Azure Storage, ad esempio:
Cache-Control,
Content-Disposition e
Content-Type.
|
Conservati come metadati a chiave fissa. |
| Metadati definiti dall'utente di Microsoft Azure Storage, formattati come coppie chiave:valore. Per saperne di più, consulta Impostazione e recupero di proprietà e metadati per le risorse del servizio Blob . |
Conservato come campo dei metadati personalizzato negli oggetti Cloud Storage di destinazione, che puoi modificare in un secondo momento o rimuovere. |
ETag
|
Conservato come campo di metadati personalizzato con la chiave
x-goog-source-etag, che puoi modificare in un secondo momento o rimuovere.
|
| Dimensioni dell'oggetto. |
Conservato come size.
|
| Autorizzazioni del file system POSIX supportate da Azure Data Lake Storage (ADLS) Gen 2. | Non conservato. |
Controllo dell'accesso di Microsoft Azure Storage, in particolare x-ms-blob-public-access. Per saperne di più, consulta la sezione Intestazioni della risposta di Recupera ACL del container.
|
Non conservato. |
| Tag di indice di Microsoft Azure Storage. Per saperne di più, consulta Gestisci e trova i dati di Azure Blob con i tag di indice dei blob . | Non conservato. |
Metadati del timestamp di Microsoft Azure Storage, ad esempio:
Last-Modified,
x-ms-creation-time,
x-ms-version,
x-ms-request-server-encrypted e
x-ms-encryption-scope.
Per saperne di più, consulta Imposta i metadati del blob.
|
Non conservato.
I metadati del timestamp dell'origine non vengono conservati. La data/ora di creazione, |
| Classe di archiviazione |
Esistono diverse opzioni per impostare la classe di archiviazione durante un trasferimento.
Per i dettagli, consulta la documentazione di riferimento di metadataOptions. |
Trasferimenti tra bucket Cloud Storage
| Esempio di metadati | Comportamento di conservazione |
|---|---|
|
Campi dei metadati a chiave fissa di Cloud Storage, ad esempio:
Per saperne di più, consulta Metadati degli oggetti. |
Conservati come metadati a chiave fissa. |
| Metadati definiti dall'utente di Cloud Storage, formattati come coppie chiave:valore. Per ulteriori informazioni, consulta Metadati personalizzati. |
Conservato come campo dei metadati personalizzato negli oggetti Cloud Storage di destinazione, che puoi modificare in un secondo momento o rimuovere. |
| Dimensioni dell'oggetto |
Conservato come size.
|
| Generazione di oggetti |
Conservato come campo di metadati personalizzato con la chiave
x-goog-reserved-source-generation, che puoi modificare in un secondo momento
o rimuovere.
|
| Blocchi degli oggetti |
I blocchi basati su eventi non vengono conservati. Se nel bucket di destinazione è abilitata la proprietà di blocco predefinito basato su eventi, agli oggetti trasferiti viene applicato un blocco basato su eventi. Le conservazioni temporanee vengono mantenute per impostazione predefinita. Per ignorare i blocchi temporanei durante il trasferimento, imposta il campo |
| Elenchi di controllo di accesso (ACL) |
Le ACL possono essere facoltativamente conservate. Per i dettagli, consulta la documentazione di riferimento di metadataOptions. Quando conservi gli ACL, fai attenzione a non creare oggetti inaccessibili. Per saperne di più, consulta la documentazione relativa agli elenchi di controllo dell'accesso di Cloud Storage. |
| Classe di archiviazione |
Esistono diverse opzioni per impostare la classe di archiviazione durante un trasferimento.
Per i dettagli, consulta la documentazione di riferimento di metadataOptions. |
| Chiave di crittografia gestita dal cliente |
Se su un oggetto viene utilizzata una chiave di crittografia gestita dal cliente (CMEK), l'oggetto può facoltativamente utilizzare la stessa chiave quando viene scritto nel bucket di destinazione. Il comportamento predefinito prevede la scrittura dell'oggetto nel bucket di destinazione utilizzando il metodo di crittografia del bucket. Quando conservi la CMEK originale, tieni presente le seguenti limitazioni:
Per i dettagli, consulta la documentazione di riferimento di metadataOptions. |
| Metadati del timestamp |
I metadati |
Altri metadati non modificabili di Cloud Storage, come etag e componentCount.
|
Non conservato. |
Per un elenco dei metadati in Cloud Storage, consulta Oggetti.
Trasferimento di un elenco di URL in Cloud Storage
Per saperne di più sugli elenchi di URL, consulta Creazione di un elenco di URL.
| Esempio di metadati | Comportamento di conservazione |
|---|---|
Campi dei metadati a chiave fissa, ad esempio:
Cache-Control,
Content-Disposition e
Content-Type.
|
Conservati come metadati modificabili. |
Content-Length e
MD5
|
Conservati come metadati non modificabili.
Se l'origine non fornisce un valore hash
Questo comportamento di conservazione è specifico per |
| Metadati del timestamp, ad esempio: ora di creazione, ora di modifica e altri metadati specifici dell'origine. |
Non conservato.
I metadati del timestamp dell'origine non vengono conservati. La data/ora di creazione, |
| Classe di archiviazione |
Esistono diverse opzioni per impostare la classe di archiviazione durante un trasferimento.
Per i dettagli, consulta la documentazione di riferimento di metadataOptions. |
Trasferimenti di file system POSIX
Quando trasferisci file da file system POSIX, Storage Transfer Service può facoltativamente conservare determinati attributi come metadati personalizzati. Se questi file vengono successivamente riscritti in un file system, Storage Transfer Service può riconvertire i metadati conservati in attributi POSIX.
| Esempio di metadati | Comportamento di conservazione |
|---|---|
Data/ora di modifica (mtime)
|
Conservato.
|
| Dimensioni file |
Conservato. Le dimensioni del file vengono mantenute come |
| UID numerico GID numerico MODALITÀ numerica Link simbolici |
Facoltativo. Il comportamento di conservazione viene specificato con l'oggetto Il comportamento predefinito prevede di non conservare alcun metadato. |
| Metadati delle cartelle | I metadati a livello di cartella vengono conservati solo per i trasferimenti tra file system. Le impostazioni di conservazione di UID, GID e MODE del trasferimento si applicano ai file e alle cartelle per questi trasferimenti.
I metadati delle cartelle non vengono conservati per i trasferimenti di manifest. |
| Classe di archiviazione |
Gli oggetti vengono scritti con la classe di archiviazione predefinita del bucket di destinazione. L'impostazione di una classe di archiviazione specifica non è supportata per i trasferimenti che coinvolgono un file system. |
Conservazione dei metadati POSIX facoltativi
Per conservare uno o più UID numerici, GID numerici, MODE numerici e link simbolici, specifica un oggetto metadataOptions nel corpo del job di trasferimento.
Queste opzioni si applicano sia ai trasferimenti da POSIX a Cloud Storage sia ai trasferimenti da Cloud Storage a POSIX. Per quest'ultimo, i metadati devono essere stati conservati quando i file sono stati trasferiti inizialmente in Cloud Storage.
{
"description": "metadata-example",
"projectId": "example-project-id",
"transferSpec": {
...
"transferOptions": {
"metadataOptions": {
"gid": "GID_NUMBER",
"uid": "UID_NUMBER",
"mode": "MODE_PRESERVE",
"symlink": "SYMLINK_PRESERVE"
}
}
}
}
Per impostazione predefinita, gid è GID_SKIP, uid è UID_SKIP, mode è MODE_SKIP e
symlink è SYMLINK_SKIP.
Da POSIX a Cloud Storage
I metadati conservati vengono archiviati in Cloud Storage come coppie chiave:valore di metadati personalizzati.
- Il GID numerico viene archiviato come
goog-reserved-posix-gid. - L'UID numerico viene archiviato come
goog-reserved-posix-uid. - La modalità numerica viene memorizzata come
goog-reserved-posix-mode.
Per i link simbolici, Storage Transfer Service conserva il link di destinazione come oggetto in Cloud Storage con le seguenti qualità:
- La chiave dell'oggetto è composta dal prefisso di destinazione più il percorso del collegamento simbolico, relativo a
root_directory. - Metadati degli oggetti:
- Tutti i metadati dei collegamenti simbolici vengono conservati come metadati degli oggetti Cloud Storage.
- Viene creata una voce di metadati personalizzati:
goog-reserved-file-is-symlink:true.
- Il contenuto dell'oggetto è la destinazione del collegamento simbolico. Ad esempio, per un collegamento simbolico
sym-> dir1/target, il contenuto dell'oggetto è "dir1/target".
Storage Transfer Service non convalida il link né copia il file di destinazione.
Da Cloud Storage a POSIX
Se i metadati vengono conservati quando i file vengono trasferiti in Cloud Storage, possono essere riscritti nei file quando vengono trasferiti nuovamente in un file system POSIX.
Se un'opzione dei metadati è impostata su Conserva, Storage Transfer Service esegue le seguenti azioni:
- Link simbolici: Storage Transfer Service crea un file di collegamento simbolico che punta al link di destinazione. Se il file di destinazione non esiste, il collegamento simbolico verrà interrotto.
- GID, UID e MODE: i valori archiviati nei metadati di Cloud Storage vengono riscritti nel file.
Da POSIX a POSIX
I trasferimenti tra file system possono facoltativamente conservare GID, UID e MODE per file e cartelle.
L'ora dell'ultima modifica viene salvata per i file, ma non per le cartelle. mtime
viene impostato sulla data e ora di creazione della cartella nel file system di destinazione.
Storage Transfer Service salva i metadati delle cartelle creando oggetti cartella da 0 byte nel bucket intermedio, quindi copiando i metadati nella cartella del file system di destinazione. Per questo motivo, il numero di oggetti creati nel bucket intermedio potrebbe essere superiore al numero di file trasferiti.