Log di trasferimento del file system

Questo documento descrive l'attuale formato del log dei trasferimenti del file system.

Visualizza i log dei trasferimenti

I trasferimenti del file system generano log di trasferimento dettagliati che puoi utilizzare per verificare i risultati del job di trasferimento. Ogni job produce una raccolta di log dei trasferimenti archiviati nel bucket Cloud Storage del trasferimento: il bucket di origine, il bucket di destinazione o il bucket intermedio, a seconda della direzione del trasferimento. Chiunque abbia accesso al bucket Cloud Storage ha accesso ai log dei trasferimenti.

I log vengono generati durante l'esecuzione del job di trasferimento. I log completi sono in genere disponibili entro 15 minuti dal completamento del job.

Visualizza i log nel bucket Cloud Storage

I log dei trasferimenti vengono archiviati nel bucket Cloud Storage del trasferimento nel seguente percorso:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dove i componenti del percorso sono i seguenti:

  • bucket-name è il nome del bucket Cloud Storage coinvolto in questo trasferimento.
  • job-name è il nome del job, come visualizzato nei dettagli del job.
  • operation-name è il nome della singola operazione di trasferimento, composto dal timestamp ISO 8601 e da un ID generato.

I log vengono aggregati e archiviati come oggetti. Ogni batch di log è denominato in base alla data e ora di creazione. Ad esempio:

my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log

Esegui query BigQuery sui log di trasferimento

Per eseguire query BigQuery sui log di trasferimento:

  1. Carica i dati di log in BigQuery come CSV con il delimitatore di campo impostato su tabulazione e una riga di intestazione da saltare.

  2. Esegui la query BigQuery.

Esempi di query

Visualizza il numero di file di cui è stato tentato il trasferimento e se l'operazione è riuscita o meno

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dove big-query-table è il nome della tabella BigQuery che contiene il log dei trasferimenti.

Visualizza tutti i file che non è stato possibile trasferire

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log dei trasferimenti.

Visualizza il checksum e il timestamp di ogni file trasferito correttamente

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log dei trasferimenti.

Visualizza tutte le informazioni sugli errori per le directory il cui trasferimento non è riuscito

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dove big-query-table è il nome della tabella BigQuery che contiene il log dei trasferimenti.

Descrizione del formato

I log dei trasferimenti del file system vengono salvati in formato con valori delimitati da tabulazioni (TSV) e contengono una riga di intestazione con i nomi dei campi. L'ordine di visualizzazione dei campi è generalmente stabile, ma non è garantito e deve essere dedotto dalla riga di intestazione.

Ogni riga rappresenta un singolo record di log, ovvero un aggiornamento dello stato di una parte dell'operazione di trasferimento complessiva.

La tabella seguente descrive i campi del file di log:

Campo log Descrizione
Timestamp Timestamp conforme allo standard ISO 8601 di quando abbiamo registrato l'evento.
OperationName Il nome completo dell'operazione.
Azione

Descrive l'azione di questa particolare attività. Il valore sarà uno dei seguenti:

  • FIND: ricerca del lavoro da svolgere, ad esempio l'elenco dei file on-premise
  • TRANSFER: trasferimento dei file
  • DELETE: elimina i file nella destinazione
  • CLEANUP: eliminazione dei file dal bucket intermedio in un trasferimento tra file system
ActionStatus

Lo stato generale dell'azione. Il valore sarà uno dei seguenti:

  • SUCCEEDED: l'azione è stata completata correttamente.
  • FAILED: l'azione non è riuscita. Ulteriori dettagli sull'errore sono riportati nei campi FailureDetails.
FailureDetails.ErrorType Una stringa che rappresenta il tipo di errore riscontrato. Ad esempio, FILE_NOT_FOUND. Compilato solo se si è verificato un errore.
FailureDetails.GrpcCode Un valore stringa del codice RPC di Google. Ad esempio, FAILED_PRECONDITION. Compilato solo se si è verificato un errore.
FailureDetails.Message Un messaggio di errore leggibile per l'errore. Compilato solo se si è verificato un errore.
Src.Type Stringa che descrive il tipo di sistema di archiviazione di origine. ON_PREM_FILE (origine del file system) o GCS_OBJECT (origine di Cloud Storage).
Src.File.Path Percorso del file on-premise trasferito.
Src.File.LastModified L'ora di modifica POSIX (mtime) del file on-premise.
Src.File.Size Le dimensioni del file in byte.
Src.File.Crc32C Il checksum CRC32C dei contenuti del file.
Dst.Type Stringa che descrive il tipo di sistema di archiviazione di destinazione. GCS_OBJECT (destinazione Cloud Storage) o ON_PREM_FILE (destinazione file system).
Dst.Gcs.BucketName Il nome del bucket Cloud Storage di destinazione.
Dst.Gcs.ObjectName Il prefisso dell'oggetto di destinazione.
Dst.Gcs.LastModified L'ora di modifica POSIX (mtime) dell'oggetto di destinazione.
Dst.Gcs.Size Le dimensioni dell'oggetto in byte.
Dst.Gcs.Crc32C Il checksum CRC32C dei contenuti dell'oggetto.
Dst.Gcs.Md5 Il checksum MD5 dell'oggetto finale in Cloud Storage.
Dst.Gcs.PreviousOperation.LastModified L'ora dell'ultima modifica dell'oggetto Cloud Storage di destinazione prima che venisse sovrascritto da questa operazione, se esisteva già.
Dst.Gcs.PreviousOperation.Size La dimensione in byte dell'oggetto Cloud Storage di destinazione prima che venisse sovrascritto da questa operazione, se esisteva già.

Esempio di voce di log

Di seguito è riportato un esempio di due righe di output del log, l'intestazione e una riga di dati:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5     Dst.Gcs.PreviousOperation.LastModified  Dst.Gcs.PreviousOperation.Size
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==