Ce document décrit le format actuel des journaux de transfert du système de fichiers.
Afficher les journaux de transfert
Les transferts du système de fichiers génèrent des journaux de transfert détaillés qui vous permettent de vérifier les résultats de votre tâche de transfert. Chaque job crée une collection de journaux de transfert qui sont stockés dans le bucket Cloud Storage du transfert : le bucket source, le bucket de destination ou le bucket intermédiaire, selon la direction du transfert. Toute personne ayant accès au bucket Cloud Storage a également accès aux journaux de transfert.
Les journaux sont générés pendant l'exécution de la tâche de transfert. Les journaux complets sont généralement disponibles dans les 15 minutes suivant la fin de la tâche.
Afficher les journaux dans le bucket Cloud Storage
Les journaux de transfert sont stockés dans le bucket Cloud Storage du transfert, au chemin d'accès suivant :
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
où les composants du chemin d'accès sont les suivants :
bucket-nameest le nom du bucket Cloud Storage impliqué dans ce transfert.job-nameest le nom du job, tel qu'il s'affiche dans les détails du job.operation-nameest le nom de l'opération de transfert individuelle, composé du code temporel ISO 8601 et d'un ID généré.
Les journaux sont agrégés et stockés en tant qu'objets. Chaque lot de journaux est nommé en fonction de sa date de création. Exemple :
my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log
Exécuter des requêtes BigQuery sur les journaux de transfert
Pour exécuter des requêtes BigQuery sur vos journaux de transfert, procédez comme suit :
Chargez les données de journal dans BigQuery au format CSV, avec le délimiteur de champ défini sur "tabulation" et une ligne d'en-tête à ignorer.
Exécutez votre requête BigQuery.
Exemples de requêtes
Afficher le nombre de fichiers ayant tenté d'être transférés et indiquant s'ils ont réussi ou échoué
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.
Afficher tous les fichiers dont le transfert a échoué
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.
Afficher la somme de contrôle et l'horodatage pour chaque fichier transféré
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.
Afficher tous les détails des erreurs pour les répertoires dont le transfert a échoué
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
Où big-query-table est le nom de la table BigQuery qui contient le journal de transfert.
Description du format
Les journaux de transfert du système de fichiers sont enregistrés au format TSV (tab-separated values, valeurs séparées par une tabulation) et contiennent une ligne d'en-tête avec des noms de champs. L'ordre d'affichage des champs est généralement stable, mais cela n'est pas garanti et doit être déduit de la ligne d'en-tête.
Chaque ligne représente un enregistrement de journal unique, c'est-à-dire une mise à jour de l'état d'une partie de l'opération de transfert globale.
Le tableau suivant décrit les champs du fichier journal :
| Champ du journal | Description |
|---|---|
| Horodatage | Code temporel conforme à la norme ISO 8601 indiquant quand nous avons enregistré l'événement. |
| OperationName | Nom complet de l'opération. |
| Action | Décrit l'action de cette tâche particulière. Choisissez l'une des options suivantes :
|
| ActionStatus | État d'avancement général de l'action. Choisissez l'une des options suivantes :
|
| FailureDetails.ErrorType | Chaîne représentant le type d'erreur rencontrée. Par exemple, FILE_NOT_FOUND. Renseigné uniquement en cas d'erreur. |
| FailureDetails.GrpcCode | Valeur de chaîne du code Google RPC. Par exemple, FAILED_PRECONDITION. Renseigné uniquement en cas d'erreur. |
| FailureDetails.Message | Message d'erreur lisible par l'humain pour l'échec. Renseigné uniquement en cas d'erreur. |
| Src.Type | Chaîne décrivant le type de système de stockage source. ON_PREM_FILE (source du système de fichiers) ou GCS_OBJECT (source Cloud Storage). |
| Src.File.Path | Chemin du fichier sur site transféré. |
| Src.File.LastModified | Date et heure de modification POSIX (mtime) du fichier sur site. |
| Src.File.Size | Taille du fichier, en octets. |
| Src.File.Crc32C | Somme de contrôle CRC32C du contenu du fichier. |
| Dst.Type | Chaîne décrivant le type de système de stockage de destination. GCS_OBJECT (destination Cloud Storage) ou ON_PREM_FILE (destination du système de fichiers). |
| Dst.Gcs.BucketName | Nom du bucket Cloud Storage de destination. |
| Dst.Gcs.ObjectName | Préfixe d'objet pour l'objet de destination. |
| Dst.Gcs.LastModified | Date et heure de modification POSIX (mtime) de l'objet de destination. |
| Dst.Gcs.Size | Taille de l'objet en octets. |
| Dst.Gcs.Crc32C | Somme de contrôle CRC32C du contenu de l'objet. |
| Dst.Gcs.Md5 | Somme de contrôle MD5 de l'objet final dans Cloud Storage. |
| Dst.Gcs.PreviousOperation.LastModified | Heure de la dernière modification de l'objet Cloud Storage de destination avant qu'il ne soit écrasé par cette opération, s'il existait déjà. |
| Dst.Gcs.PreviousOperation.Size | Taille en octets de l'objet Cloud Storage de destination avant qu'il ne soit écrasé par cette opération, s'il existait déjà. |
Exemple d'entrée de journal
Voici un exemple de deux lignes de résultat de journal, l'en-tête et une ligne de données :
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 Dst.Gcs.PreviousOperation.LastModified Dst.Gcs.PreviousOperation.Size 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==