Dokumen ini menjelaskan format log transfer sistem file saat ini.
Melihat log transfer
Transfer sistem file menghasilkan log transfer mendetail yang dapat Anda gunakan untuk memverifikasi hasil tugas transfer. Setiap tugas menghasilkan kumpulan log transfer yang disimpan di bucket Cloud Storage transfer: bucket sumber, bucket tujuan, atau bucket perantara, bergantung pada arah transfer. Siapa pun yang memiliki akses ke bucket Cloud Storage memiliki akses ke log transfer.
Log dibuat saat tugas transfer berjalan. Log lengkap biasanya tersedia dalam waktu 15 menit setelah penyelesaian tugas.
Melihat log di bucket Cloud Storage
Log transfer disimpan di bucket Cloud Storage transfer di jalur berikut:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
dengan komponen jalur sebagai berikut:
bucket-nameadalah nama bucket Cloud Storage yang terlibat dalam transfer ini.job-nameadalah nama tugas, seperti yang ditampilkan di detail tugas.operation-nameadalah nama operasi transfer individual, yang terdiri dari stempel waktu ISO 8601 dan ID yang dihasilkan.
Log digabungkan dan disimpan sebagai objek. Setiap batch log diberi nama berdasarkan waktu pembuatannya. Contoh:
my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log
Menjalankan kueri BigQuery pada log transfer
Untuk menjalankan kueri BigQuery pada log transfer Anda:
Muat data log ke BigQuery sebagai CSV dengan pembatas kolom yang ditetapkan ke tab dan satu baris header yang akan dilewati.
Jalankan kueri BigQuery Anda.
Contoh kueri
Menampilkan jumlah file yang dicoba untuk ditransfer dan apakah file tersebut gagal atau berhasil
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.
Menampilkan semua file yang gagal ditransfer
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.
Menampilkan checksum dan stempel waktu untuk setiap file yang berhasil ditransfer
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.
Menampilkan semua informasi error untuk direktori yang gagal ditransfer
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.
Deskripsi format
Log transfer sistem file disimpan dalam format nilai yang dipisahkan tab (TSV), dan berisi baris header dengan nama kolom. Urutan kolom yang ditampilkan umumnya stabil, tetapi tidak dijamin, dan harus disimpulkan dari baris header.
Setiap baris mewakili satu data log, yaitu update status pada bagian dari keseluruhan operasi transfer.
Tabel berikut menjelaskan kolom dalam file log:
| Kolom log | Deskripsi |
|---|---|
| Stempel waktu | Stempel waktu yang sesuai dengan ISO 8601 saat kami mencatat peristiwa. |
| OperationName | Nama operasi yang sepenuhnya memenuhi syarat. |
| Tindakan | Menjelaskan tindakan tugas tertentu ini. Salah satu dari berikut ini:
|
| ActionStatus | Status umum tindakan. Salah satu dari berikut ini:
|
| FailureDetails.ErrorType | String yang mewakili jenis error yang terjadi. Misalnya, FILE_NOT_FOUND. Diisi hanya jika terjadi error. |
| FailureDetails.GrpcCode | Nilai string kode RPC Google. Misalnya, FAILED_PRECONDITION. Diisi hanya jika terjadi error. |
| FailureDetails.Message | Pesan error yang dapat dibaca manusia untuk kegagalan. Hanya diisi jika terjadi error. |
| Src.Type | String yang menjelaskan jenis sistem penyimpanan sumber. ON_PREM_FILE (sumber sistem file) atau GCS_OBJECT (sumber Cloud Storage). |
| Src.File.Path | Jalur file lokal yang ditransfer. |
| Src.File.LastModified | Waktu modifikasi (mtime) POSIX dari file lokal. |
| Src.File.Size | Ukuran file dalam byte. |
| Src.File.Crc32C | Checksum CRC32C dari konten file. |
| Dst.Type | String yang menjelaskan jenis sistem penyimpanan tujuan. GCS_OBJECT (tujuan Cloud Storage) atau
ON_PREM_FILE (tujuan sistem file). |
| Dst.Gcs.BucketName | Nama bucket Cloud Storage tujuan. |
| Dst.Gcs.ObjectName | Awalan objek untuk objek tujuan. |
| Dst.Gcs.LastModified | Waktu modifikasi POSIX (mtime) objek tujuan. |
| Dst.Gcs.Size | Ukuran objek dalam byte. |
| Dst.Gcs.Crc32C | Checksum CRC32C dari konten objek. |
| Dst.Gcs.Md5 | Checksum MD5 dari objek akhir di Cloud Storage. |
| Dst.Gcs.PreviousOperation.LastModified | Waktu terakhir diubah dari objek Cloud Storage tujuan sebelum ditimpa oleh operasi ini, jika sudah ada. |
| Dst.Gcs.PreviousOperation.Size | Ukuran dalam byte objek Cloud Storage tujuan sebelum ditimpa oleh operasi ini, jika sudah ada. |
Contoh entri log
Berikut adalah contoh dua baris output log, header, dan baris data:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 Dst.Gcs.PreviousOperation.LastModified Dst.Gcs.PreviousOperation.Size 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==