Log transfer sistem file

Dokumen ini menjelaskan format log transfer sistem file saat ini.

Melihat log transfer

Transfer sistem file menghasilkan log transfer mendetail yang dapat Anda gunakan untuk memverifikasi hasil tugas transfer. Setiap tugas menghasilkan kumpulan log transfer yang disimpan di bucket Cloud Storage transfer: bucket sumber, bucket tujuan, atau bucket perantara, bergantung pada arah transfer. Siapa pun yang memiliki akses ke bucket Cloud Storage memiliki akses ke log transfer.

Log dibuat saat tugas transfer berjalan. Log lengkap biasanya tersedia dalam waktu 15 menit setelah penyelesaian tugas.

Melihat log di bucket Cloud Storage

Log transfer disimpan di bucket Cloud Storage transfer di jalur berikut:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

dengan komponen jalur sebagai berikut:

  • bucket-name adalah nama bucket Cloud Storage yang terlibat dalam transfer ini.
  • job-name adalah nama tugas, seperti yang ditampilkan di detail tugas.
  • operation-name adalah nama operasi transfer individual, yang terdiri dari stempel waktu ISO 8601 dan ID yang dihasilkan.

Log digabungkan dan disimpan sebagai objek. Setiap batch log diberi nama berdasarkan waktu pembuatannya. Contoh:

my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log

Menjalankan kueri BigQuery pada log transfer

Untuk menjalankan kueri BigQuery pada log transfer Anda:

  1. Muat data log ke BigQuery sebagai CSV dengan pembatas kolom yang ditetapkan ke tab dan satu baris header yang akan dilewati.

  2. Jalankan kueri BigQuery Anda.

Contoh kueri

Menampilkan jumlah file yang dicoba untuk ditransfer dan apakah file tersebut gagal atau berhasil

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua file yang gagal ditransfer

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan checksum dan stempel waktu untuk setiap file yang berhasil ditransfer

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Menampilkan semua informasi error untuk direktori yang gagal ditransfer

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

Dengan big-query-table adalah nama tabel BigQuery yang berisi log transfer.

Deskripsi format

Log transfer sistem file disimpan dalam format nilai yang dipisahkan tab (TSV), dan berisi baris header dengan nama kolom. Urutan kolom yang ditampilkan umumnya stabil, tetapi tidak dijamin, dan harus disimpulkan dari baris header.

Setiap baris mewakili satu data log, yaitu update status pada bagian dari keseluruhan operasi transfer.

Tabel berikut menjelaskan kolom dalam file log:

Kolom log Deskripsi
Stempel waktu Stempel waktu yang sesuai dengan ISO 8601 saat kami mencatat peristiwa.
OperationName Nama operasi yang sepenuhnya memenuhi syarat.
Tindakan

Menjelaskan tindakan tugas tertentu ini. Salah satu dari berikut ini:

  • FIND: Menemukan pekerjaan yang harus dilakukan, seperti mencantumkan file secara lokal
  • TRANSFER: Mentransfer file
  • DELETE: Menghapus file di tujuan
  • CLEANUP: Menghapus file dari bucket perantara dalam transfer antara sistem file
ActionStatus

Status umum tindakan. Salah satu dari berikut ini:

  • SUCCEEDED: Tindakan berhasil diselesaikan.
  • FAILED: Tindakan gagal. Detail tambahan tentang kegagalan ada di kolom FailureDetails.
FailureDetails.ErrorType String yang mewakili jenis error yang terjadi. Misalnya, FILE_NOT_FOUND. Diisi hanya jika terjadi error.
FailureDetails.GrpcCode Nilai string kode RPC Google. Misalnya, FAILED_PRECONDITION. Diisi hanya jika terjadi error.
FailureDetails.Message Pesan error yang dapat dibaca manusia untuk kegagalan. Hanya diisi jika terjadi error.
Src.Type String yang menjelaskan jenis sistem penyimpanan sumber. ON_PREM_FILE (sumber sistem file) atau GCS_OBJECT (sumber Cloud Storage).
Src.File.Path Jalur file lokal yang ditransfer.
Src.File.LastModified Waktu modifikasi (mtime) POSIX dari file lokal.
Src.File.Size Ukuran file dalam byte.
Src.File.Crc32C Checksum CRC32C dari konten file.
Dst.Type String yang menjelaskan jenis sistem penyimpanan tujuan. GCS_OBJECT (tujuan Cloud Storage) atau ON_PREM_FILE (tujuan sistem file).
Dst.Gcs.BucketName Nama bucket Cloud Storage tujuan.
Dst.Gcs.ObjectName Awalan objek untuk objek tujuan.
Dst.Gcs.LastModified Waktu modifikasi POSIX (mtime) objek tujuan.
Dst.Gcs.Size Ukuran objek dalam byte.
Dst.Gcs.Crc32C Checksum CRC32C dari konten objek.
Dst.Gcs.Md5 Checksum MD5 dari objek akhir di Cloud Storage.
Dst.Gcs.PreviousOperation.LastModified Waktu terakhir diubah dari objek Cloud Storage tujuan sebelum ditimpa oleh operasi ini, jika sudah ada.
Dst.Gcs.PreviousOperation.Size Ukuran dalam byte objek Cloud Storage tujuan sebelum ditimpa oleh operasi ini, jika sudah ada.

Contoh entri log

Berikut adalah contoh dua baris output log, header, dan baris data:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5     Dst.Gcs.PreviousOperation.LastModified  Dst.Gcs.PreviousOperation.Size
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==