Halaman ini menjelaskan cara menggunakan tab Detail eksekusi di antarmuka pemantauan Dataflow.
Ringkasan
Saat Dataflow menjalankan tugas, Dataflow akan mengonversi langkah-langkah pipeline menjadi tahapan. Setiap langkah mewakili transformasi individual, sedangkan setiap tahapan mewakili satu unit kerja yang dilakukan oleh Dataflow. Untuk mengoptimalkan pipeline, Dataflow dapat menggabungkan beberapa langkah menjadi satu tahapan.
Tab Detail eksekusi di antarmuka pemantauan Dataflow menampilkan informasi tentang tahapan tugas. Anda dapat menggunakan tab Detail eksekusi untuk memecahkan masalah performa, seperti:
- Tahapan lambat yang menyebabkan bottleneck performa
- Tahapan yang macet dan tidak mengalami kemajuan
- VM pekerja yang tertinggal dari pekerja lain
Melihat detail eksekusi
Untuk melihat detail eksekusi tugas, lakukan langkah-langkah berikut:
Di Google Cloud konsol, buka halaman Dataflow > Tugas.
Pilih tugas.
Klik tab Detail eksekusi.
Pilih salah satu tampilan berikut:
- Progres tahapan
- Alur kerja tahapan
- Progres pekerja (khusus tugas batch)
Bagian berikut menjelaskan setiap tampilan ini.
Tampilan progres tahapan
Tampilan Progres tahapan memungkinkan Anda mengamati progres keseluruhan tugas dan membandingkan progres relatif antar-tahapan. Tata letak tampilan Progres tahapan berbeda antara tugas batch dan tugas streaming.
Progres tahapan untuk tugas batch
Untuk tugas batch, tampilan Progres tahapan menampilkan tahapan tugas sesuai urutan waktu mulainya. Untuk setiap tahapan, tampilan ini menampilkan elemen berikut:
- Bilah yang menampilkan waktu mulai dan waktu berakhir.
- Diagram garis yang menampilkan progres tahapan dari waktu ke waktu sebagai persentase total pekerjaan tahapan.
- Total waktu yang dihabiskan dalam tahapan.
Untuk memfilter tahapan yang ditampilkan, klik Filter tahapan. Untuk melihat jalur penting, aktifkan Jalur penting. Jalur penting adalah urutan tahapan yang berkontribusi pada keseluruhan runtime tugas. Misalnya, jalur ini tidak menyertakan cabang yang selesai lebih awal dari keseluruhan tugas, dan input yang tidak menunda pemrosesan downstream.
Panel Info Tahapan menampilkan informasi yang lebih mendetail tentang tahapan. Untuk melihat detail tahapan, klik status progres untuk tahapan tersebut. Panel Info Tahapan menampilkan informasi berikut tentang tahapan:
- Status
- Progres sebagai persentase
- Waktu mulai dan berakhir
- Langkah-langkah pipeline yang mencakup tahapan ini
- Langkah paling lambat berdasarkan waktu proses
- Detail tentang pekerja yang tertinggal
Jika panel tidak terlihat, klik Beralih panel "Info tahapan".
Progres tahapan untuk tugas streaming
Untuk tugas streaming, tampilan Progres tahapan memiliki dua visualisasi keaktualan data. Keaktualan data adalah perbedaan antara stempel waktu elemen data dan waktu saat elemen diproses. Nilai yang lebih besar berarti pipeline membutuhkan waktu lebih lama untuk memproses data input.
Visualisasi pertama menampilkan keaktualan data per tahapan sebagai diagram garis. Untuk melihat keaktualan data pada waktu tertentu, tahan kursor di atas diagram. Untuk memilih rentang waktu, gunakan pemilih waktu atau klik diagram dan tarik untuk memilih rentang. Untuk memfilter tahapan yang ditampilkan, klik Filter tahapan.
Diagram ini juga menandai anomali dalam data:
- Potensi kelambatan: Keaktualan data melebihi persentil ke-95 untuk rentang waktu yang dipilih.
- Potensi kemacetan: Keaktualan data melebihi persentil ke-99 untuk rentang waktu yang dipilih.
Visualisasi kedua menampilkan tahapan sebagai serangkaian batang. Tahapan diatur dalam urutan topologi. Tahapan tanpa turunan ditampilkan terlebih dahulu, diikuti oleh turunannya. Panjang batang mewakili keaktualan data. Untuk melihat nilai keaktualan data pada titik tertentu, klik diagram. Batang akan diperbarui untuk menampilkan keaktualan data pada waktu yang dipilih.
Gambar berikut menunjukkan tugas dengan empat tahapan. Pada stempel waktu yang dipilih, keaktualan data berkisar antara 9 detik hingga 13 detik.
Gambar berikutnya menunjukkan tugas yang sama dengan stempel waktu yang berbeda dipilih. Pada titik ini, keaktualan data untuk semua tahapan melebihi 4 menit, yang menandakan bahwa pipeline mungkin macet.
Panel Info Tahapan menampilkan informasi yang lebih mendetail tentang tahapan. Untuk melihat detail tahapan, klik status progres untuk tahapan tersebut. Panel Info Tahapan menampilkan informasi berikut tentang tahapan:
- Status
- Latensi sistem: Waktu maksimum item data menunggu pemrosesan
- Watermark data: Perkiraan waktu penyelesaian input data untuk tahapan ini
- Detail tentang pekerja yang tertinggal
- Langkah-langkah pipeline yang mencakup tahapan ini
Jika panel tidak terlihat, klik Beralih panel "Info tahapan".
Alur kerja tahapan
Tampilan Alur kerja tahapan menampilkan tahapan tugas sebagai diagram alur kerja. Untuk melihat detail tahapan, klik kotak untuk tahapan tersebut.
Untuk tugas batch, klik Jalur penting untuk melihat hanya tahapan yang secara langsung berkontribusi pada keseluruhan runtime tugas.
Progres pekerja
Untuk tugas batch, tampilan Progres pekerja menampilkan pekerja untuk tahapan tertentu. Tampilan ini tidak tersedia untuk tugas streaming. Untuk mengakses tampilan ini, pilih Progres pekerja dan pilih tahapan di Filter pekerja menurut tahapan. Atau, Anda dapat mengaktifkan tampilan ini dari tampilan Progres tahapan sebagai berikut:
- Di tampilan Progres tahapan, identifikasi tahapan yang ingin Anda lihat.
- Tahan kursor di atas batang untuk tahapan tersebut.
- Di kartu Tahapan, klik Lihat pekerja. Tampilan Progres pekerja akan ditampilkan dengan tahapan yang telah dipilih sebelumnya.
Setiap batang dipetakan ke item kerja yang dijadwalkan ke pekerja. Sparkline yang melacak penggunaan CPU pada pekerja terletak di setiap pekerja, sehingga memudahkan Anda menemukan masalah penggunaan yang kurang.
Langkah berikutnya
- Pelajari lebih lanjut cara memecahkan masalah pipeline Dataflow.
- Baca tentang berbagai komponen antarmuka pengguna pemantauan berbasis web Dataflow.