Dalam pipeline streaming, langkah atau transformasi yang lambat dapat membatasi throughput dan menyebabkan propagasi backlog, sehingga meningkatkan latensi tugas secara keseluruhan. Detektor bottleneck Dataflow secara otomatis mengidentifikasi dan menandai langkah-langkah tertentu yang menyebabkan backlog di Google Cloud Konsol, sehingga membantu Anda mendiagnosis dan menyelesaikan penundaan eksekusi dengan cepat tanpa melakukan proses debug coba-coba.
Untuk mengetahui ringkasan konseptual tentang cara Dataflow mengidentifikasi bottleneck dan menyebarkan backlog, lihat Tentang detektor bottleneck Dataflow.
Sebelum memulai
Sebelum menggunakan detektor bottleneck untuk pemecahan masalah, pastikan tugas dan project Anda memenuhi persyaratan berikut:
- Anda memiliki tugas Dataflow streaming yang sedang berjalan.
- Tugas Anda dijalankan menggunakan Streaming Engine. Deteksi bottleneck tidak didukung untuk tugas yang tidak berjalan di Streaming Engine.
- Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk melihat tugas Dataflow. Untuk mengetahui informasi selengkapnya, lihat Peran IAM Dataflow.
Melihat bottleneck aktif di Google Cloud Konsol
Anda dapat melihat notifikasi dan pemberitahuan bottleneck aktif langsung di antarmuka pemantauan Dataflow.
Di Google Cloud Konsol, buka halaman Dataflow.
Di daftar tugas, pilih tugas streaming Anda untuk membuka halaman detail tugas.
Di tab Job graph, tinjau grafik eksekusi:
- Langkah-langkah yang mengalami bottleneck aktif menampilkan ikon peringatan atau pemberitahuan berwarna.
- Pemberitahuan menunjukkan bahwa penundaan pemrosesan lebih dari lima menit telah terjadi pada langkah ini.
Klik langkah yang menampilkan ikon peringatan.
Di panel Step Info di sisi kanan layar, temukan bagian Bottlenecks. Bagian ini menampilkan:
- Jenis bottleneck. Misalnya, tertinggal, backlog stabil, atau macet.
- Kemungkinan penyebab, jika diidentifikasi oleh mesin diagnostik.
- Durasi dan detail diagnostik terkait.
Mengatasi penyebab bottleneck
Untuk mengatasi bottleneck, identifikasi kemungkinan penyebab di panel Step Info dan ikuti panduan langkah demi langkah untuk penyebab di Memecahkan masalah bottleneck.
Memantau bottleneck dengan Monitoring
Jika Anda ingin menyiapkan pemberitahuan terprogram atau melihat aktivitas bottleneck dari waktu ke waktu, gunakan Monitoring. Detektor bottleneck mengekspor metrik berikut:
dataflow.googleapis.com/job/is_bottleneck: Nilai boolean yang menunjukkan apakah tahap tersebut merupakan bottleneck aktif, beserta label yang menentukan jenis bottleneck dan kemungkinan penyebabnya.dataflow.googleapis.com/job/backlogged_keys: Jumlah kunci yang dicadangkan dalam tahap bottleneck.dataflow.googleapis.com/job/recommended_parallelism: Nilai paralelisme yang direkomendasikan untuk mengurangi bottleneck pada tahap yang terpengaruh.
Untuk mengetahui informasi tentang cara membuat diagram dan pemberitahuan menggunakan metrik ini, lihat Menggunakan Monitoring untuk Dataflow.
Langkah berikutnya
- Pelajari lebih lanjut konsep detektor bottleneck Dataflow.
- Ikuti panduan umum untuk Memecahkan masalah dan melakukan proses debug Dataflow pipeline.