Bottleneck terjadi saat satu langkah, tahap, atau worker memperlambat keseluruhan tugas. Bottleneck dapat menyebabkan pekerja menganggur dan peningkatan latensi.
Jika Dataflow mendeteksi bottleneck, grafik tugas akan menampilkan pemberitahuan, dan panel Step Info akan mencantumkan jenis bottleneck dan penyebabnya, jika diketahui. Dataflow juga mengekspor informasi deteksi bottleneck ke metrik Monitoring, yang menampilkan data sebagai deret waktu. Dengan begitu, Anda dapat melihat bottleneck dari waktu ke waktu atau di masa lalu.
Memahami bottleneck
Saat Dataflow menjalankan pipeline streaming, tugasnya terdiri dari serangkaian komponen, seperti streaming shuffle, thread pemrosesan fungsi yang ditentukan pengguna (DoFn), dan checkpointing status persisten. Untuk memfasilitasi aliran data, Dataflow menggunakan antrean untuk menghubungkan komponen ini. Data dikirim dari upstream ke downstream.
Di banyak pipeline, kapasitas throughput keseluruhan dibatasi oleh satu komponen, sehingga menciptakan bottleneck dalam pipeline. Kecepatan data dapat bergerak melalui bottleneck membatasi seberapa cepat pipeline dapat menerima dan memproses data input.
Misalnya, pertimbangkan pipeline tempat pemrosesan DoFn terjadi di downstream
shuffle streaming. Antrean di antara keduanya menyangga data yang diacak, tetapi belum diproses. Jika pemrosesan DoFn tidak dapat menggunakan data secepat streaming shuffle memproduksinya, antrean akan bertambah. Bottleneck yang berkepanjangan dapat menyebabkan antrean mencapai kapasitasnya. Pada saat itu, pengacakan lebih lanjut akan dijeda, dan
backlog akan disebarkan ke upstream. Antrean di hulu juga mengakumulasi backlog,
yang pada akhirnya menyebabkan perlambatan yang meluas ke sumber data, yang berarti seluruh
pipeline tidak dapat mengimbangi input.
Saat terjadi bottleneck, sebagian besar pipeline mungkin tampak tidak responsif, meskipun hanya satu titik dalam pipeline yang menyebabkan backlog. Perilaku ini dapat menyulitkan proses debug bottleneck. Tujuan deteksi bottleneck adalah mengidentifikasi lokasi dan penyebab yang tepat, sehingga menghilangkan dugaan, sehingga Anda dapat memperbaiki akar masalahnya.
Dataflow mendeteksi bottleneck saat penundaan melebihi batas lima menit. Jika penundaan tidak melewati batas ini, Dataflow tidak akan mendeteksi bottleneck.
Deteksi bottleneck tidak selalu mengharuskan Anda untuk bertindak dan bergantung pada kasus penggunaan Anda. Pipeline dapat beroperasi secara normal dengan penundaan sementara lebih dari lima menit. Jika hal ini dapat diterima untuk kasus penggunaan Anda, Anda mungkin tidak perlu mengatasi bottleneck yang ditunjukkan.
Jenis bottleneck
Saat Dataflow mendeteksi bottleneck, antarmuka pemantauan menunjukkan tingkat keparahan masalah. Bottleneck termasuk dalam kategori berikut:
- Pemrosesan macet dan tidak ada kemajuan
- Progres pipeline sepenuhnya dihentikan pada langkah ini.
- Pemrosesan sedang berlangsung, tetapi tertinggal.
- Pipeline tidak dapat memproses data masuk secepat data tersebut tiba. Akibatnya, backlog makin bertambah.
- Pemrosesan sedang berlangsung, tetapi backlog stabil
- Pipeline sedang berjalan, dan kecepatan pemrosesan sebanding dengan kecepatan input. Pemrosesan cukup cepat sehingga backlog tidak bertambah, tetapi backlog yang terakumulasi juga tidak berkurang secara signifikan.
- Pemrosesan sedang berlangsung dan mengejar backlog
- Backlog berkurang, tetapi bottleneck saat ini mencegah pipeline mengejar ketertinggalan lebih cepat. Jika Anda memulai pipeline dengan backlog, status ini mungkin normal dan tidak memerlukan intervensi apa pun. Pantau progres untuk melihat apakah backlog terus berkurang.
Penyebab bottleneck
Bagian ini mencantumkan penyebab bottleneck yang dapat dideteksi. Gunakan informasi ini untuk menyelesaikan masalah. Dalam beberapa kasus, mungkin ada beberapa penyebab, dan penyebab tersebut mungkin terkait. Misalnya, jika worker kurang disediakan, pemakaian vCPU mungkin tinggi. Pemakaian vCPU yang tinggi dapat menyebabkan operasi melambat, yang pada akhirnya dapat meningkatkan penundaan antrean. Analisis kemungkinan penyebab mungkin menampilkan semua hal ini sebagai penyebab bottleneck.
- Operasi dengan waktu pemrosesan yang lama
Beberapa operasi dalam komputasi ini memiliki waktu pemrosesan yang lama. Hal ini terjadi setiap kali paket input dikirim ke worker yang menjalankan
DoFndan waktu yang signifikan telah berlalu tanpa hasil yang tersedia.Hal ini paling sering disebabkan oleh satu operasi yang berjalan lama dalam kode pengguna. Masalah lainnya dapat muncul sebagai operasi dengan waktu pemrosesan yang lama. Misalnya, error yang ditampilkan dan dicoba ulang di dalam
DoFn, percobaan ulang dalam jangka waktu yang lama, atau error pada worker harness karena faktor seperti OOM, semuanya dapat menyebabkan waktu pemrosesan yang lama ini.Jika komputasi yang terpengaruh ada dalam kode pengguna, cari cara untuk mengoptimalkan kode atau membatasi waktu eksekusi. Untuk membantu proses debug, log worker menampilkan stack trace untuk setiap operasi yang macet selama lebih dari 5 menit.
- Key commit terlalu besar
- Izin sink BigQuery ditolak
Error ini menunjukkan bahwa akun layanan yang menjalankan pipeline tidak memiliki izin yang diperlukan untuk menulis ke resource BigQuery.
Untuk memvalidasi masalah ini menggunakan log worker:
- Di konsol Google Cloud , buka halaman Detail tugas Dataflow.
- Di panel bawah, klik tab Logs dan pilih Worker Logs.
- Cari pesan error yang menunjukkan bahwa izin atau akses ditolak (misalnya,
PERMISSION_DENIED,403 Forbidden,Access Denied, atauactuallyForbidden). - Periksa pesan log untuk mengidentifikasi set data atau tabel tujuan dan izin tertentu yang tidak ada (seperti
bigquery.tables.updateData).
Untuk menyelesaikan masalah ini:
- Pastikan akun layanan telah diberi peran BigQuery Data Editor (
roles/bigquery.dataEditor) pada set data dan tabel tujuan. - Jika menulis lintas project, pastikan izin diberikan ke akun layanan secara langsung di project tujuan yang menghosting set data BigQuery, dan bahwa Kontrol Layanan VPC (jika diaktifkan) mengizinkan komunikasi antara kedua project.
Jika langkah-langkah ini tidak menyelesaikan masalah, lihat Peran dan izin BigQuery yang telah ditetapkan untuk mengidentifikasi dan memberikan izin terperinci yang tidak ada yang diperlukan untuk konfigurasi spesifik Anda.
- Resource sink BigQuery habis
Error ini menunjukkan bahwa pipeline telah melebihi batas kuota BigQuery. Penyebab yang paling mungkin adalah kuota yang tidak mencukupi di project BigQuery tujuan untuk menangani volume data yang ditulis.
Untuk memvalidasi masalah ini menggunakan log worker:
- Di konsol Google Cloud , buka halaman Detail tugas Dataflow.
- Di panel bawah, klik tab Logs dan pilih Worker Logs.
- Cari pesan error yang menunjukkan bahwa resource atau kuota habis atau batas kapasitas terlampaui (misalnya,
RESOURCE_EXHAUSTED,429 Too Many Requests,quotaExceeded, ataurateLimitExceeded). - Periksa pesan log untuk mengonfirmasi operasi dan batas kuota mana yang terlampaui (misalnya, batas throughput atau koneksi
AppendRowsStorage Write API, atau batas kapasitas streaming insert).
Untuk menyelesaikan masalah ini:
- Tentukan implementasi sink BigQuery yang digunakan pipeline Anda (misalnya, Storage Write API atau streaming insert).
- Tinjau penggunaan kuota BigQuery Anda di konsol Google Cloud . Cari kuota yang terkait dengan jenis sink Anda, seperti koneksi serentak, throughput, atau baris streaming insert per detik.
- Jika Anda terus-menerus mendekati atau melebihi batas ini, pertimbangkan untuk meminta penambahan kuota.
Jika langkah-langkah ini tidak mengidentifikasi batas spesifik yang terlampaui, lihat Memecahkan masalah error kuota dan batas untuk menyelidiki lebih lanjut.
- Kegagalan RPC sink BigQuery
Error ini menunjukkan bahwa permintaan RPC dari pipeline ke BigQuery gagal. Kemungkinan penyebabnya mencakup masalah jaringan atau layanan sementara, payload permintaan yang tidak valid, ketidakcocokan skema, atau error waktu tunggu dan batas waktu terlampaui.
Untuk memvalidasi masalah ini menggunakan log worker:
- Di konsol Google Cloud , buka halaman Detail tugas Dataflow.
- Di panel bawah, klik tab Logs dan pilih Worker Logs.
- Cari pesan error atau pengecualian yang terkait dengan operasi tulis BigQuery (misalnya,
DEADLINE_EXCEEDED,UNAVAILABLE,INVALID_ARGUMENT, atau error validasi skema). - Periksa pelacakan tumpukan dan pesan error untuk menentukan mode kegagalan spesifik yang ditampilkan oleh BigQuery API.
Untuk menyelesaikan masalah ini:
- Setelah Anda mengidentifikasi pesan error atau kode status tertentu di log worker, lihat referensi pesan error BigQuery untuk mendapatkan panduan pemecahan masalah khusus untuk error tersebut.
- Jika pipeline Anda menggunakan Storage Write API, lihat Penanganan error dalam dokumentasi API BigQuery Storage Write untuk mengetahui informasi tentang cara menangani error penulisan dan streaming tertentu.
- Sink BigQuery dibatasi
Penyebab ini menunjukkan bahwa permintaan tulis dari pipeline ke BigQuery berhasil, tetapi mengalami latensi tinggi atau throttling. Masalah ini terjadi saat pipeline mendekati kuota byte dalam pengiriman atau throughput BigQuery dan BigQuery memperlambat permintaan tulis untuk mengatur traffic, atau saat BigQuery mengalami peningkatan latensi backend.
Untuk memvalidasi masalah ini:
- Di konsol Google Cloud , buka halaman Detail tugas Dataflow.
- Klik tab Job metrics atau Step info untuk mengonfirmasi bahwa langkah sink BigQuery mengalami peningkatan waktu pemrosesan.
- Di konsol Google Cloud , buka halaman Quotas & System Limits untuk project BigQuery tujuan dan periksa apakah penggunaan Anda mendekati kuota tulis BigQuery.
Untuk menyelesaikan masalah ini:
- Tentukan implementasi sink BigQuery yang digunakan pipeline Anda, seperti Storage Write API atau streaming insert.
- Tinjau penggunaan kuota BigQuery Anda di konsol Google Cloud . Cari secara khusus kuota yang terkait dengan jenis sink Anda, seperti throughput penambahan Storage Write API, koneksi serentak, atau baris streaming insert per detik. Meskipun permintaan tidak gagal dengan error kuota eksplisit, BigQuery dapat membatasi permintaan saat penggunaan mendekati batas kuota.
- Jika Anda terus-menerus mendekati batas ini, pertimbangkan untuk meminta penambahan kuota.
Jika langkah-langkah ini tidak mengidentifikasi batas tertentu yang sedang didekati, lihat Memecahkan masalah error kuota dan batas untuk menyelidiki lebih lanjut.
- Waktu pemrosesan yang lama di semua operasi
Operasi dalam komputasi ini secara konsisten memerlukan waktu yang lama, yang menunjukkan adanya masalah dalam
DoFnyang disediakan pengguna.Penyebab ini berbeda dengan Operasi waktu pemrosesan yang lama; meskipun penyebab tersebut memengaruhi beberapa operasi, penyebab ini menunjukkan bahwa semua operasi dalam komputasi ini terpengaruh.
Periksa log worker untuk menemukan error, pengecualian, atau stack trace yang menunjukkan thread yang lambat atau macet. Jika Anda menggunakan Apache Beam SDK untuk Python, dan jika operasi tersebut secara inheren berjalan lama berdasarkan desain (misalnya, panggilan API eksternal yang lambat atau I/O latensi tinggi), pertimbangkan untuk menggunakan Async DoFn. Fitur ini dapat meningkatkan throughput dengan mencegah pemrosesan diblokir pada tugas yang berjalan lama ini.
- Pembacaan status persisten yang lambat
Komputasi menghabiskan banyak waktu untuk membaca status persisten sebagai bagian dari eksekusi
DoFn. Hal ini mungkin disebabkan oleh status persisten yang terlalu besar, atau terlalu banyak pembacaan. Pertimbangkan untuk mengurangi ukuran status yang dipertahankan atau frekuensi pembacaan. Optimalkan pola akses status dengan menggabungkan beberapa operasi pembacaan status atau menggunakan status peta, bukan status nilai, jika sesuai. Hal ini juga mungkin merupakan masalah sementara karena lambatnya status persisten yang mendasarinya.- Penulisan status persisten yang lambat
Komputasi menghabiskan banyak waktu untuk menulis status persisten selama commit hasil pemrosesan. Hal ini mungkin disebabkan oleh status persisten yang terlalu besar. Pertimbangkan untuk mengurangi ukuran status yang dipertahankan. Optimalkan pola akses status dengan menggabungkan beberapa operasi penulisan status jika sesuai. Masalah ini mungkin juga bersifat sementara karena lambatnya status persisten yang mendasarinya.
- Commit yang ditolak
Pemrosesan data tidak dapat di-commit ke status persisten karena tidak valid. Hal ini biasanya disebabkan oleh terlampauinya salah satu batas operasional. Periksa log untuk mengetahui detail selengkapnya, atau hubungi dukungan.
- Partisi sumber Apache Kafka tidak memadai
Komputasi sumber Apache Kafka tidak memiliki partisi yang cukup. Untuk mengatasi masalah ini, coba langkah-langkah berikut:
- Tingkatkan jumlah partisi Kafka.
- Sertakan redistribusi menggunakan
.withRedistribute()saat mengonfigurasi pembacaan Kafka IO untuk memparalelkan data secara lebih efisien. Sertakan.withRedistributeNumKeys(N)di manaN > partitionsuntuk memberikan batas atas pada jumlah total kunci. Memiliki jumlah kunci yang terbatas memberikan efisiensi melalui penggabungan data. - Untuk meminimalkan biaya pengacakan redistribusi, gunakan
.withOffsetDeduplication(). Mode ini meminimalkan jumlah data yang perlu dipertahankan sebagai bagian dari shuffle, sekaligus tetap memberikan pemrosesan tepat satu kali.
Untuk mengetahui informasi selengkapnya, lihat Paralelisme di halaman Membaca dari Apache Kafka ke Dataflow.
- Volume Besar Status Persisten Sumber Apache Kafka
Komputasi sumber Apache Kafka mendistribusikan ulang data dalam volume tinggi yang dapat menimbulkan latensi dan biaya tinggi. Untuk mengatasi masalah ini, coba langkah-langkah berikut:
- Jika pemrosesan tepat satu kali diperlukan untuk pipeline, minimalkan biaya shuffle redistribusi dengan menggunakan mode penghapusan duplikat offset. Mode ini meminimalkan jumlah data yang perlu dipertahankan sebagai bagian dari shuffle, sekaligus tetap memberikan pemrosesan tepat satu kali.
- Jika pemrosesan minimal sekali sudah cukup untuk pipeline, konfigurasi izinkan duplikat dapat diaktifkan.
Untuk mengetahui informasi selengkapnya, lihat Membaca dari Apache Kafka ke Dataflow.
- Paralelisme sumber tidak memadai
Komputasi sumber tidak memiliki paralelisme yang memadai. Jika memungkinkan, tingkatkan paralelisasi dalam sumber. Jika Anda tidak dapat meningkatkan paralelisasi dan tugas menggunakan mode minimal satu kali, coba tambahkan transformasi
Redistributeke pipeline.- Hot key atau paralelisme kunci yang tidak memadai
Tugas memiliki hot key atau paralelisme kunci yang tidak memadai.
Untuk setiap kunci sharding, Dataflow memproses pesan secara serial. Saat Dataflow memproses batch pesan untuk kunci tertentu, pesan masuk lainnya untuk kunci tersebut akan dimasukkan ke dalam antrean hingga batch saat ini selesai.
Jika Dataflow tidak dapat memproses kunci yang berbeda secara paralel, hal ini dapat menyebabkan bottleneck. Misalnya, data mungkin memiliki terlalu sedikit kunci yang berbeda, atau kunci tertentu mungkin terlalu banyak diwakili dalam data ("hot key"). Untuk mengatasinya, ubah logika pipeline Anda untuk mendistribusikan ulang data. Misalnya, tambahkan akhiran acak ke kunci pengelompokan untuk memecah hot key, dan gabungkan hasil pada langkah berikutnya. Untuk mengetahui detail selengkapnya, lihat Memecahkan masalah hot key.
- vCPU yang kurang disediakan
Tugas tidak memiliki vCPU worker yang cukup. Situasi ini terjadi saat tugas sudah diskalakan ke maksimum, pemakaian vCPU tinggi, dan masih ada backlog. Anda mungkin harus meningkatkan jumlah maksimum worker yang disediakan untuk tugas ini. Misalnya, Anda dapat meningkatkan jumlah ini dengan memperbarui rentang penskalaan otomatis. Atau, cari cara untuk mengurangi penggunaan vCPU dengan mengubah kode pipeline atau workload. Anda dapat menggunakan cloud profiler untuk mencari peluang pengoptimalan.
- Penggunaan vCPU tinggi, menunggu peningkatan skala
Tugas ini memiliki pemakaian vCPU yang tinggi, tetapi masih ada ruang untuk ditingkatkan. Kondisi ini kemungkinan bersifat sementara hingga peningkatan skala dapat terjadi. Anda dapat memantau penskalaan otomatis untuk melihat keputusan penskalaan otomatis. Jika kondisi ini berlanjut dalam waktu lama atau sering terjadi, Anda mungkin perlu mengubah konfigurasi penskalaan otomatis dengan menetapkan petunjuk pemanfaatan worker yang berbeda agar tugas dapat meningkatkan skala secara lebih proaktif.
- Beban vCPU yang tidak seimbang menyebabkan bottleneck pada beberapa worker pencilan
Tugas memiliki vCPU worker yang cukup, tetapi beberapa worker menunjukkan penggunaan vCPU yang sangat tinggi. Hal ini sering kali disebabkan oleh distribusi pekerjaan yang tidak merata. Kemungkinan penyebabnya mencakup partisi sumber yang dimuat secara tidak merata atau hot key.
Untuk mengatasi masalah ini, coba langkah-langkah berikut:
- Tentukan penyebab pemuatan yang tidak merata dan coba perbaiki. Misalnya, pastikan partisi sumber didistribusikan secara merata.
- Jika memperbaiki beban yang tidak merata tidak memungkinkan, pertimbangkan untuk mengubah bentuk worker VM guna meningkatkan vCPU per worker untuk menurunkan pemakaian puncak. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi vCPU per worker, lihat Mengonfigurasi worker VM Dataflow.
- Masalah saat berkomunikasi dengan pekerja
Dataflow tidak dapat berkomunikasi dengan semua worker VM. Periksa status worker VM tugas. Kemungkinan penyebabnya meliputi:
- Ada masalah saat menyediakan worker VM.
- Worker VM pool dihapus saat tugas sedang berjalan.
- Masalah jaringan.
- Sumber Pub/Sub mengalami error pull.
Terjadi error saat mengambil dari sumber Pub/Sub. Periksa apakah topik dan langganan yang diperlukan ada, lalu verifikasi kuota dan konfigurasi. Anda juga dapat memeriksa log untuk menemukan error.
- Sumber Pub/Sub tidak memiliki paralelisme yang memadai
Komputasi sumber Pub/Sub tidak memiliki jumlah kunci Pub/Sub yang memadai. Untuk menambah jumlah kunci, tetapkan opsi layanan
num_pubsub_keys. Untuk mengetahui informasi selengkapnya, lihat Paralelisme sumber Pub/Sub.- Sumber Pub/Sub dibatasi karena alasan yang tidak diketahui
Komputasi sumber Pub/Sub dibatasi saat membaca dari Pub/Sub, karena alasan yang tidak diketahui. Masalah ini mungkin bersifat sementara. Periksa masalah konfigurasi Pub/Sub, izin IAM yang tidak ada, atau batas kuota. Namun, jika tidak ada area sebelumnya yang menjadi penyebab utama dan masalahnya tetap berlanjut, hubungi dukungan.
- Publikasi sink Pub/Sub lambat atau macet
Komputasi sink Pub/Sub lambat atau macet. Masalah ini mungkin disebabkan oleh masalah konfigurasi atau batas kuota.
- Waktu antrean kerja yang tinggi
Usia tugas tertua yang memenuhi syarat tinggi, karena banyaknya kunci dan kecepatan pemrosesan kunci. Dalam situasi ini, setiap operasi mungkin tidak terlalu lama, tetapi penundaan antrean secara keseluruhan tinggi.
Dataflow menggunakan satu thread pemrosesan per kunci sharding, dan jumlah thread pemrosesan dibatasi. Penundaan antrean kira-kira sama dengan rasio kunci terhadap thread, dikalikan dengan latensi on-thread untuk setiap paket pemrosesan untuk kunci:
(key count / total harness threads) * latency per bundleCoba perbaikan berikut:
- Menambah jumlah worker. Lihat Penskalaan otomatis streaming.
- Tingkatkan jumlah thread harness worker. Tetapkan
opsi pipeline
numberOfWorkerHarnessThreads/number_of_worker_harness_threads. - Kurangi jumlah kunci.
- Mengurangi latensi operasi.
- Masalah sementara pada backend Streaming Engine
Ada masalah konfigurasi atau operasional pada backend Streaming Engine. Masalah ini mungkin bersifat sementara. Jika masalah berlanjut, hubungi dukungan.
- Penyebab yang tidak dapat ditentukan
Penyebab backlog tidak dapat ditentukan dengan pasti. Masalah ini mungkin bersifat sementara. Jika masalah berlanjut, hubungi dukungan.
Metrik bottleneck
Metrik tugas berikut memberikan informasi tentang bottleneck:
dataflow.googleapis.com/job/is_bottleneck: Nilai boolean yang menunjukkan apakah tahap tersebut merupakan bottleneck aktif, beserta label yang menentukan jenis bottleneck dan kemungkinan penyebabnya.dataflow.googleapis.com/job/backlogged_keys: Jumlah kunci yang dicadangkan dalam tahap bottleneck.dataflow.googleapis.com/job/recommended_parallelism: Nilai paralelisme yang direkomendasikan untuk mengurangi bottleneck pada tahap yang terpengaruh.