在串流管道中,緩慢的步驟或轉換可能會限制處理量,並導致積壓工作傳播,進而增加整體工作延遲。Dataflow 瓶頸偵測器會自動找出並醒目顯示導致 Google Cloud 管理中心出現積壓工作的特定步驟,協助您快速診斷及解決執行延遲問題,不必透過反覆試錯的方式進行偵錯。
如要瞭解 Dataflow 如何識別瓶頸並傳播積壓工作,請參閱「關於 Dataflow 瓶頸偵測器」一文。
事前準備
使用瓶頸偵測工具進行疑難排解前,請確認您的作業和專案符合下列需求:
- 您有正在執行的串流 Dataflow 工作。
- 您的工作是使用 Streaming Engine 執行。如果工作不是在 Streaming Engine 上執行,系統就不支援瓶頸偵測功能。
- 您具備查看 Dataflow 工作所需的 Identity and Access Management (IAM) 權限。詳情請參閱「Dataflow IAM 角色」。
在 Google Cloud 控制台中查看目前瓶頸
您可以在 Dataflow 監控介面中,直接查看作用中的瓶頸通知和快訊。
前往 Google Cloud 控制台的「Dataflow」頁面。
在工作清單中選取串流工作,開啟工作詳細資料頁面。
在「工作圖表」分頁下方,查看執行圖表:
- 如果步驟遇到瓶頸,系統會顯示彩色警告或警示圖示。
- 如果這個步驟的處理時間延遲超過五分鐘,就會觸發警告。
按一下顯示警告圖示的步驟。

在畫面右側的「步驟資訊」面板中,找到「瓶頸」部分。這個部分會顯示:
- 瓶頸類型。例如進度落後、待處理事項穩定或停滯。
- 診斷引擎判斷的可能原因。
- 持續時間和相關診斷詳細資料。

解決瓶頸原因
如要解決瓶頸問題,請在「步驟資訊」面板中找出可能原因, 然後按照「排解瓶頸問題」中的逐步操作指南,針對該原因採取行動。
使用 Monitoring 監控瓶頸
如要設定程式輔助快訊或查看一段時間內的瓶頸活動,請使用 Monitoring。瓶頸偵測工具會匯出下列指標:
dataflow.googleapis.com/job/is_bottleneck:布林值,指出階段是否為效能瓶頸,以及指定瓶頸類型和可能原因的標籤。dataflow.googleapis.com/job/backlogged_keys: 瓶頸階段中備份的鍵數量。dataflow.googleapis.com/job/recommended_parallelism:建議的平行處理量值,可減輕受影響階段的瓶頸。
如要瞭解如何使用這些指標建立圖表和快訊,請參閱「使用 Monitoring 監控 Dataflow」。
後續步驟
- 進一步瞭解 Dataflow 瓶頸偵測器概念。
- 請按照一般指南排解 Dataflow 管道問題並進行偵錯。