偵測及解決 Dataflow 管道瓶頸

在串流管道中,緩慢的步驟或轉換可能會限制處理量,並導致積壓工作傳播,進而增加整體工作延遲。Dataflow 瓶頸偵測器會自動找出並醒目顯示導致 Google Cloud 管理中心出現積壓工作的特定步驟,協助您快速診斷及解決執行延遲問題,不必透過反覆試錯的方式進行偵錯。

如要瞭解 Dataflow 如何識別瓶頸並傳播積壓工作,請參閱「關於 Dataflow 瓶頸偵測器」一文。

事前準備

使用瓶頸偵測工具進行疑難排解前,請確認您的作業和專案符合下列需求:

  • 您有正在執行的串流 Dataflow 工作。
  • 您的工作是使用 Streaming Engine 執行。如果工作不是在 Streaming Engine 上執行,系統就不支援瓶頸偵測功能。
  • 您具備查看 Dataflow 工作所需的 Identity and Access Management (IAM) 權限。詳情請參閱「Dataflow IAM 角色」。

在 Google Cloud 控制台中查看目前瓶頸

您可以在 Dataflow 監控介面中,直接查看作用中的瓶頸通知和快訊。

  1. 前往 Google Cloud 控制台的「Dataflow」頁面。

    前往 Dataflow

  2. 在工作清單中選取串流工作,開啟工作詳細資料頁面。

  3. 在「工作圖表」分頁下方,查看執行圖表:

    • 如果步驟遇到瓶頸,系統會顯示彩色警告或警示圖示。
    • 如果這個步驟的處理時間延遲超過五分鐘,就會觸發警告。
  4. 按一下顯示警告圖示的步驟。

    範例工作圖表,其中標示失敗的步驟。

  5. 在畫面右側的「步驟資訊」面板中,找到「瓶頸」部分。這個部分會顯示:

    • 瓶頸類型。例如進度落後、待處理事項穩定或停滯。
    • 診斷引擎判斷的可能原因。
    • 持續時間和相關診斷詳細資料。

    在「Step Info」(步驟資訊) 面板中偵測瓶頸。

解決瓶頸原因

如要解決瓶頸問題,請在「步驟資訊」面板中找出可能原因, 然後按照「排解瓶頸問題」中的逐步操作指南,針對該原因採取行動。

使用 Monitoring 監控瓶頸

如要設定程式輔助快訊或查看一段時間內的瓶頸活動,請使用 Monitoring。瓶頸偵測工具會匯出下列指標:

如要瞭解如何使用這些指標建立圖表和快訊,請參閱「使用 Monitoring 監控 Dataflow」。

後續步驟