找出延遲發生的位置

本頁面說明如何找出及排解 Spanner 元件的延遲問題。如要進一步瞭解 Spanner 要求中可能出現的延遲時間點,請參閱「Spanner 要求中的延遲時間點」。

您可以評估及比較不同元件與資料庫之間的要求延遲時間,判斷哪個元件造成延遲。這些延遲時間包括端對端延遲時間、Google Front End (GFE) 延遲時間、Spanner API 要求延遲時間和查詢延遲時間。

  1. 在用戶端應用程式中,確認端對端延遲時間有所增加。請查看用戶端指標中的下列維度。詳情請參閱「用戶端指標說明」。

    • client_name:用戶端程式庫名稱和版本。
    • location:發布用戶端指標的 Google Cloud 區域。如果應用程式部署在Google Cloud以外,指標會發布至 global 區域。
    • method:RPC 方法名稱,例如 spanner.commit。
    • status:RPC 狀態,例如 OK 或 INTERNAL。

    依這些維度分組,查看問題是否僅限於特定用戶端、狀態或方法。如果是雙區域或多區域工作負載,請確認問題是否僅限於特定用戶端或 Spanner 區域。

  2. 檢查用戶端應用程式健康狀態,尤其是用戶端運算基礎架構 (例如 VM、CPU 或記憶體使用率、連線、檔案描述元等)。

  3. 查看用戶端指標,檢查 Spanner 元件的延遲時間:

    1. 使用 spanner.googleapis.com/client/operation_latencies 指標查看端對端延遲時間。

    2. 使用 spanner.googleapis.com/client/gfe_latencies 指標查看 Google Front End (GFE) 延遲時間。

    3. 使用 spanner.googleapis.com/client/gfe_connectivity_error_count 指標檢查 GFE 連線錯誤計數,並篩選 status = DEADLINE_EXCEEDED。GFE 延遲時間不包括在用戶端收到回應標頭前逾時的嘗試。如果這個計數增加,請檢查 spanner.googleapis.com/client/attempt_latencies 值是否接近要求期限。如需後續步驟,請參閱「排解超過期限錯誤」。

  4. 請查看下列 Spanner 指標維度:

    • database:Spanner 資料庫名稱。
    • method:RPC 方法名稱,例如 spanner.commit。
    • status:RPC 狀態,例如 OK 或 INTERNAL。

    依這些維度分組,查看問題是否僅限於特定資料庫、狀態或方法。如果是雙區域或多區域工作負載,請確認問題是否僅限於特定區域。

  5. 使用 spanner.googleapis.com/api/request_latencies 指標查看 Spanner API 要求延遲時間。詳情請參閱「Spanner 指標」。

    如果端對端延遲時間偏高、GFE 延遲時間偏低,且 GFE 連線能力錯誤次數未增加 (請參閱步驟 3),且 Spanner API 要求延遲時間偏低,則應用程式程式碼可能有問題。也可能表示用戶端與區域 GFE 之間有網路問題。如果應用程式有效能問題,導致部分程式碼路徑速度緩慢,則每個 API 要求的端對端延遲時間可能會增加。用戶端運算基礎架構也可能存在上一步未偵測到的問題。

    如果 GFE 延遲時間偏高,但 Spanner API 要求延遲時間偏低,可能原因如下:

    • 從其他區域存取資料庫。這項操作可能會導致 GFE 延遲時間偏高,Spanner API 要求延遲時間偏低。舉例來說,如果用戶端位於 us-east1 區域,而執行個體位於 us-central1 區域,則來自該用戶端的流量可能會有較高的 GFE 延遲時間,但 Spanner API 要求延遲時間較低。

    • GFE 層發生問題。請查看 Google Cloud 狀態資訊主頁,瞭解您所在地區是否有任何網路問題。如果沒有任何問題,請提交客服案件並附上這項資訊,讓支援工程師協助排解 GFE 問題。

  6. 查看執行個體的 CPU 使用率。如果執行個體的 CPU 使用率高於建議值,請手動新增更多節點或設定自動調度資源。詳情請參閱「自動調度資源總覽」。

  7. 使用 Key Visualizer 觀察及排解潛在熱點或不平衡的存取模式,並嘗試復原與問題時間範圍高度相關的任何應用程式程式碼變更。如要平衡 Spanner 運算資源的存取權,請遵循結構定義設計最佳做法。

  8. 檢查流量模式是否有任何變化。

  9. 查看查詢洞察和交易洞察,瞭解是否有任何查詢或交易效能瓶頸。

  10. 使用「Oldest active queries」(最舊的執行中查詢) 中的程序,查看可能導致效能瓶頸的高成本查詢,並視需要取消查詢。

  11. 請按照下列主題中疑難排解章節的程序,使用 Spanner 內省工具進一步排解問題:

後續步驟