疑難排解延遲問題

與任何資料庫系統一樣,Bigtable 也可能發生延遲問題。本文將探討 Bigtable 延遲問題的常見原因,並說明如何排解這些問題。

請按照下列各節的疑難排解步驟,診斷及解決 Bigtable 延遲問題:

瞭解高延遲的原因

下列因素會導致 Bigtable 延遲問題:

  • 伺服器延遲時間:系統會從 Bigtable 收到要求時開始計算伺服器延遲時間,並於 Bigtable 將資料的最後一個位元組傳送至用戶端時停止計算。如果要求的資料量較大,用戶端的回應處理能力可能會影響伺服器延遲時間。
  • 作業延遲時間:測量 Bigtable 作業的端對端總時間,包括所有重試。這項指標會追蹤從用戶端到 Bigtable 再回到用戶端的來回時間。應用程式延遲時間、網路連線、Bigtable 用戶端程式庫延遲時間和伺服器延遲時間,都會影響作業延遲時間。
  • 工作負載和要求模式可能會增加延遲時間,這不僅是因為基礎架構問題,也可能是因為應用程式要求的工作模式發生變化。舉例來說,動態產生的掃描查詢原本掃描一百列,但由於最近資料匯入或應用程式邏輯變更,現在掃描一百萬列。雖然系統可能有效率地運作,但單一作業的工作量大幅增加,會導致執行時間變長,Bigtable 會將其視為延遲時間較長。

事前準備

如要排解高延遲問題,請執行下列工作:

  • 為用戶端程式庫啟用用戶端指標,即可最佳化效能並解決問題。
  • 為盡可能縮短網路延遲時間,請確認應用程式與 Bigtable 叢集位於相同可用區。這可縮短應用程式與叢集之間的網路距離,進而縮短要求的回應時間。
  • 收集下列 Bigtable 環境相關資訊:
  • 收集下列用戶端環境相關資訊:
  • 收集下列與問題相關的資訊:

排解延遲問題

如果您在 Bigtable 遇到延遲問題,請按照下列步驟排解問題:

  1. 檢查伺服器延遲時間:在Google Cloud 控制台的「Monitoring」頁面查看伺服器延遲時間。詳情請參閱「使用 Cloud Monitoring 監控」。查看執行個體的延遲時間。如果執行個體包含多個叢集,請依叢集劃分指標。如果您發現讀取延遲時間或寫入延遲時間圖表,或用戶端指標中的延遲時間增加,請按照本文「排解伺服器延遲時間問題」一節中的伺服器延遲時間疑難排解步驟操作。
  2. 檢查用戶端延遲時間:啟用用戶端指標後,在 Cloud Monitoring Metrics Explorer 中搜尋 bigtable.googleapis.com/client。查看可用的用戶端指標。如果用戶端指標的延遲時間增加,但伺服器端沒有,請檢查應用程式和網路連線。詳情請參閱本文的「排解用戶端延遲問題」一節。

下圖顯示排解 Bigtable 延遲時間增加問題的程序:

排解 Bigtable 延遲問題的流程圖。
圖 1. Bigtable 延遲問題的疑難排解程序 (按一下即可放大)。

排解用戶端延遲問題

請按照下列步驟排解用戶端延遲問題。

事前準備

開始排解用戶端延遲問題前,請先完成下列工作:

  • 在 Bigtable 啟用用戶端指標。
  • 如果您使用 Java 用戶端 2.17.1 以下版本,請啟用管道預先載入功能。從 2.18.0 版開始,系統預設會啟用管道重新整理功能。
  • 反覆測試,找出最適合工作負載的連線集區大小。管道過多或過少,都可能導致嘗試延遲時間過長。

查看應用程式封鎖延遲時間

查看 Google Cloud 控制台中的Application Blocking Latencies指標,並執行下列其中一項操作:

  • 如果應用程式封鎖延遲時間偏高,且與回報的延遲時間增加情況相符,請著重於排解用戶端問題。
  • 如果應用程式封鎖延遲時間過長,且用戶端託管於Google Cloud 基礎架構 (例如 GKE 或 Compute Engine),請提報給適當的 Google Cloud 支援團隊。
  • 如果應用程式封鎖延遲時間和 Bigtable 服務延遲時間都很低,延遲瓶頸可能在於網路或流量路徑的中間元件,例如網路或 Google 前端。建議您將問題提報給 Google Cloud網路團隊,請他們協助擷取完整封包,找出延遲瓶頸。

解決作業延遲時間過長的問題

  1. 如果 connectivity_error_count 偏高,表示應用程式無法連線至 Google 前端。設定較低的 RPC 逾時時間,以便在不同管道重試要求。
    • 如果 RPC 逾時時間過短,也可能導致作業延遲時間過長。判斷正常運作期間的典型 P99 RPC 逾時時間。將 RPC 逾時值設為接近這個基準,有助於最佳化效能。
  2. 如果 retry_count 偏高,請檢查 attempt_latencies 狀態標記。如果嘗試失敗並出現 DEADLINE_EXCEEDED 錯誤,表示要求期限與平均 attempt_latencies 相比過短。

處理 gRPC 執行緒中排入佇列的要求

如果沒有任何指標超出正常值,要求可能會在 gRPC 執行緒上排隊。可能原因如下:

  • 管道集區大小太小,要求在 gRPC 管道中排隊。詳情請參閱「緩衝要求」。
  • 用戶端 VM 的 CPU 使用率偏高。CPU 使用率過高也會導致用戶端中的要求排入佇列。

疑難排解伺服器延遲問題

請按照下列步驟排解伺服器端延遲問題。

判斷叢集是否超載

  1. 查看 Read requests 和 Write requests 圖表,瞭解 QPS 的變化。
  2. 查看 Node count 圖表,瞭解節點數量是否有變化。
  3. 查看 Read throughput 和 Write throughput 圖表,瞭解頻寬是否增加。詳情請參閱「瞭解效能」。
  4. 如要瞭解 CPU 如何依應用程式設定檔、方法和資料表使用,以排解效能問題,請參閱「Cloud Bigtable 叢集將 CPU 用於何處?」網誌文章。
  5. 增加受影響叢集的節點數量。詳情請參閱「手動新增或移除節點」和「自動調度資源」。確認平均 CPU 使用率低於建議門檻。

檢查是否有熱點

與該節點相關聯的其他 Tablet 相比,熱門 Tablet 使用的節點 CPU 百分比過高。這種不平衡的使用情況可能是因為資料列範圍內有大量非預期的要求,或是結構定義設計有缺陷。這種不平衡的節點用量可能會導致延遲時間和複製延遲時間增加,也就是所謂的熱點。

  1. 觀察 CPU utilization (hottest node) high granularity 圖表中的熱點。
  2. 如要找出資源使用率不均的子表,請使用資源使用率不均的子表或 Key Visualizer 工具。
  3. 叢集層級的 CPU 使用率過高,通常可以透過新增節點 (水平資源調度) 來緩解,但熱點可能需要其他緩解技術。這些技術包括變更資料列索引鍵的建構方式或變更結構定義。詳情請參閱「消除 Cloud Bigtable 中的熱點」網誌文章。

解決 QPS 偏低時的延遲問題

Bigtable 最適合用於經常存取的大型資料表。如果一段時間未使用後才傳送要求,Bigtable 重新建立連線時,您可能會發現延遲時間偏高。

  1. 如果 Read requests 和 Write requests 圖表顯示 QPS 偏低,回應時間可能會較慢。
  2. 請按照「冷啟動和低 QPS」中的最佳做法,緩解冷啟動問題。

評估要求效率

使用「Access patterns」(存取模式) 頁面和查詢統計資料,評估要求效率:

  • 在 Google Cloud 控制台中使用「Access patterns」(存取模式) 頁面,監控讀取和寫入查詢類型在一段時間內的細目 (例如點讀取、短掃描、反向掃描、稀疏讀取和大量讀取),並比較資料表和應用程式設定檔的「Scanned rows」(已掃描的資料列) 和「Cells seen」(已查看的儲存格) 與「Returned rows」(傳回的資料列) 和「Sent cells」(已傳送的儲存格)。詳情請參閱「分析存取模式」。
  • 使用查詢統計資料,檢查個別讀取要求的資料列/儲存格掃描數與傳回數比率。請重新檢視查詢模式、篩選器或結構定義設計,提高要求效率。詳情請參閱「取得查詢統計資料」。

檢查設定或應用程式設定檔變更

如果節點數量和處理量保持不變,但平均 CPU 使用率增加,這可能是因為複製或垃圾收集策略有所變更。詳情請參閱「複製和效能」。還原任何複製或垃圾收集設定變更。

提報給 Bigtable 支援團隊

如果上述步驟無法解決問題,請提報給 Bigtable 支援團隊。

後續步驟