設計及設定 GKE 叢集,實現最佳成本效益

本文將引導您瀏覽 Google Kubernetes Engine (GKE) 說明文件,找出成本最佳化的指南和建議。GKE 提供多種自動調度資源和排程功能,可讓您盡可能降低叢集成本,同時維持應用程式穩定性。

如要查看所有 GKE 最佳做法的整合總覽,請參閱「GKE 最佳做法」。

您應該已熟悉下列項目:

總覽

實作 GKE 時,您必須考量不同的技術層面,以符合應用程式和業務需求。除了定義網路、安全性、儲存空間和其他技術層面外,您還必須評估成本和效能,以滿足業務需求。您不應將成本和效能視為獨立實體,而是必須從基礎架構規劃的初始階段就加以整合,定義統一的關係,同時決定可靠性和雲端支出。低成本和高可靠性是基本要求,但隨著規模擴大,管理這兩者之間的取捨會變得更加複雜。

如要降低成本並確保應用程式穩定,您可以設定或調整下列 GKE 功能:

  • GKE 設定
  • 工作負載設定
  • 成本基準和掌握度
如要透過 AI 輔助功能比較不同機型的效率、消耗選項和定價,並找出叢集成本最佳化的最佳做法,請在 Compute Advisor (預先發布版) 中執行下列提示:

Compute Advisor Compute Advisor 是採用 AI 賦能技術的助理,可根據配額限制、現有預留項目和資源位置限制等資訊,提供自訂的基礎架構建議。

這則提示會評估專案的配額、預留項目、承諾使用折扣 (CUD) 和節點集區,比較工作負載的機型和用量選項,並產生 Markdown 比較表,提供建議設定。

你是 GKE FinOps 架構師。請根據專案配額、有效預留項目、承諾使用折扣和現有節點集區,協助我最佳化 GKE 叢集費用。

請提供下列資訊:

1. 專案容量和折扣檢查:檢查專案的區域 CPU 和 GPU 配額、有效預留項目、CUD 和現有節點集區,找出折扣容量和使用率偏低的節點。

2. 機型和用量選項比較:比較工作負載的首選候選機器系列,瞭解價格效能和 CPU 架構,並比較隨選 VM、Spot VM 和 CUD 的可用性、中斷風險和定價模式。只有在 GKE 上使用支援的機器類型時,才可納入彈性啟動 VM。

3. 叢集和工作負載設定:建議應使用 Autopilot 還是 Standard 模式、可盡量提高分裝成效的叢集自動配置器和節點集區自動建立設定、水平和垂直 Pod 自動調度資源設定,以及可將開發命名空間控制在預算範圍內的 ResourceQuota 政策。

請將比較結果格式化為 Markdown 表格,列出各個機型、用量選項、相對費用和工作負載適用性,並提供建議設定的即用型 gcloud CLI 指令或 YAML 資訊清單,最後提出 2 到 3 個關於工作負載容錯能力、流量模式和預算的問題,以便調整計畫。

使用 GKE Autopilot

如果是小型沙箱或開發環境,請選取 Autopilot 叢集。在 Autopilot 模式下,GKE 會動態管理節點,您只需支付要求的 Pod 容量費用,不必支付 VM、節點作業系統和系統負擔費用。

詳情請參閱「GKE Autopilot 總覽」。

瞭解自動調度資源的運作方式

GKE 自動調度資源控制器會隨著流量要求變化,動態調整資源。

根據使用率指標新增及移除 Pod

HorizontalPodAutoscaler (HPA) 會根據 CPU 或自訂指標新增及移除 Pod。

如要瞭解及設定水平自動調度 Pod 資源,請參閱下列 GKE 說明文件:

設定目標使用率門檻 (例如 70% 或 80%),保留緩衝空間,以便在額外的副本 Pod 啟動時處理流量激增。

根據使用率指標調度 Pod

如果工作負載未採用水平自動調度 Pod 資源功能,或尖峰工作負載不明,請使用 VerticalPodAutoscaler (VPA) 動態調整容器 CPU 和記憶體要求的大小。

如要瞭解及設定垂直自動調度 Pod 資源功能,請參閱下列 GKE 說明文件:

在類似正式環境中,將 VPA 保持在 Off (僅限建議) 模式至少 24 小時 (最好是一週),以擷取具代表性的流量模式。為避免大小調整不穩定,請先在 VerticalPodAutoscaler 物件中指定明確的下限和上限,再啟用 Initial 或 Auto 模式。

使用叢集自動配置器自動調整基礎架構資源

如要根據排程模擬結果 (而非指標負載) 調整基礎運算節點,請在 GKE Standard 節點集區中啟用叢集自動配置器。指定最低節點參數,以支援基準夜間容量。

請務必為系統和應用程式 Pod 設定 PodDisruptionBudget (PDB) 物件。這項設定可確保叢集自動配置器在合併或縮減使用率偏低的節點集區時,不會不小心造成服務中斷。

如要瞭解及設定叢集自動配置器,請參閱下列 GKE 說明文件:

使用節點集區自動建立功能,部署動態節點集區

啟用節點集區自動建立功能,即可自動產生自訂 GKE 節點集區,其形狀、CPU 數量或記憶體限制會完全符合待處理 Pod 的排程參數。這項功能可盡量減少過大節點上留下的資源。

如要瞭解及設定節點集區自動建立功能,請參閱下列 GKE 說明文件:

自動調度資源檢查清單

基礎架構特性

根據成本最佳化優先順序,調整叢集硬體、位置和節點網路規則。

選取合適的機型

根據使用者位置和叢集需要存取的資料位置,為叢集選取合適的機器類型。

詳情請參閱機器家族資源和比較指南。

在 Spot VM 上部署容錯工作負載

使用 Spot VM 執行無狀態、容錯或批次工作負載,相較於隨選 VM 執行個體,最多可享 91% 的折扣。

詳情請參閱下列 GKE 說明文件:

對應高效率的機器家族和 OS 系統設定

使用符合成本效益的執行個體設定檔 (例如 E2 VM 架構),自訂節點集區機器設定。

如要進一步瞭解如何調整節點大小、設定 Spot VM 搶占時間,以及調整核心設定,請參閱「關於節點集區」。

選取適當的區域

如果延遲時間不會影響使用者,請在營運成本較低的 Compute Engine 區域執行叢集工作負載。

詳情請參閱「選擇 Compute Engine 區域的最佳做法」。

申請 CUD

購買承諾使用折扣 (CUD),即可在一年或三年內,以大幅折扣 (最高 70%) 取得基準運算資源。

詳情請參閱「依資源計算的承諾使用折扣」。

考量網路費用

區域性和多可用區 GKE 叢集可提高應用程式可靠性,但可能會產生內部跨可用區網路輸出費用。

如要盡可能降低及控管網路費用,請考慮下列做法:

  • 跨可用區資料移轉:雖然區域叢集會將工作負載分散到不同可用區,藉此提高可用性,但可用區之間的資料移轉會產生相關費用。

詳情請參閱「所有網路定價」。

為非正式環境部署單一可用區叢集

在非正式環境中,為避免跨可用區網路費用並減少 VM 負擔,請部署單一可用區叢集,而非區域或多可用區叢集。

詳情請參閱「關於叢集設定選項」。

最佳化叢集 DNS 解析路徑和輸入流量

如要最佳化叢集 DNS 解析和輸入流量,您可以部署 NodeLocal DNSCache 和網路端點群組 (NEG)。

執行 DNS 密集型工作負載時,NodeLocal DNSCache 會在每個節點上執行本機 DNS Daemon。這項設定可防止高查詢負載耗盡 CoreDNS,避免需要擴充 CoreDNS,並降低整體 GKE 費用。

對於輸入流量,透過 NEG 進行的容器原生負載平衡會將流量直接轉送至 Pod IP 位址,而非執行個體群組。這種直接轉送方式有助於在 Pod 擴充期間順利重新導向流量。

如需詳細資訊,請參閱:

為每個命名空間套用資源配額

在多租戶叢集中,為每個命名空間部署標準 Kubernetes ResourceQuota 物件,鎖定 CPU 和記憶體型態門檻,防止個別團隊排定不符合規定的工作負載,進而產生非預期的運算費用。

詳情請參閱 Kubernetes 說明文件中的「命名空間」。

實作 Policy Controller 稽核

部署 Policy Controller,動態稽核叢集並強制執行,確保叢集符合企業標準。Policy Controller 會使用許可控制功能,拒絕設定錯誤的資源。

如要瞭解詳情,請參考下列資源:

在 CI/CD 管道中阻擋不符合規定的資訊清單

在開發生命週期早期驗證成本政策遵循情形。將驗證指令碼 (例如 kpt 剖析) 整合至預先修訂或提取要求檢查,在不符合規定的資訊清單進入叢集前,先進行稽核並封鎖。

詳情請參閱「在 CI 管道中依據公司政策驗證應用程式」。

基礎架構檢查清單

應用程式和工作負載最佳化

設定工作負載,有效率地使用資源並降低作業負擔。

指定相符的記憶體要求和限制

部署前,請指定精確的容器 CPU 和記憶體要求。針對 CPU,請設定要求以符合服務水準目標 (SLO),但不要設定限制。如果是記憶體,請確保要求的分配量與記憶體限制相符。

詳情請參閱 Kubernetes 說明文件中的「調整指派給容器的 CPU 和記憶體資源大小」。

加快容器啟動時間

盡可能縮小容器映像檔,縮短映像檔下載時間。

設定 PDB

為應用程式副本指定 PodDisruptionBudget (PDB) 物件,限制自願中斷,並在 GKE 縮減資源或節點升級時確保穩定性。

詳情請參閱「為應用程式指定中斷預算」。

設定有意義的 readiness 和 liveness 探測

為所有容器設定 readiness 和 liveness 探測,確保 GKE 只將流量轉送至就緒的 Pod,並重新啟動失敗的執行個體,避免在自動調度資源期間遺失流量。

詳情請參閱「設定 Liveness、Readiness 和 Startup 探測」。

設定正常關閉應用程式

監聽 SIGTERM 信號、在退出前完成處理中的要求,或設定 preStop 鉤子,讓容器做好正常終止的準備。

詳情請參閱「終止及正常關機先占 VM」。

實作指數輪詢重試機制

在應用程式或服務網格層級實作指數輪詢重試機制,處理暫時性故障或潛在的 Spot VM 搶占。

詳情請參閱 Istio 說明文件中的重試。

應用程式和工作負載最佳化檢查清單

成本基準和掌握度

如要最佳化成本,首先必須掌握 GKE 支出和分配方式。這項資訊有助於將費用歸因至產生費用的團隊和業務單位。

下列 GKE 說明文件說明如何深入瞭解 GKE 計費、資源消耗和基準指標。

啟用 GKE 費用分配功能

啟用 GKE 費用分配功能,即可查看工作負載資源要求和相關費用。費用分配會將叢集費用歸因於工作負載的命名空間和 Kubernetes 標籤。

將這些詳細資料匯出至 BigQuery,即可在 Cloud Billing 中分析資料。這項分析可協助您找出導致帳單費用飆升的工作負載、執行交易退單,以及最佳化資源要求。

詳情請參閱「取得 GKE 資源分配和叢集費用的重要支出深入分析」。

查看記錄和指標擷取量

為叢集啟用 Cloud Logging 和 Cloud Monitoring 會產生費用。如果擷取大量記錄和自訂指標,可能會產生非預期的費用。集中稽核擷取的記錄層級和自訂指標。

如要進一步瞭解如何排解 Logging API 使用量過高或記錄寫入限制逾時的問題,請參閱:

監控 Metrics Server 的健康狀態

監控 Metrics Server Deployment 的健康狀態,因為 GKE 內建的自動調度資源控制器會依賴該 Deployment 擷取 CPU 和記憶體指標。

詳情請參閱「排解水平自動調度 Pod 資源問題」。

培養節約成本的文化

為開發人員提供雲端支出資訊主頁的存取權,並建立 FinOps 訓練,確保架構決策符合業務成本預算。

如要進一步瞭解組織的成本效益文化,請參閱「推廣節約成本文化」。

成本基準和可見度檢查清單

後續步驟

如要進一步瞭解成本效益所需的架構原則和組織文化,請參閱「在 GKE 中執行成本效益最高的 Kubernetes 應用程式的最佳做法」。

如要運用 AI 輔助功能規劃及設計 GKE 叢集的基礎架構,請參閱「使用 Compute Advisor 設計及最佳化 GKE 叢集」。