排解自訂 ComputeClass 問題

這份文件可協助您排解下列問題:GKE 工作負載無法排定在自訂 ComputeClass 定義的節點上,或叢集自動配置器未佈建預期的機型。

本文適用對象為應用程式開發人員、平台管理員和操作人員,他們會使用自訂 ComputeClasses,在 GKE 中管理工作負載排程和節點集區自動建立作業。如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。

基本概念

為協助您排解問題,請務必熟悉下列 GKE 元件和機制:

  • 自訂 ComputeClass:GKE 專屬資源,可讓您定義自動調度資源的節點設定優先順序清單。詳情請參閱「關於自訂 ComputeClass」。

  • 叢集自動配置器:根據工作負載需求,自動在叢集中新增或移除節點的元件。詳情請參閱「關於 GKE 叢集自動調度資源」。

  • 自動建立節點集區:GKE 叢集自動配置器會根據工作負載需求,自動建立及管理節點集區。詳情請參閱「關於節點集區自動建立功能」。

  • 備用邏輯:叢集自動配置器會先嘗試佈建符合最高優先順序規則的節點。詳情請參閱「選擇備用運算優先順序」。

依症狀排解問題

本文件依序整理疑難排解步驟,從基本檢查到進階設定。為進行更全面的診斷,建議您依序執行這些步驟。或者,如果您遇到特定問題,請參閱下表中的相關連結:

問題 疑難排解步驟
要求自訂 ComputeClass 的 Pod 卡在 Pending 狀態
叢集自動配置器未建立與自訂 ComputeClass 相符的新節點
叢集自動配置器建立預設機型,而非特殊類型 分析自動配置器備用行為
kubectl describe computeclass 指令的輸出內容顯示健康狀態不良 驗證自訂 ComputeClass 設定
工作負載未遷移至優先順序較高的節點 驗證叢集自動配置器的一般健康狀態
GPU 或 Spot VM 工作負載有排程問題
自訂 ComputeClass 中的運算資源緩衝區遭拒、空白或未佈建運算資源

超出範圍的問題

本文不討論下列問題:

  • 一般 GKE 網路問題,例如 Pod 對 Pod 連線能力或 Service 負載平衡。
  • 與水平 Pod 自動配置器 (HPA) 或垂直 Pod 自動配置器 (VPA) 相關的問題。
  • 與自訂 ComputeClass 機制無關的問題,例如應用程式層級錯誤,或與排程限制無關的 PersistentVolume 問題。
  • 與 ComputeClass 備用邏輯無直接關聯的配額或資源無法使用問題。

找出預留位置變數

如要自訂本文件中的指令,請在「Variable」欄中輸入特定值。編輯後的值會自動同步到所有程式碼區塊和指令。

變數 說明
PROJECT_ID 您的 Google Cloud 專案 ID。
LOCATION 叢集所在的 Compute Engine 區域或可用區。
CLUSTER_NAME 叢集名稱。
NODE_POOL_NAME 要檢查的節點集區名稱 (如果適用於 Standard 叢集)。
CUSTOM_COMPUTECLASS_NAME Pod 要求的自訂 ComputeClass 名稱。
NAMESPACE 無法排程的 Pod 命名空間。
POD_NAME 無法排程的 Pod 名稱。
BUFFER_NAME GKE 為 ComputeClass 建立的 CapacityBuffer 名稱。

事前準備

如要取得執行本文件所述工作所需的權限,請要求管理員在 Google Cloud 專案中授予您下列 IAM 角色:

  • 如要存取 GKE 叢集:Kubernetes Engine 叢集檢視者 (roles/container.viewer)。
  • 如要查看記錄:記錄檢視器 (roles/logging.viewer)。
  • 如要管理 GKE 叢集:Kubernetes Engine 管理員 (roles/container.admin)。

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色,取得必要權限。

如要設定 kubectl 與叢集通訊,請執行下列指令:

  gcloud container clusters get-credentials CLUSTER_NAME
      --location LOCATION
      --project PROJECT_ID

執行基本診斷檢查

請確認核心元件設定正確,且叢集支援自訂 ComputeClass。

驗證 Pod 狀態和選取器

確認 Pod 處於 Pending 狀態,並正確要求自訂 ComputeClass。

  1. 列出處於 Pending 狀態的 Pod:

    kubectl get pods --all-namespaces -o wide | grep Pending
    
  2. 檢查 Pod 規格的 nodeSelector 欄位:

    kubectl get pod POD_NAME
        -n NAMESPACE
        -o jsonpath='{.spec.nodeSelector}'
    

評估結果

  • 輸出內容顯示標籤:nodeSelector 欄位已正確設定 cloud.google.com/compute-class 標籤。
  • 輸出內容未顯示標籤:
    • 解讀:工作負載部署設定中的 cloud.google.com/compute-class 標籤可能缺少 nodeSelector 欄位,或該欄位有誤。
    • 解決方法:修改工作負載的 YAML 檔案 (例如 Deployment 或 Job),在 spec.template.spec 區段中加入 nodeSelector 欄位。

確認叢集版本相容性

自訂 ComputeClass 須使用 GKE 1.30.3-gke.1451000 以上版本。確認叢集執行的版本支援自訂 ComputeClass。

檢查叢集版本:

gcloud container clusters describe CLUSTER_NAME
    --location LOCATION
    --format="value(currentMasterVersion)"

評估結果

  • 1.30.3-gke.1451000 以上版本:叢集版本支援自訂 ComputeClass。
  • 1.30.3-gke.1451000 之前的版本:
    • 解讀:叢集尚未升級至支援自訂 ComputeClass 的版本。
    • 解決方法:您必須升級叢集,才能使用自訂 ComputeClass。

驗證為自訂 ComputeClass 佈建的節點

如要檢查叢集中是否有與 ComputeClass 相關聯的節點,請列出與 ComputeClass 標籤相符的節點:

kubectl get nodes -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME

如果輸出內容為 No resources found,表示沒有與 ComputeClass 相關聯的節點。請確認工作負載確實選取該 ComputeClass,並檢查自動調度資源事件是否有向上擴充錯誤。

驗證自訂 ComputeClass 設定

如果自訂 ComputeClass 資源設定錯誤,Pod 可能無法排程,GKE 也可能無法正確佈建節點。

檢查 ComputeClass 健康狀態和狀態

確認 GKE 回報自訂 ComputeClass 的健康狀態良好。

  1. 列出所有 ComputeClass 資源:

    kubectl get computeclass
    
  2. 說明特定 ComputeClass 資源:

    kubectl describe computeclass CUSTOM_COMPUTECLASS_NAME
    

評估結果

  • 健康狀態顯示 True:自訂 ComputeClass 健康狀態良好。以下是健康自訂 ComputeClass 的範例:

    Status:
      Conditions:
        Last Transition Time:  2024-01-19T17:18:48Z
        Message:               CCC is healthy.
        Reason:                Health
        Status:                True
        Type:                  Health
    
  • 健康狀態顯示 False:

    • 解讀:自訂 ComputeClass 運作異常。查看輸出內容中的 Message 和 Reason 欄位,找出問題所在。
    • 解決方法:執行與輸出內容中 Reason 欄位對應的操作:
      • NodePoolNotExist:請確認參照的節點集區存在,或更新 ComputeClass,參照現有的節點集區。
      • ReservationUnusable:請檢查所參照預留項目的設定和用量。
      • Invalid machine type:更新 ComputeClass,使用叢集區域或可用區支援的機型。

驗證 unsatisfiable 政策

whenUnsatisfiable 欄位會決定無法滿足優先順序規則時的行為。

請查閱政策:

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml

檢查輸出內容中的 spec.whenUnsatisfiable 欄位。這個欄位可包含下列其中一個值:

  • DoNotScaleUp:如果無法建立偏好的節點,Pod 會維持在 Pending 狀態。
  • ScaleUpAnyway:如果偏好的節點無法使用,Pod 可能會在預設節點類型 (例如 E2 系列) 上執行。

評估結果

whenUnsatisfiable 政策的效果取決於其值:

  • 如果值為 DoNotScaleUp:
    • 解讀:如果沒有任何優先順序規則符合條件,系統就會採取這項預期行為,原因可能是資源無法使用或配額限制。如果 Pod 必須等待特定硬體,這個值就正確。
    • 解決方法:如果執行工作負載比在特定硬體上執行更重要,請將政策變更為 ScaleUpAnyway。
  • 如果值為 ScaleUpAnyway:
    • 解讀:這是預期行為。偏好的節點無法使用,因此 GKE 會改用預設節點類型。
    • 解決方法:如果 Pod 不得在預設節點類型上執行,請將政策變更為 DoNotScaleUp。
  • 預設行為:如果您未指定 whenUnsatisfiable 欄位的值,且使用的 GKE 版本低於 1.33,政策會預設為 ScaleUpAnyway。

以下範例說明如何編輯 ComputeClass 資訊清單中的 whenUnsatisfiable 欄位,藉此更新政策:

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: CUSTOM_COMPUTECLASS_NAME
spec:
  # ... other fields
  whenUnsatisfiable: DoNotScaleUp # or ScaleUpAnyway

檢查 Pod 排程限制

請確認 Pod 規格與自訂 ComputeClass 佈建的節點屬性相容。

驗證廣告連播資源要求

檢查 Pod 的 CPU、記憶體和 GPU 要求,是否能由自訂 ComputeClass 的 priorities 欄位中定義的至少一種機器類型滿足。

  1. 取得 Pod 資源要求:

    kubectl get pod POD_NAME
        -n NAMESPACE
        -o jsonpath='{.spec.containers[*].resources.requests}'
    

    檢查 cpu、memory 和 GPU 要求 (例如 nvidia.com/gpu) 的輸出內容。

  2. 將這些要求與自訂 ComputeClass 的 priorities 欄位中定義的機型進行比較:

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME
        -o jsonpath='{.spec.priorities}'
    

    檢查 machineType 或 machineFamily 欄位的輸出內容。請參閱機型說明文件,查看自訂 ComputeClass 中各機型的規格,確認可分配資源是否大於 Pod 的要求。

評估結果

  • 資源相容:Pod 的資源要求小於或等於 ComputeClass 中至少一個機型的可分配資源。
  • 資源超出容量:

    • 解讀:ComputeClass 中沒有任何機型提供足夠的 CPU、記憶體或 GPU,因此無法排定 Pod。如果 nodePoolAutoCreation 欄位設為 true,且 Pod 的記憶體要求超出自動建立的節點集區限制,也可能發生這種情況。
    • 解決方法:調整 Pod 的資源要求或自訂 ComputeClass 的機器類型:
      • 減少 Pod 資源要求:如果資源要求偏高,請降低工作負載 YAML 檔案中的 cpu、memory 或 gpu 值。
      • 改用較大的機型:如果 Pod 的要求合理,請修改自訂 ComputeClass 資訊清單中的 spec.priorities 欄位,加入較大的 machineType 或 machineFamily 選項,以滿足 Pod 需求。例如:
    spec:
      priorities:
      - machineType: n2d-highmem-96 # A larger machine type
        spot: true
      # ... other priorities
    

檢查是否有衝突的 taint 和容許條件

為自訂 ComputeClass 建立的節點具有 cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule 污點。GKE 會自動將這個容忍度新增至 Pod。

不過,GPU 等特殊硬體會有額外的污點,例如 nvidia.com/gpu=present:NoSchedule 污點。如果 ComputeClass 使用的節點具備專用硬體,Pod 必須容忍這些污點,才能在這些節點上排程。

查看 Pod 的 tolerations 欄位:

kubectl get pod POD_NAME
    -n NAMESPACE
    -o jsonpath='{.spec.tolerations}'

評估結果

  • 正確的容忍:已正確設定污點和容忍。
  • 缺少容忍:
    • 解讀:缺少容忍度會導致 Pod 無法排程至具有特殊硬體 taint 的節點。舉例來說,如果 ComputeClass 使用 GPU 節點,Pod 可能缺少 nvidia.com/gpu=present:NoSchedule 容忍。如需 GPU 專屬需求,請參閱「驗證 GPU 設定」。
    • 解決方法:在 Pod 規格的 tolerations 欄位中,新增必要的容許條件,以符合 ComputeClass 定義的節點污點。舉例來說,如果是 GPU 節點,請按照下列方式新增 nvidia.com/gpu=present:NoSchedule 汙點的容忍:
spec:
  template:
    spec:
      tolerations:
      - key: "nvidia.com/gpu"
        operator: "Exists"
        effect: "NoSchedule"
      # ... other tolerations and Pod spec
    ```

## Analyze the cluster autoscaler pending Pods metric {:#analyze-ca-metric}

*Applicable GKE versions: 1.37 and later*

To understand why Pods requesting a specific ComputeClass are
pending, use the `kubernetes.io/autoscaler/cluster_pending_pods_per_ccc` metric
in Cloud Monitoring. This metric helps you pinpoint whether the issue is a
lack of suitable nodes for the ComputeClass, a problem with provisioning,
or something inherent to the Pod's configuration. This metric shows the number
of Pods the cluster autoscaler is processing, broken down by the
ComputeClass, the reason for being pending, and whether it's a system or
user Pod.

### Steps to query {:#steps-to-query}

To query the metric in the Google Cloud console, perform the following steps:

1.  In the Google Cloud console, go to the Metrics explorer page.
2.  Select the **Resource type:** `k8s_entity`.
3.  Select the **Metric:** `kubernetes.io/autoscaler/cluster_pending_pods_per_ccc`.
4.  Add a **Filter:** `entity_type = ComputeClass`.
5.  Add a **Filter** for your specific ComputeClass: `entity_name = "COMPUTECLASS_NAME"`.
    *   To see Pods that are not using any ComputeClass, filter with `entity_name = ""`.
6.  **Group by** `metric.labels.reason` to see the autoscaler states
    for these Pods. You can also group Pods by using the `metric.labels.type`
    key label.

### Example PromQL query {:#example-promql-query}

To find the status of pending user Pods requesting the
"COMPUTECLASS_NAME" ComputeClass, use the following PromQL query:

```promql
sum by (reason) (
  kubernetes_io:autoscaler_cluster_pending_pods_per_ccc{
    monitored_resource="k8s_entity",
    entity_type="ComputeClass",
    entity_name="COMPUTECLASS_NAME",
    type="user_pod"
  }
)

指標原因

metric.labels.reason 鍵標籤的輸出內容可能包含下列項目:

  • unable_to_provision:叢集自動配置器遭到封鎖。如果 ComputeClass 的 Pod 處於這個狀態,就無法排程,因為無法建立新節點。請查看控制層中的叢集自動配置器記錄,瞭解 ComputeClass 定義中的缺貨、配額或設定錯誤詳情。此外,也請查看叢集自動配置器瀏覽權限事件。

  • provisioning_in_progress:已針對應符合 ComputeClass 需求的節點觸發向上擴充。如果 Pod 仍在這裡,節點建立或就緒作業可能會延遲。

  • unprocessed:叢集自動配置器尚未評估這些 Pod。如果這個數字持續偏高,可能代表自動配置器發生延遲。

  • no_action_taken:叢集自動配置器決定不調度這些 Pod 的資源。這可能是因為 ComputeClass 的節點類型無法滿足 Pod 限制,或其他叢集層級限制。檢查 Pod 規格 (kubectl describe pod) 和叢集自動配置器記錄。

分析節點佈建失敗

適用的 GKE 版本:1.37 以上版本

如要查看 ComputeClass 目前的健康狀態,請參閱「驗證 ComputeClass 健康狀態」。如果您發現與 ComputeClass 相關聯的 Pod 處於 unable_to_provision 狀態,表示叢集自動配置器未佈建符合 ComputeClass 需求的新節點。您可以使用 kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc Cloud Monitoring 指標診斷根本原因。

  1. 前往 Google Cloud 控制台,依序點選「Monitoring」和「Metrics Explorer」。
  2. 將「Resource type」(資源類型) 選為 k8s_entity。
  3. 將「Metric」(指標) 設為「kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc」。
  4. 新增「篩選器」:resource.labels.entity_type = ComputeClass。
  5. 為特定 ComputeClass 新增篩選器:entity_name = "CUSTOM_COMPUTECLASS_NAME"。
    • 如要查看「未」使用任何 ComputeClass 的 Pod,請使用 entity_name = "" 篩選。
  6. 在「Group By」(分組依據) 部分,選取 metric.labels.reason 和 resource.labels.entity_name。
  7. 選擇「Aggregator」(匯總器),例如 rate 或 delta。

系統會顯示失敗率或失敗率變化,並依原因細分。

解讀失敗原因

metric.labels.reason 欄位可讓您深入分析節點建立失敗的原因。找出失敗的主要原因,即可採取修正措施。

可能的原因包括:

原因 說明 可能的修正措施
QUOTA_EXCEEDED 已達 Google Cloud 配額上限 (例如 CPU、磁碟或 IP 位址)。查看專案配額。 申請提高配額。
RESOURCE_POOL_EXHAUSTED Compute Engine 無法使用;可用區中要求的資源容量不足。 請改用其他機型或可用區,修改 ComputeClass,加入備用機型或可用區。使用預留項目。
IP_SPACE_EXHAUSTED 節點子網路已無可用的 IP 位址。 擴大子網路的主要 IP 位址範圍。
PERMISSIONS_ERROR GKE 服務帳戶缺少建立資源 (例如執行個體、磁碟) 所需的 IAM 權限。 將必要角色授予 GKE 服務帳戶。
VM_EXTERNAL_IP_ACCESS_POLICY_CONSTRAINT 組織政策 (constraints/compute.vmExternalIpAccess) 禁止建立具有外部 IP 的節點。 請查看並修改組織政策或 ComputeClass 節點設定。
INVALID_RESERVATION 設定的 Compute Engine 預留項目無效、設定錯誤,或與節點要求不符。 請檢查預留項目設定和 ComputeClass 定義。
RESERVATION_NOT_FOUND 指定的 Compute Engine 預留項目名稱不存在。 驗證 ComputeClass 中的預留項目名稱。
RESERVATION_NOT_READY 指定的預留項目尚未啟用或仍在佈建中。 等待預留項目生效。
RESERVATION_CAPACITY_EXCEEDED 預留項目已滿,無法容納要求。 請增加預留項目大小,或改用其他機型。
RESERVATION_INCOMPATIBLE 節點設定 (例如機器類型或可用區) 與預留項目的屬性不符。 調整 ComputeClass 節點規格,使其與預留項目的屬性一致。
AUTOMATIC_RESERVATIONS_NOT_AVAILABLE 嘗試使用自動預留項目時發生問題。 請查看記錄,您可能需要與 Cloud Customer Care 聯絡。
AUTOMATIC_RESERVATIONS_NO_CAPACITY 自動預留項目的容量不足。 可能需要改用手動預留項目或其他機器類型。
UNSUPPORTED_TPU_CONFIGURATION 要求的 TPU 設定無效,或所選可用區/專案不支援。 請參閱 TPU 說明文件和 ComputeClass。
GkePersistentOperationError 建立節點時,GKE 控制層發生持續性錯誤。 聯絡 Cloud Customer Care。
OTHER 不屬於其他類別的失敗原因,一律歸入此類。 如要瞭解詳情,請查看控制層的叢集自動配置器記錄。

節點集區設定 (Standard 叢集)

在 GKE Standard 叢集中,手動建立的節點集區必須加上標籤和污點,才能與自訂 ComputeClass 搭配使用。

驗證節點集區標籤和污點

  1. 在自訂 ComputeClass 中找出節點集區。如果自訂 ComputeClass 使用 nodePools 欄位,請記下列出的節點集區名稱:

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. 針對您找出的每個節點集區,驗證其設定:

    gcloud container node-pools describe NODE_POOL_NAME
        --cluster CLUSTER_NAME
        --location LOCATION
        --format="yaml(config.labels, config.taints)"
    

評估結果

  • 節點集區設定正確:節點集區具有 cloud.google.com/compute-class: CUSTOM_COMPUTECLASS_NAME 標籤和 cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule 污點。
  • 節點集區設定錯誤:

    • 解讀:節點集區未設定必要的標籤和污點,因此無法與自訂 ComputeClass 建立關聯。
    • 解決方法:更新節點集區,新增標籤和污點:

      1. 新增或更新節點標籤:

        gcloud container node-pools update NODE_POOL_NAME \
            --cluster=CLUSTER_NAME --location=LOCATION \
            --node-labels=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME
        
      2. 新增或更新節點污點:

        gcloud container node-pools update NODE_POOL_NAME \
            --cluster=CLUSTER_NAME --location=LOCATION \
            --node-taints=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule
        

驗證節點集區自動建立設定

對於 nodePoolAutoCreation 設為 true 的 Autopilot 和 Standard 叢集,必須正確設定節點集區自動建立功能。

確認已啟用節點集區自動建立功能

  1. 檢查自訂 ComputeClass 中的 nodePoolAutoCreation.enabled 欄位是否設為 true:

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. 檢查叢集是否已啟用節點集區自動建立功能:

    gcloud container clusters describe CLUSTER_NAME
        --location LOCATION
        --format="value(autoscaling.enableNodeAutoprovisioning)"
    

如果停用其中一項,節點集區自動建立功能就不會為自訂 ComputeClass 建立新的節點集區。

評估結果

  • 已啟用節點集區自動建立功能:在 ComputeClass 中,nodePoolAutoCreation.enabled 欄位設為 true,且叢集層級已啟用自動佈建節點功能。
  • 已停用節點集區自動建立功能:

    • 解讀:如果 ComputeClass 中 nodePoolAutoCreation.enabled 欄位的值為 false 或缺少該欄位,或者叢集層級自動佈建節點功能已停用,則節點集區自動建立功能會停用。
    • 解決方法:啟用節點集區自動建立功能:

      1. 編輯自訂 ComputeClass YAML 檔案,加入 nodePoolAutoCreation: enabled: true:

        spec:
          # ... priorities
          nodePoolAutoCreation:
            enabled: true
        
      2. 在叢集層級啟用節點集區自動建立功能,並設定資源限制:

        gcloud container clusters update CLUSTER_NAME --location LOCATION \
          --enable-autoprovisioning \
          --autoprovisioning-min-cpu=MIN_CPU \
          --autoprovisioning-max-cpu=MAX_CPU \
          --autoprovisioning-min-memory=MIN_MEMORY \
          --autoprovisioning-max-memory=MAX_MEMORY
        

查看自動建立節點集區的資源限制

自動建立節點集區功能設有全叢集 CPU 和記憶體限制。如果叢集目前的用量加上新節點的資源超過這些限制,節點集區自動建立功能就不會佈建新節點。

  1. 查看資源限制:

    gcloud container clusters describe CLUSTER_NAME
        --location LOCATION
    --format="value(autoscaling.resourceLimits)"
    

    輸出內容會列出 CPU 和記憶體 (以 GB 為單位) 的 resourceType、minimum 和 maximum 欄位。

  2. 查看自訂 ComputeClass 優先順序中的機型。如要查看 CPU 和記憶體規格,請參閱機型說明文件。

  3. 判斷叢集中所有節點目前的 CPU 和記憶體總容量。目前容量加上潛在新節點的資源,總和不得超過自動建立節點集區的上限。

評估結果

  • 容量充足:叢集的 CPU 和記憶體容量在資源限制範圍內,足以讓節點集區自動建立功能佈建新節點。
  • 超過限制:

    • 解讀:叢集已達 CPU 或記憶體上限,或 ComputeClass 中機器的上限設得太低,因此節點集區自動建立功能無法佈建新節點。
    • 解決方法:提高自動建立節點集區的資源限制:

      1. 根據目前用量和未來成長,決定新的上限,包括自訂 ComputeClass 中最大的機器類型。

      2. 更新自動建立節點集區的資源限制。您可以在一個指令中設定多項資源:

        gcloud container clusters update CLUSTER_NAME --location LOCATION \
          --set-nap-resource-limits resourceType=cpu,maximum=NEW_MAX_CPU \
          --set-nap-resource-limits resourceType=memory,maximum=NEW_MAX_GB
        

節點建立和備用行為的問題

如要排解內建和自訂 ComputeClass 在叢集中建立節點的問題,例如非預期的備用行為或無法建立節點,請使用 ComputeClass API 資源的 status 欄位。如要查看 ComputeClass 狀態資訊,請執行下列任一操作:

  • 使用 Cloud Logging 查看各叢集的歷來資料:

    1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

      前往「Logs Explorer」頁面

    2. 指定下列查詢:

      resource.type="k8s_cluster"
      protoPayload.resourceName:"cloud.google.com/v1/computeclasses/COMPUTECLASS_NAME"
      protoPayload.methodName:"com.google.cloud.v1.computeclasses.status"
      

      將 COMPUTECLASS_NAME 替換為 ComputeClass 的名稱。

      輸出內容會顯示 ComputeClass 的 status 欄位更新。

    3. 如要在記錄項目中查看 ComputeClass 狀態更新,請展開 protoPayload.request.status 欄位。

  • 使用 kubectl CLI 查看特定叢集的狀態:

    kubectl get computeclass COMPUTECLASS_NAME -o yaml
    

    在輸出內容中,檢查 status 欄位。

ComputeClass 的 status 欄位包含下列欄位:

  • status.conditions:ComputeClass 的整體狀態。
  • status.priorityStatuses:ComputeClass 中各優先順序規則的狀態。這個欄位包含下列資訊:
    • identifier:項目參照的優先順序規則。
    • conditions:該優先順序規則的持續擴充事件、冷卻時間和節點建立問題相關資訊。
    • resourceInfo:優先順序規則的資源分配和使用率資訊。
    • scalingEventsHistory:資源調度動作的歷來資料,例如節點建立和整合作業。
  • status.resourceInfo:整個 ComputeClass 的整體資源分配和用量。

status.conditions 欄位和 status.priorityStatuses.conditions 欄位會提供影響 ComputeClass 的特定事件資訊。下表說明這些情況和發生原因:

ComputeClass 狀態條件
ProvisioningSuspended

優先規則的節點建立作業已暫停。條件的 reason 欄位值可以是下列其中一項:

  • OutOfResources:沒有符合優先順序規則的 Compute Engine 資源。
  • QuotaExceeded:配額不足,無法使用優先規則中的設定。
  • CapacityConstrained:由於容量限制,優先順序規則中的設定極不可能在指定可用區中提供。
  • IpSpaceExhausted:優先順序規則中所有可能的節點,都使用沒有可用 IP 位址空間的子網路。具有此原因的 ProvisioningSuspended 條件可能會影響共用相同子網路的多個優先順序規則。
ProvisioningConstrained

優先順序規則的部分可能節點設定無法使用,因此 GKE 可為該規則建立的節點會受到限制。條件的 reason 欄位值可以是下列其中一項:

  • CapacityConstrained:由於容量限制,優先規則可能適用的硬體設定中,有部分極可能無法使用。舉例來說,某些熱門機型可能較難取得。
  • IpSpaceExhausted:由於沒有 IP 位址空間,因此無法建立節點集區或子網路中可能節點的子集。次要子網路上的類似節點集區仍可使用。 這項條件可能會影響共用相同子網路的多項優先順序規則。
  • ReservationCapacityExceeded:在耗用預留容量的優先順序規則中,部分預留資源無法使用。
  • OutOfResources:優先順序規則的部分可能硬體設定不適用於指定可用區。
  • QuotaExceeded:優先順序規則可能採用的硬體設定子集配額不足。
  • IncorrectConfig:優先順序規則中可能的部分硬體設定與該規則中指定的參數不相容。

ProvisioningConstrained 條件類型表示 GKE 仍可建立符合優先順序規則的節點,但可能設定的集區會受到限制。

NodeProvisioningInProgress GKE 正在為優先順序規則建立節點。reason 欄位的值可以是下列其中一項:
  • PodPending:節點建立作業是由待處理的 Pod 觸發。
  • MinimumCapacity:已觸發節點建立作業,以維持 ComputeClass 指定的節點容量下限。
  • CapacityBuffer:根據指定的使用中或待命運算資源緩衝區,觸發節點建立作業。

不會建立優先順序較高的節點

如果 GKE 略過為優先順序較高的 ComputeClass 規則建立節點,則該規則的佈建作業可能會暫停。在 ComputeClass 狀態中,尋找 status.priorityStatuses.conditions 欄位中的 ProvisioningSuspended 或 ProvisioningConstrained 條件。條件的 reason 欄位會指出停權或限制的原因,有助於解決問題。舉例來說,如果限制是因為超出配額而發生,您可以要求增加配額。

分析自動配置器備用行為

本節將協助您調查外部因素,瞭解叢集自動配置器為何會略過偏好選項並使用備用選項,或無法向上擴充。

自訂 ComputeClasses 會使用優先備用邏輯。如果 Pod 未在符合最高優先順序規則的節點上排程,通常是因為資源不足或專案配額等限制。如果 GKE 無法佈建符合特定優先順序規則的節點 (例如 Compute Engine 發生 ZONE_RESOURCE_POOL_EXHAUSTED 或 QUOTA_EXCEEDED 錯誤),叢集自動配置器會立即嘗試 priorities 清單中的下一個規則。GKE 會立即改用下一個優先順序,不會等待,但使用 TPU 或彈性啟動佈建模式時除外,這兩種模式支援可設定的延遲時間。

檢查資源是否無法使用

請查看叢集自動配置器記錄或 Compute Engine 代管執行個體群組 (MIG) 錯誤,確認指定可用區中是否有資源。

方法 1:查看叢集自動配置器瀏覽權限事件

在 Google Cloud 控制台中,依序前往「Cloud Logging」>「Logs Explorer」,然後執行下列查詢,找出可能表示資源無法使用的自動配置器事件:

resource.type="k8s_cluster"
resource.labels.location="LOCATION"
resource.labels.cluster_name="CLUSTER_NAME"
log_id("container.googleapis.com/cluster-autoscaler-visibility")
jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.resource.exhausted"

方法 2:檢查 MIG 錯誤

您可以在 Google Cloud 控制台或使用 Cloud Logging 查詢,檢查 MIG 錯誤。

  • 使用 Google Cloud 控制台:

    1. 在 Google Cloud 控制台中,依序前往「Compute Engine」>「Instance groups」(執行個體群組)。
    2. 找出無法擴充的節點集區對應的 MIG。
    3. 點選 MIG 名稱,然後前往「Errors」(錯誤) 分頁。尋找指出資源耗盡的訊息。
  • 使用 Cloud Logging 查詢:

    1. 在 Google Cloud 控制台中,依序前往「Cloud Logging」>「Logs Explorer」。
    2. 執行下列查詢,檢查 MIG 是否發生資源耗盡錯誤:
    resource.type="gce_instance"
    log_id("cloudaudit.googleapis.com/activity")
    protoPayload.status.message:("ZONE_RESOURCE_POOL_EXHAUSTED" OR "does not have enough resources available to fulfill the request" OR "resource pool exhausted" OR "does not exist in zone")
    

評估結果

  • 資源可用:如果記錄未顯示 ZONE_RESOURCE_POOL_EXHAUSTED 訊息,則資源不可用不太可能是擴充失敗的原因。
  • 無法使用資源:

    • 解讀:節點佈建失敗,原因可能是該可用區對特定機器類型 (尤其是 Spot VM 或 GPU) 的需求暫時偏高,或是 Pod 受到 PersistentVolume 親和性限制,只能使用資源不足的可用區。
    • 解決方法:資源無法使用的情況只是暫時的,但您可以提高設定彈性,提升韌性:

      • 使用多種機型:確認自訂 ComputeClass 的 spec.priorities 欄位包含多種機型或系列,做為備用選項:

        spec:
          priorities:
          - machineFamily: c3  # Highest priority
          - machineFamily: n2d # Fallback option
          - machineFamily: e2  # Lowest priority
        
      • 使用區域叢集:如果叢集位於可用區,則容易受到該可用區資源無法使用的影響。使用區域叢集時,叢集自動配置器會嘗試在區域內其他可能有可用容量的可用區中佈建節點。

      • 使用 Compute Engine 預留項目:對於無法容忍延遲的重要工作負載,請建立 Compute Engine 預留項目,確保特定機型有足夠的容量。

確認專案配額

確認專案有足夠的資源配額,例如新節點所需的 CPU、GPU 和 IP 位址。

  1. 查看自動配置器記錄,瞭解是否有配額錯誤。使用 Cloud Logging,在自動配置器觀測能力事件中搜尋配額相關錯誤訊息:

    resource.type="k8s_cluster"
    resource.labels.location="LOCATION"
    resource.labels.cluster_name="CLUSTER_NAME"
    log_id("container.googleapis.com/cluster-autoscaler-visibility")
    jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.quota.exceeded"
    

    或者,您也可以使用下列 Cloud Logging 查詢,檢查記錄中是否有 MIG 的配額相關錯誤:

    resource.type="gce_instance"
    protoPayload.methodName:"compute.instances.insert"
    protoPayload.status.message:"QUOTA_EXCEEDED"
    severity=ERROR
    
  2. 在 Google Cloud 控制台中查看配額:

    1. 在 Google Cloud 控制台,依序前往「IAM & Admin」(IAM 與管理) >「Quotas」(配額)。
    2. 篩選「Compute Engine API」服務。
    3. 查看相關指標的用量,例如 CPU、GPU (所有類型),以及 GKE 叢集所在區域的使用中 IP 位址。確認目前用量未達上限。

評估結果

  • 配額低於限制:如果配額用量低於配額限制,且記錄中未發現 QUOTA_EXCEEDED 錯誤,配額限制就不會阻礙擴充。
  • 超過配額:
    • 解讀:CPU、GPU、IP 位址或 MIG 等資源的配額不足,導致節點佈建失敗。
    • 解決方法:如果專案已達配額上限,請申請提高配額。

進階設定

GPU、Spot VM 和 Compute Engine 預留項目等設定有各自的特定需求和潛在故障點,需要檢查。

驗證 GPU 設定

如果自訂 ComputeClass 會佈建 GPU 節點,請驗證自訂 ComputeClass 中的 GPU 設定,並確認 Pod 具備必要的 nvidia.com/gpu 容忍度。

  1. 檢查自訂 ComputeClass 的 YAML,確認優先順序規則中是否有 gpu 區塊:

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    

    gpu 區塊應指定 type 欄位和 count 欄位,例如:

    priorities:
    - machineType: a2-highgpu-1g
      gpu:
        type: nvidia-tesla-a100
        count: 1
    
  2. 檢查 Pod 的 GPU 容忍度。任何需要排定在 GPU 節點上的 Pod 都必須具備 nvidia.com/gpu 容忍度,即使 Pod 本身未要求 GPU 也一樣。

    kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations}'
    

    檢查 spec.tolerations 欄位下方的容許。

評估結果

  • GPU 設定正確:如果 ComputeClass 定義了 GPU type 和 count,且 Pod 包含 nvidia.com/gpu 容忍度,則 GPU 設定正確。以下是必要的容忍設定:

    tolerations:
    - key: "nvidia.com/gpu"
      operator: "Exists"
      effect: "NoSchedule"
    
  • GPU 設定錯誤:

    • 解讀:Pod 可能缺少必要的 nvidia.com/gpu 容忍度、ComputeClass 可能因 GPU 欄位不符而異常,或 GKE 版本可能無法正確處理 GPU 設定。
    • 解決方法:執行下列任一動作:
      • 修改工作負載的 YAML 檔案,加入必要的 GPU 容忍度,然後重新套用 YAML 檔案。
      • 升級 GKE 叢集。如果自訂 ComputeClass 狀態不佳,且問題與 GPU 欄位有關,請查看已知問題,並升級至已修補的 GKE 版本,例如 1.31.8-gke.1045000 以上版本。

驗證 Spot VM 設定

如果您使用 Spot VM,請確認 spot: true 設定位於 ComputeClass 資訊清單中的正確優先順序規則。此外,請務必瞭解叢集自動配置器的定價邏輯。

檢查 ComputeClass 資訊清單:

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml

在輸出內容中,找出 spec.priorities 欄位中的 spot: true,例如:

priorities:
- machineFamily: n2d
  spot: true

叢集自動配置器在比較不同 Spot VM 類型的費用時,可能會以 us-central1 的定價資料做為基準,因此在其他區域可能會做出看似不理想的選擇。這是已知行為。

評估結果

  • Spot VM 設定正確:如果指定 spot: true 欄位,且叢集自動配置器佈建 Spot VM,則設定會正常運作。
  • 無法排定 Spot VM:

    • 解讀:需要 Spot VM 的 Pod 可能無法在 Spot VM 上排程,因為目標可用區沒有可用資源,或叢集自動配置器可能根據 us-central1 定價模式選擇其他 VM 類型。
    • 解決方法:

      • 如果您懷疑資源無法使用,請參閱「檢查資源是否無法使用」。
      • 如要控管 Spot VM 的選取,請在 priorities 欄位中明確列出 machineType 項目,並依所在區域的價格由低到高排序。這種做法可讓您直接控制備用廣告順序。例如:

        spec:
          priorities:
          - machineType: t2d-standard-48 # Cheapest in this region
            spot: true
          - machineType: n2d-standard-48 # Fallback Spot option
            spot: true
          - machineType: n2d-standard-48 # On-demand fallback
            spot: false
        

叢集自動配置器的一般健康狀態

本節說明如何檢查可能與自訂 ComputeClass 設定無直接關聯,但會影響其運作的問題。

檢查並行作業

確認沒有其他叢集或節點集區作業同時進行。GKE 對並行作業設有限制,可能會阻礙自動調度資源。

列出不處於 DONE 狀態的進行中作業:

gcloud container operations list \
    --location=LOCATION \
    --filter='targetLink~"/clusters/CLUSTER_NAME" AND status!=DONE'

如果指令傳回任何作業,表示可能正在執行叢集升級、建立節點集區或其他修改作業。這項作業完成前,自動調度資源事件可能會遭到封鎖。

評估結果

  • 沒有並行作業:如果 list 指令傳回空白清單,表示叢集自動配置器未遭到任何作業封鎖。
  • 發現並行作業:

    • 解讀:如果指令列出的作業狀態為 RUNNING 或 PENDING,表示可能有並行作業 (例如叢集升級或節點集區修改) 正在進行,導致自動調度資源功能無法運作。
    • 解決方法:等待進行中的作業完成。您可以使用作業 ID 監控狀態,方法如下:

      gcloud container operations wait OPERATION_ID --location LOCATION
      

      將 OPERATION_ID 替換為 list 指令輸出內容中的 ID。封鎖作業完成後,叢集自動配置器應會恢復正常運作。

查看執行中的遷移作業

如果發現工作負載仍留在低優先順序節點,但高優先順序節點可用,請確認是否已啟用主動遷移功能。如果 ComputeClass 的 activeMigration.optimizeRulePriority 欄位設為 false 或省略,GKE 就不會在優先順序較高的節點可用時,自動將工作負載移至這些節點。

  1. 如要檢查 Pod 容忍度,請查看 spec.tolerations 欄位。如果 Pod 的容忍度與多個不同優先順序節點集區的污點相符,排程器可能會將 Pod 放在優先順序較低的節點上 (如果該節點先可用)。

    kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations[*]}{"\n"}'
    
  2. 如要確認是否已啟用主動遷移功能,請檢查 ComputeClass 資訊清單中的 spec.activeMigration.optimizeRulePriority 欄位。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    

評估結果

  • 已啟用主動遷移:如果 activeMigration.optimizeRulePriority 欄位為 true,GKE 會在優先順序較高的節點可用時,嘗試將工作負載移至這些節點。
  • 主動遷移功能已停用或無效:

    • 解讀:如果 activeMigration.optimizeRulePriority 欄位為 false 或省略,或 Pod 容忍度過於寬鬆,則當有較高優先順序的節點可用時,工作負載仍會留在較低優先順序的節點上。這樣一來,工作負載就能排定在優先順序較低、但最先可用的節點上。
    • 解決方法:如要將工作負載移至優先順序較高的節點,請執行下列任一操作:

      • 使用更具體的排程限制 (例如 nodeAffinity),優先選擇優先順序較高的節點集區。
      • 編輯 ComputeClass 資訊清單來設定 activeMigration.optimizeRulePriority: true,並套用 YAML 檔案:

        spec:
          activeMigration:
            optimizeRulePriority: true
        

排解運算資源緩衝區問題

如果您使用 spec.buffers 欄位,將運算資源緩衝區新增至自訂 ComputeClass,可能會遇到下列問題。

ComputeClass 拒絕或忽略緩衝區欄位

套用含有 spec.buffers 欄位的 ComputeClass 資訊清單時,kubectl apply 指令可能會失敗,並顯示類似下列的錯誤訊息:

strict decoding error: unknown field "spec.buffers"

或者,如果您使用 --validate=warn 旗標套用資訊清單,指令會成功執行,但 ComputeClass 不會有 BuffersConfigured 條件。

這可能是因為叢集執行的 GKE 版本早於 1.37.1-gke.3020000。如要查看叢集版本,請執行下列指令:

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --format="value(currentMasterVersion)"

評估結果

  • 1.37.1-gke.3020000 之前的版本:

    • 解讀:叢集執行的 GKE 版本早於 1.37.1-gke.3020000,這是自訂 ComputeClass 中運算資源緩衝區的最低版本,因此 API 伺服器無法辨識 spec.buffers 欄位。
    • 解決方法:

      1. 將叢集升級至 GKE 1.37.1-gke.3020000 以上版本。
      2. 再次套用 ComputeClass 資訊清單。
      3. 確認 GKE 已儲存緩衝區:

        kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \
            -o jsonpath='{.spec.buffers}{"\n"}'
        

        如果輸出內容列出緩衝區,代表 GKE 已儲存緩衝區。

查看 BuffersConfigured 條件原因

在 ComputeClass 中設定 spec.buffers 欄位時,GKE 會將 BuffersConfigured 條件新增至 status.conditions 欄位。

檢查 ComputeClass 的 BuffersConfigured 條件:

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \
    -o jsonpath='{.status.conditions[?(@.type=="BuffersConfigured")]}{"\n"}'

評估結果

  • status 欄位為 True,reason 欄位為 Ready:ComputeClass 中的所有運算資源緩衝區均已設定完畢,可供佈建。如果幾分鐘後仍未顯示緩衝區節點,請參閱「緩衝區已就緒,但 GKE 未佈建容量」。
  • status 欄位為 False:

    • 解讀:ComputeClass 中至少有一個緩衝區仍在初始化,或未通過驗證。查看輸出內容中的 reason 和 message 欄位,找出問題所在。
    • 解決方法:執行與輸出內容中 reason 欄位對應的操作:

      • Pending:至少有一個 CapacityBuffer 仍在初始化。請稍候幾分鐘,然後再次檢查條件。
      • BufferIsEmpty:spec.buffers.limits 欄位中的 cpu 值小於 "2",或 memory 值小於 2Gi,且條件包含類似下列的訊息:

        Buffer "BUFFER_NAME": CapacityBuffer has zero replicas
        

        限制必須允許至少一個緩衝區單位,包含 2 個 vCPU 和 2 GiB 記憶體。將 spec.buffers.limits 欄位中設定的每個值至少增加一個緩衝單位:cpu 限制為 "2" 以上,memory 限制為 2Gi 以上。再次套用資訊清單。如要進一步瞭解緩衝區單位,請參閱「在自訂 ComputeClass 中設定運算資源緩衝區」。

      • DuplicateProvisioningStrategy:spec.buffers 欄位中的兩個以上項目使用相同的佈建策略。在 spec.buffers 欄位中,最多保留一個有效緩衝區 (buffer.x-k8s.io/active-capacity) 和一個待命緩衝區 (buffer.gke.io/standby-capacity),然後再次套用資訊清單。

      • BufferProvisioningFailed:ComputeClass 中有多個緩衝區未通過驗證或協調。執行 kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml 指令,並檢查 status.observedBuffers 欄位,查看每個緩衝區的條件。

      • ReconcileFailed:GKE 無法在 gke-managed-ccc 命名空間中建立、更新或刪除代管的 CapacityBuffer 或 PodTemplate。請等待 GKE 重試。 如果錯誤持續發生,請與 Cloud Customer Care 團隊聯絡。

      • 子 CapacityBuffer 失敗原因,例如 error、FailedToGetPodTemplate 或 NotReadyForProvisioning:受管理 CapacityBuffer 上的單一緩衝區驗證失敗,例如 ComputeClass 使用 Pod 專用計費模式 (podFamily 優先順序規則)。請確認 ComputeClass 採用以節點為準的計費方式,且緩衝區限制有效。

緩衝區已就緒,但 GKE 未佈建容量

如果 BuffersConfigured 條件的狀態為 True,原因為 Ready,但幾分鐘後仍未顯示緩衝區節點,請檢查緩衝區的佈建策略和擴充事件:

  1. 檢查 ComputeClass 狀態,確認是否有不支援的佈建策略:

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. 列出 GKE 為 ComputeClass 建立的 CapacityBuffer:

    kubectl get capacitybuffers -n gke-managed-ccc \
        -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME
    
  3. 查看緩衝區的事件:

    kubectl describe capacitybuffer BUFFER_NAME \
        -n gke-managed-ccc
    

    事件會在約一小時後失效。

評估結果

  • status.observedBuffers 欄位中的 CustomProvisioningStrategy 條件:

    • 解讀:provisioningStrategy 欄位含有不支援的值,例如拼寫錯誤的策略名稱,因此 status.observedBuffers 欄位包含 CustomProvisioningStrategy 條件,且訊息類似下列內容:

      Buffer uses custom provisioning strategy "buffer.gke.io/standby"
      

      GKE 會將未知值視為自訂策略,且不會佈建容量。

    • 解決方法:將 provisioningStrategy 欄位的值設為 buffer.x-k8s.io/active-capacity 或 buffer.gke.io/standby-capacity,然後再次套用資訊清單。

  • CapacityBuffer 上的 NotTriggerScaleUp 或 StandbyBufferScaleUpFailed 事件:

    • 解讀:叢集自動配置器無法新增節點。例如,配額限制、節點集區大小限制或可用容量不足,都可能導致擴充作業無法執行。如果是待命緩衝區,節點集區自動建立和自動佈建節點功能可能都已停用,或者 ComputeClass 優先順序規則可能需要待命緩衝區不支援的機型。
    • 解決方法:

取得支援

後續步驟