カスタム ComputeClass の問題のトラブルシューティング

このドキュメントは、GKE ワークロードがカスタム ComputeClass で定義されたノードにスケジュールされない問題や、クラスタ オートスケーラーが想定されるマシンタイプをプロビジョニングしない問題のトラブルシューティングに役立ちます。

このドキュメントは、カスタム ComputeClass を使用して GKE でワークロードのスケジューリングとノードプールの自動作成を管理するアプリケーション デベロッパー、プラットフォーム管理者、オペレーターを対象としています。 Google Cloud のコンテンツで使用されている一般的なロールとタスクの例の詳細については、一般的な GKE ユーザーのロールとタスクをご覧ください。

主なコンセプト

トラブルシューティングに役立つように、次の GKE コンポーネントとメカニズムを理解しておいてください。

  • カスタム ComputeClass: 自動スケーリングのノード構成の優先順位付きリストを定義できる GKE 固有のリソース。詳細については、カスタム ComputeClass についてをご覧ください。

  • クラスタ オートスケーラー: ワークロードの需要に基づいてクラスタ内のノードを自動的に追加または削除するコンポーネント。詳細については、GKE クラスタの自動スケーリングについてをご覧ください。

  • ノードプールの自動作成: GKE クラスタ オートスケーラーは、ワークロードの要件に基づいてノードプールを自動的に作成して管理します。詳細については、ノードプールの自動作成についてをご覧ください。

  • フォールバック ロジック: クラスタ オートスケーラーが、優先度が最も高いルールに一致するノードを最初にプロビジョニングしようとするメカニズム。詳細については、フォールバックのコンピューティングの優先度を選択するをご覧ください。

症状別のトラブルシューティング

このドキュメントでは、基本的なチェックから高度な構成まで、トラブルシューティングの手順を順番に説明します。より包括的な診断を行うには、これらの手順を順番に実施することをおすすめします。また、特定の問題が発生している場合は、次の表の関連リンクを参照してください。

症状 トラブルシューティング手順
カスタム ComputeClass をリクエストする Pod が Pending 状態で停止する
クラスタ オートスケーラーが、カスタム ComputeClass に一致する新しいノードを作成しない
クラスタ オートスケーラーが、特殊なタイプではなくデフォルトのマシンタイプを作成する オートスケーラーのフォールバック動作を分析する
kubectl describe computeclass コマンドの出力に異常なステータスが表示される カスタム ComputeClass の構成を確認する
ワークロードが優先度の高いノードに移行されない クラスタ オートスケーラーの一般的な健全性を確認する
GPU または Spot VM のワークロードにスケジューリングの問題がある
カスタム ComputeClass の容量バッファが拒否される、空である、または容量がプロビジョニングされない

サポート範囲外の問題

このドキュメントでは、次の問題については説明しません。

  • Pod 間の接続や Service のロード バランシングなど、GKE ネットワーキングに関する一般的な問題。
  • HorizontalPodAutoscaler(HPA)または VerticalPodAutoscaler(VPA)に関連する問題。
  • カスタム ComputeClass メカニズムに関連しない問題(アプリケーション レベルのエラーや、スケジューリング制約に関連しない PersistentVolume の問題など)。
  • ComputeClass のフォールバック ロジックに直接関係のない割り当てまたはリソースの可用性の問題。

プレースホルダ変数を特定する

このドキュメントのコマンドをカスタマイズするには、Variable 列に特定の値を入力します。編集した値は、すべてのコードブロックとコマンドで自動的に同期されます。

変数 説明
PROJECT_ID 実際の Google Cloud のプロジェクト ID。
LOCATION クラスタが配置されている Compute Engine のリージョンまたはゾーン。
CLUSTER_NAME クラスタの名前。
NODE_POOL_NAME 検査するノードプールの名前(Standard クラスタに該当する場合)。
CUSTOM_COMPUTECLASS_NAME Pod によってリクエストされたカスタム ComputeClass の名前。
NAMESPACE スケジューリングに失敗している Pod の Namespace。
POD_NAME スケジューリングに失敗している Pod の名前。
BUFFER_NAME GKE が ComputeClass 用に作成した CapacityBuffer の名前。

始める前に

このドキュメントのタスクの実行に必要な権限を取得するには、 Google Cloud プロジェクトに対する次の IAM のロールを付与するよう管理者に依頼してください。

  • GKE クラスタにアクセスする: Kubernetes Engine クラスタ閲覧者(roles/container.viewer)。
  • ログを表示する: ログビューア(roles/logging.viewer)。
  • GKE クラスタを管理する: Kubernetes Engine 管理者(roles/container.admin)。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

クラスタと通信するように kubectl を構成するには、次のコマンドを実行します。

  gcloud container clusters get-credentials CLUSTER_NAME
      --location LOCATION
      --project PROJECT_ID

基本的な診断チェックを行う

コア コンポーネントが正しく構成されていること、クラスタがカスタム ComputeClass をサポートしていることを確認します。

Pod のステータスとセレクタを確認する

Pod が Pending 状態にあり、カスタム ComputeClass を正しくリクエストしていることを確認します。

  1. Pending 状態の Pod を一覧表示します。

    kubectl get pods --all-namespaces -o wide | grep Pending
    
  2. Pod の仕様で nodeSelector フィールドを調べます。

    kubectl get pod POD_NAME
        -n NAMESPACE
        -o jsonpath='{.spec.nodeSelector}'
    

結果を評価する

  • 出力にラベルが表示される: nodeSelector フィールドが cloud.google.com/compute-class ラベルで正しく構成されています。
  • 出力にラベルが表示されない:
    • 解釈: ワークロードのデプロイ構成で、cloud.google.com/compute-class ラベルの nodeSelector フィールドが正しくないか、欠落している可能性があります。
    • 解決策: Deployment や Job などのワークロードの YAML ファイルを変更して、spec.template.spec セクションに nodeSelector フィールドを追加します。

クラスタ バージョンの互換性を確認する

カスタム ComputeClass には、GKE バージョン 1.30.3-gke.1451000 以降が必要です。クラスタが、カスタム ComputeClass をサポートするバージョンを実行していることを確認します。

クラスタのバージョンを確認します。

gcloud container clusters describe CLUSTER_NAME
    --location LOCATION
    --format="value(currentMasterVersion)"

結果を評価する

  • バージョン 1.30.3-gke.1451000 以降: クラスタのバージョンはカスタム ComputeClass をサポートしています。
  • 1.30.3-gke.1451000 より前のバージョン:
    • 解釈: クラスタが、カスタム ComputeClass をサポートするバージョンにアップグレードされていません。
    • 解決策: カスタム ComputeClass を使用するには、クラスタをアップグレードする必要があります。

カスタム ComputeClass のプロビジョニングされたノードを確認する

ComputeClass に関連付けられているノードがクラスタに存在するかどうかを確認するには、ComputeClass ラベルに一致するノードを一覧表示します。

kubectl get nodes -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME

出力が No resources found の場合、ComputeClass に関連付けられているノードはありません。ワークロードが実際にその ComputeClass を選択したことを確認し、自動スケーリング イベントでスケールアップ エラーを確認します。

カスタム ComputeClass 構成を確認する

カスタム ComputeClass リソースの構成ミスにより、Pod のスケジュール設定や、GKE によるノードの正しいプロビジョニングが妨げられる可能性があります。

ComputeClass の健全性とステータスを確認する

GKE がカスタム ComputeClass を正常と報告していることを確認します。

  1. すべての ComputeClass リソースを一覧表示します。

    kubectl get computeclass
    
  2. 特定の ComputeClass リソースを記述します。

    kubectl describe computeclass CUSTOM_COMPUTECLASS_NAME
    

結果を評価する

  • ヘルス ステータスが True: カスタム ComputeClass は正常です。正常なカスタム ComputeClass の例を次に示します。

    Status:
      Conditions:
        Last Transition Time:  2024-01-19T17:18:48Z
        Message:               CCC is healthy.
        Reason:                Health
        Status:                True
        Type:                  Health
    
  • ヘルス ステータスが False と表示される:

    • 解釈: カスタム ComputeClass が正常ではありません。出力の Message フィールドと Reason フィールドを確認して、問題を特定します。
    • 解決策: 出力の Reason フィールドに対応するアクションを実行します。
      • NodePoolNotExist: 参照されているノードプールが存在することを確認するか、既存のノードプールを参照するように ComputeClass を更新します。
      • ReservationUnusable: 参照されている予約の構成と使用状況を確認します。
      • Invalid machine type: クラスタのリージョンまたはゾーンでサポートされているマシンタイプを使用するように ComputeClass を更新します。

unsatisfiable ポリシーを検証する

whenUnsatisfiable フィールドは、優先度ルールを満たすことができない場合の動作を決定します。

ポリシーを確認します。

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml

出力で、spec.whenUnsatisfiable フィールドを確認します。このフィールドには、次のいずれかの値を指定できます。

  • DoNotScaleUp: 優先ノードを作成できない場合、Pod は Pending 状態のままになります。
  • ScaleUpAnyway: 優先ノードが使用できない場合、Pod はデフォルトのノードタイプ(E2 シリーズなど)で実行されることがあります。

結果を評価する

whenUnsatisfiable ポリシーの効果は、その値によって異なります。

  • 値が DoNotScaleUp の場合:
    • 解釈: これは、リソースの可用性や割り当て上限などの理由で、優先度ルールを満たすことができない場合の想定される動作です。Pod が特定のハードウェアを待機する必要がある場合、この値は正しいです。
    • 解決策: 特定のハードウェアで実行するよりもワークロードの実行が重要な場合は、ポリシーを ScaleUpAnyway に変更します。
  • 値が ScaleUpAnyway の場合:
    • 解釈: これは想定された動作です。優先ノードが使用できないため、GKE はデフォルトのノードタイプにフォールバックしています。
    • 解決策: Pod をデフォルトのノードタイプで実行しない場合は、ポリシーを DoNotScaleUp に変更します。
  • デフォルトの動作: whenUnsatisfiable フィールドの値を指定しておらず、1.33 より前の GKE バージョンを使用している場合、ポリシーはデフォルトで ScaleUpAnyway になります。

次の例は、ComputeClass マニフェストの whenUnsatisfiable フィールドを編集してポリシーを更新する方法を示しています。

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: CUSTOM_COMPUTECLASS_NAME
spec:
  # ... other fields
  whenUnsatisfiable: DoNotScaleUp # or ScaleUpAnyway

Pod のスケジューリングの制約を確認する

Pod 仕様が、カスタム ComputeClass によってプロビジョニングされたノードの属性と互換性があることを確認します。

Pod のリソース リクエストを確認する

Pod の CPU、メモリ、GPU のリクエストが、カスタム ComputeClass の priorities フィールドで定義されているマシンタイプの少なくとも 1 つで満たされるかどうかを確認します。

  1. Pod のリソース リクエストを取得します。

    kubectl get pod POD_NAME
        -n NAMESPACE
        -o jsonpath='{.spec.containers[*].resources.requests}'
    

    cpu、memory、GPU リクエスト(nvidia.com/gpu など)の出力を確認します。

  2. これらのリクエストを、カスタム ComputeClass の priorities フィールドで定義されているマシンタイプと比較します。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME
        -o jsonpath='{.spec.priorities}'
    

    出力で machineType フィールドまたは machineFamily フィールドを確認します。カスタム ComputeClass の各マシンタイプについて、マシンタイプのドキュメントで仕様を確認し、割り当て可能なリソースが Pod のリクエストよりも大きいかどうかを確認します。

結果を評価する

  • リソースの互換性: Pod のリソース リクエストが、ComputeClass 内の少なくとも 1 つのマシンタイプの割り当て可能なリソース以下である。
  • リソースが容量を超えている:

    • 解釈: ComputeClass のマシンタイプに十分な CPU、メモリ、GPU がないため、Pod をスケジュールできません。これは、nodePoolAutoCreation フィールドが true に設定され、Pod のメモリ リクエストが自動作成されたノードプールの上限を超えている場合にも発生することがあります。
    • 解決策: Pod のリソース リクエストまたはカスタム ComputeClass のマシンタイプを調整します。
      • Pod のリソース リクエストを減らす: リソース リクエストが多い場合は、ワークロードの YAML ファイルの cpu、memory、gpu の値を減らします。
      • より大きなマシンタイプに変更する: Pod のリクエストが正当な場合は、カスタム ComputeClass マニフェストの spec.priorities フィールドを変更して、Pod の需要を満たすことができるより大きな machineType または machineFamily オプションを含めます。次に例を示します。
    spec:
      priorities:
      - machineType: n2d-highmem-96 # A larger machine type
        spot: true
      # ... other priorities
    

競合する taint と toleration を確認する

カスタム ComputeClass 用に作成されたノードには、cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule taint があります。GKE は、この toleration を Pod に自動的に追加します。

ただし、GPU などの特殊なハードウェアには、nvidia.com/gpu=present:NoSchedule taint などの追加の taint があります。ComputeClass が特殊なハードウェアを備えたノードを使用している場合、Pod は、これらのノードでスケジュールするために、これらの taint の toleration を持っている必要があります。

Pod の tolerations フィールドを確認します。

kubectl get pod POD_NAME
    -n NAMESPACE
    -o jsonpath='{.spec.tolerations}'

結果を評価する

  • 正しい toleration: taint と toleration が正しく構成されている。
  • 欠落している toleration:

    • 解釈: toleration がないため、Pod は特殊なハードウェア taint を持つノードにスケジュールされません。たとえば、ComputeClass が GPU ノードを使用している場合、Pod に nvidia.com/gpu=present:NoSchedule toleration がない可能性があります。GPU 固有の要件については、GPU 構成を確認するをご覧ください。
    • 解決策: Pod 仕様の tolerations フィールドに、ComputeClass で定義されたノードの taint と一致する必要な toleration を追加します。たとえば、GPU ノードの場合、次のように nvidia.com/gpu=present:NoSchedule taint の toleration を追加します。

      spec:
      template:
      spec:
      tolerations:
      - key: "nvidia.com/gpu"
      operator: "Exists"
      effect: "NoSchedule"
      # ... other tolerations and Pod spec
      

クラスタ オートスケーラーの保留中の Pod 指標を分析する

該当する GKE バージョン: 1.37 以降

特定の ComputeClass をリクエストする Pod が保留中になっている理由を把握するには、Cloud Monitoring の kubernetes.io/autoscaler/cluster_pending_pods_per_ccc 指標を使用します。この指標は、問題が ComputeClass に適したノードの不足、プロビジョニングの問題、Pod の構成に固有の問題のいずれであるかを特定するのに役立ちます。この指標は、クラスタ オートスケーラーが処理している Pod の数を、ComputeClass、保留中の理由、システム Pod かユーザー Pod かで分類して示します。

クエリの手順

Google Cloud コンソールで指標をクエリする手順は次のとおりです。

  1. Google Cloud コンソールで、[Metrics Explorer] ページに移動します。
  2. リソースタイプ k8s_entity を選択します。
  3. [指標] kubernetes.io/autoscaler/cluster_pending_pods_per_ccc を選択します。
  4. フィルタ(entity_type = ComputeClass)を追加します。
  5. 特定の ComputeClass(entity_name = "COMPUTECLASS_NAME")のフィルタを追加します。
    • ComputeClass を使用していない Pod を表示するには、entity_name = "" でフィルタします。
  6. metric.labels.reason でグループ化して、これらの Pod のオートスケーラーの状態を確認します。metric.labels.type キーラベルを使用して Pod をグループ化することもできます。

PromQL クエリの例

「COMPUTECLASS_NAME」ComputeClass をリクエストしている保留中のユーザー Pod のステータスを確認するには、次の PromQL クエリを使用します。

sum by (reason) (
  kubernetes_io:autoscaler_cluster_pending_pods_per_ccc{
    monitored_resource="k8s_entity",
    entity_type="ComputeClass",
    entity_name="COMPUTECLASS_NAME",
    type="user_pod"
  }
)

指標の理由

metric.labels.reason キーラベルの出力には、次のものが含まれる場合があります。

  • unable_to_provision: クラスタ オートスケーラーがブロックされています。ComputeClass でこの状態の Pod は、新しいノードを作成できないため、スケジュールできません。コントロール プレーンのクラスタ オートスケーラーのログで、ComputeClass 定義内の在庫切れ、割り当て、構成ミスに関する詳細を確認します。また、クラスタ オートスケーラーの可視性イベントも確認します。

  • provisioning_in_progress: ComputeClass の要件に一致するノードに対してスケールアップがトリガーされました。Pod がここに残っている場合は、ノードの作成または準備に遅延が発生している可能性があります。

  • unprocessed: クラスタ オートスケーラーはこれらの Pod をまだ評価していません。数値が常に高い場合は、オートスケーラーの遅延を示している可能性があります。

  • no_action_taken: クラスタ オートスケーラーは、これらの Pod をスケーリングしないことを決定しました。この動作は、ComputeClass のノードタイプで満たすことができない Pod の制約や、その他のクラスタレベルの制限が原因で発生することがあります。Pod 仕様(kubectl describe pod)とクラスタ オートスケーラーのログを調べます。

ノード プロビジョニングの失敗を分析する

該当する GKE バージョン: 1.37 以降

ComputeClass の現在のヘルス ステータスを確認するには、ComputeClass のヘルスを確認するをご覧ください。ComputeClass に関連付けられた Pod が unable_to_provision 状態になっている場合、クラスタ オートスケーラーは ComputeClass の要件に一致する新しいノードをプロビジョニングしていません。kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc Cloud Monitoring 指標を使用して、根本原因を診断できます。

  1. Google Cloud コンソールで、[Monitoring]、[Metrics Explorer] の順に移動します。
  2. [リソースタイプ] で k8s_entity を選択します。
  3. 指標として kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc を選択します。
  4. フィルタ(resource.labels.entity_type = ComputeClass)を追加します。
  5. 特定の ComputeClass(entity_name = "CUSTOM_COMPUTECLASS_NAME")のフィルタを追加します。
    • ComputeClass を使用していない Pod を表示するには、entity_name = "" でフィルタします。
  6. [グループ化] セクションで metric.labels.reason と resource.labels.entity_name を選択します。
  7. rate や delta などのアグリゲータを選択します。

失敗の割合または変化が、理由別に表示されます。

失敗の理由を解釈する

metric.labels.reason フィールドには、ノードの作成が失敗した理由に関する分析情報が表示されます。失敗の主な原因を特定することで、是正措置を講じることができます。

次のような原因が考えられます。

理由 説明 考えられる是正措置
QUOTA_EXCEEDED Google Cloud の割り当て上限(CPU、ディスク、IP アドレスなど)に達しました。プロジェクトの割り当てを確認します。 割り当ての増加をリクエストする。
RESOURCE_POOL_EXHAUSTED Compute Engine が利用できない。ゾーン内のリクエストされたリソースの容量が不足している。 別のマシンタイプまたはゾーンを試します。フォールバック マシンタイプまたはゾーンを含めるように ComputeClass を変更します。予約を使用する。
IP_SPACE_EXHAUSTED ノードのサブネットで使用可能な IP アドレスが不足しています。 サブネットのプライマリ IP アドレス範囲を拡張する。
PERMISSIONS_ERROR GKE サービス アカウントに、リソース(インスタンス、ディスクなど)を作成するために必要な IAM 権限がありません。 GKE サービス アカウントに必要なロールを付与します。
VM_EXTERNAL_IP_ACCESS_POLICY_CONSTRAINT 組織のポリシー(constraints/compute.vmExternalIpAccess)により、構成された外部 IP を持つノードの作成が禁止されています。 組織のポリシーまたは ComputeClass ノード構成を確認して変更します。
INVALID_RESERVATION 構成された Compute Engine 予約が無効であるか、構成が誤っているか、ノード リクエストと一致しません。 予約設定と ComputeClass の定義を確認します。
RESERVATION_NOT_FOUND 指定された Compute Engine 予約名が存在しません。 ComputeClass で予約名を確認します。
RESERVATION_NOT_READY 対象の予約がまだ有効になっていないか、プロビジョニング中である。 予約が有効になるまで待ちます。
RESERVATION_CAPACITY_EXCEEDED 予約が満杯で、リクエストに対応できない。 予約サイズを増やすか、他のマシンタイプを使用してください。
RESERVATION_INCOMPATIBLE ノード構成(マシンタイプやゾーンなど)が予約のプロパティと一致しない。 ComputeClass ノード仕様を予約のプロパティに合わせます。
AUTOMATIC_RESERVATIONS_NOT_AVAILABLE 自動予約の使用中に問題が発生しました。 ログを確認します。Cloud カスタマーケアにお問い合わせが必要になる場合があります。
AUTOMATIC_RESERVATIONS_NO_CAPACITY 自動予約に十分な容量がない。 手動予約または別のマシンタイプに切り替える必要がある場合があります。
UNSUPPORTED_TPU_CONFIGURATION リクエストされた TPU 構成が無効であるか、選択したゾーンまたはプロジェクトでサポートされていません。 TPU のドキュメントと ComputeClass を確認します。
GkePersistentOperationError ノードの作成プロセス中に、GKE コントロール プレーン内で永続的なエラーが発生しました。 Cloud カスタマーケアにお問い合わせください。
OTHER 他のカテゴリに該当しない失敗の包括的な説明。 詳細については、コントロール プレーンのクラスタ オートスケーラーのログを確認してください。

ノードプールの構成(Standard クラスタ)

GKE Standard クラスタでは、手動で作成したノードプールにラベルと taint を付けて、カスタム ComputeClass と連携できるようにする必要があります。

ノードプールのラベルと taint を確認する

  1. カスタム ComputeClass でノードプールを特定します。カスタム ComputeClass で nodePools フィールドが使用されている場合は、リストされているノードプールの名前をメモします。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. 特定したノードプールごとに、構成を確認します。

    gcloud container node-pools describe NODE_POOL_NAME
        --cluster CLUSTER_NAME
        --location LOCATION
        --format="yaml(config.labels, config.taints)"
    

結果を評価する

  • ノードプールが正しく構成されている: ノードプールにラベル cloud.google.com/compute-class: CUSTOM_COMPUTECLASS_NAME と taint cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule があります。
  • ノードプールの構成が不適切:

    • 解釈: ノードプールが、カスタム ComputeClass に関連付けるために必要なラベルと taint で構成されていません。
    • 解決策: ノードプールを更新して、ラベルと taint を追加します。

      1. ノードラベルを追加または更新します。

        gcloud container node-pools update NODE_POOL_NAME \
            --cluster=CLUSTER_NAME --location=LOCATION \
            --node-labels=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME
        
      2. ノード taint を追加または更新します。

        gcloud container node-pools update NODE_POOL_NAME \
            --cluster=CLUSTER_NAME --location=LOCATION \
            --node-taints=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule
        

ノードプールの自動作成の構成を確認する

nodePoolAutoCreation が true に設定されている Autopilot クラスタと Standard クラスタの両方で、ノードプールの自動作成を正しく構成する必要があります。

ノードプールの自動作成が有効になっていることを確認する

  1. カスタム ComputeClass の nodePoolAutoCreation.enabled フィールドが true に設定されているかどうかを確認します。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. クラスタでノードプールの自動作成が有効になっているかどうかを確認します。

    gcloud container clusters describe CLUSTER_NAME
        --location LOCATION
        --format="value(autoscaling.enableNodeAutoprovisioning)"
    

どちらかが無効になっている場合、ノードプールの自動作成では、カスタム ComputeClass の新しいノードプールは作成されません。

結果を評価する

  • ノードプールの自動作成が有効: ComputeClass で、nodePoolAutoCreation.enabled フィールドが true に設定され、ノード自動プロビジョニングがクラスタレベルで有効になっています。
  • ノードプールの自動作成が無効になっている場合:

    • 解釈: ComputeClass で nodePoolAutoCreation.enabled フィールドの値が false であるか、存在しない場合、またはクラスタレベルのノード自動プロビジョニングが無効になっている場合、ノードプールの自動作成は無効になります。
    • 解決策: ノードプールの自動作成を有効にします。

      1. カスタム ComputeClass YAML ファイルを編集して、nodePoolAutoCreation: enabled: true を含めます。

        spec:
          # ... priorities
          nodePoolAutoCreation:
            enabled: true
        
      2. クラスタレベルでノードプールの自動作成を有効にし、リソースの上限を構成する。

        gcloud container clusters update CLUSTER_NAME --location LOCATION \
          --enable-autoprovisioning \
          --autoprovisioning-min-cpu=MIN_CPU \
          --autoprovisioning-max-cpu=MAX_CPU \
          --autoprovisioning-min-memory=MIN_MEMORY \
          --autoprovisioning-max-memory=MAX_MEMORY
        

ノードプールの自動作成のリソース上限を確認する

ノードプールの自動作成には、CPU とメモリに関するクラスタ全体の上限があります。クラスタの現在の使用量に新しいノードのリソースを加えた値がこれらの上限を超える場合、ノードプールの自動作成では新しいノードはプロビジョニングされません。

  1. リソースの上限を表示します。

    gcloud container clusters describe CLUSTER_NAME
        --location LOCATION
    --format="value(autoscaling.resourceLimits)"
    

    出力には、CPU とメモリ(GB 単位)の resourceType、minimum、maximum フィールドが一覧表示されます。

  2. カスタム ComputeClass の優先度でマシンタイプを確認します。CPU とメモリの仕様については、マシンタイプのドキュメントをご覧ください。

  3. クラスタ内のすべてのノードの現在の合計 CPU 容量とメモリ容量を特定します。現在の容量と、新しいノードのリソースの合計が、ノードプールの自動作成の上限を超えないようにする必要があります。

結果を評価する

  • 十分な容量: クラスタには、ノードプールの自動作成で新しいノードをプロビジョニングするための十分な CPU とメモリ容量がリソース上限内にあります。
  • 上限を超過:

    • 解釈: クラスタが CPU またはメモリの上限に達したか、ComputeClass のマシンタイプに対して上限が低すぎるため、ノードプールの自動作成で新しいノードをプロビジョニングできません。
    • 解決策: ノードプールの自動作成のリソース上限を引き上げます。

      1. カスタム ComputeClass の最大のマシンタイプを含め、現在の使用量と将来の増加を考慮して、新しい上限を決定します。

      2. ノードプールの自動作成のリソース上限を更新する。1 つのコマンドで複数のリソースを設定できます。

        gcloud container clusters update CLUSTER_NAME --location LOCATION \
          --set-nap-resource-limits resourceType=cpu,maximum=NEW_MAX_CPU \
          --set-nap-resource-limits resourceType=memory,maximum=NEW_MAX_GB
        

オートスケーラーのフォールバック動作を分析する

このセクションでは、外部要因を調査して、クラスタ オートスケーラーが優先オプションをスキップしてフォールバックを使用している理由や、スケールアップに失敗している理由を理解します。

カスタム ComputeClass は、優先度付きフォールバック ロジックを使用します。Pod が優先度の最も高いルールに一致するノードでスケジュールされていない場合、多くはリソースの不足やプロジェクトの割り当てなどの制約が原因です。GKE が特定の優先度ルールに一致するノードをプロビジョニングできない場合(Compute Engine の ZONE_RESOURCE_POOL_EXHAUSTED エラーや QUOTA_EXCEEDED エラーなど)、クラスタ オートスケーラーはすぐに priorities リストの次のルールを試します。GKE が次の優先度にフォールバックするまでの待機時間はありません。ただし、TPU または Flex Start プロビジョニング モデルを使用している場合は、構成可能な遅延がサポートされます。

リソースが利用できないかどうかを確認する

クラスタ オートスケーラーのログまたは Compute Engine マネージド インスタンス グループ(MIG)のエラーを確認して、指定したゾーンでリソースが使用できないかどうかを確認します。

オプション 1: クラスタ オートスケーラーの公開設定イベントを確認する

Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] に移動し、次のクエリを実行して、リソースが利用できないことを示す可能性のあるオートスケーラー イベントを見つけます。

resource.type="k8s_cluster"
resource.labels.location="LOCATION"
resource.labels.cluster_name="CLUSTER_NAME"
log_id("container.googleapis.com/cluster-autoscaler-visibility")
jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.resource.exhausted"

オプション 2: MIG エラーを確認する

MIG エラーは、 Google Cloud コンソールまたは Cloud Logging クエリを使用して確認できます。

  • Google Cloud コンソールの使用:

    1. Google Cloud コンソールで、[Compute Engine] > [インスタンス グループ] に移動します。
    2. スケールアップに失敗しているノードプールに対応する MIG を見つけます。
    3. MIG 名をクリックして、[エラー] タブに移動します。リソースの枯渇を示すメッセージを探します。
  • Cloud Logging クエリを使用する:

    1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] に移動します。
    2. 次のクエリを実行して、MIG からのリソース枯渇エラーを確認します。
    resource.type="gce_instance"
    log_id("cloudaudit.googleapis.com/activity")
    protoPayload.status.message:("ZONE_RESOURCE_POOL_EXHAUSTED" OR "does not have enough resources available to fulfill the request" OR "resource pool exhausted" OR "does not exist in zone")
    

結果を評価する

  • リソースが利用可能: ログに ZONE_RESOURCE_POOL_EXHAUSTED メッセージが表示されない場合、リソースの利用不可がスケールアップ失敗の原因である可能性は低いです。
  • リソースが利用できない:

    • 解釈: ノードのプロビジョニングが失敗するのは、そのゾーンで特定のマシンタイプ(特に Spot VM または GPU)に対する一時的な需要が高まっているため、または Pod が PersistentVolume アフィニティによってリソースが利用できないゾーンに制限されているためです。
    • 解決策: リソースの利用不可は一時的なものですが、構成に柔軟性を追加することで、復元力を向上させることができます。

      • マシンタイプを多様化する: カスタム ComputeClass の spec.priorities フィールドに、フォールバックとして複数のマシンタイプまたはファミリーが含まれていることを確認します。

        spec:
          priorities:
          - machineFamily: c3  # Highest priority
          - machineFamily: n2d # Fallback option
          - machineFamily: e2  # Lowest priority
        
      • リージョン クラスタを使用する: クラスタがゾーンの場合、その単一のゾーンでリソースが使用できなくなる可能性があります。リージョン クラスタを使用すると、クラスタ オートスケーラーは、容量が利用可能なリージョン内の他のゾーンにノードをプロビジョニングしようとします。

      • Compute Engine の予約を使用する: 遅延を許容できない重要なワークロードの場合は、Compute Engine の予約を作成して、特定のマシンタイプの容量を確保します。

プロジェクトの割り当てを確認する

新しいノードに必要な CPU、GPU、IP アドレスなどのリソースに対して、プロジェクトに十分な割り当てがあることを確認します。

  1. オートスケーラーのログで割り当てエラーを確認します。Cloud Logging を使用して、オートスケーラーの可視化イベントで割り当て関連のエラー メッセージを検索します。

    resource.type="k8s_cluster"
    resource.labels.location="LOCATION"
    resource.labels.cluster_name="CLUSTER_NAME"
    log_id("container.googleapis.com/cluster-autoscaler-visibility")
    jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.quota.exceeded"
    

    または、次の Cloud Logging クエリを使用して、MIG からの割り当て関連のエラーのログを確認します。

    resource.type="gce_instance"
    protoPayload.methodName:"compute.instances.insert"
    protoPayload.status.message:"QUOTA_EXCEEDED"
    severity=ERROR
    
  2. Google Cloud コンソールで割り当てを確認する。

    1. Google Cloud コンソールで、[IAM と管理] > [割り当て] に移動します。
    2. Compute Engine API サービスでフィルタします。
    3. GKE クラスタが存在するリージョンの CPU、GPU(すべてのタイプ)、使用中の IP アドレスなどの関連する指標の使用状況を確認します。現在の使用量が上限に達していないことを確認します。

結果を評価する

  • 割り当てが上限を下回っている: 割り当ての使用量が割り当て上限を下回っており、ログに QUOTA_EXCEEDED エラーが見つからない場合、割り当て上限によってスケールアップがブロックされることはありません。
  • 割り当ての超過:
    • 解釈: CPU、GPU、IP アドレス、MIG などのリソースの割り当てが不足しているため、ノードのプロビジョニングが失敗します。
    • 解決策: プロジェクトが割り当て上限に達している場合は、割り当ての増加をリクエストします。

高度な構成

GPU、Spot VM、Compute Engine の予約などの構成には、それぞれ固有の要件と、確認が必要な潜在的な障害点があります。

GPU 構成を確認する

GPU ノードをプロビジョニングするカスタム ComputeClass の場合は、カスタム ComputeClass の GPU 構成を検証し、Pod に必須の nvidia.com/gpu toleration があることを確認します。

  1. カスタム ComputeClass の YAML で、優先度ルール内の gpu ブロックを確認します。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    

    gpu ブロックでは、type フィールドと count フィールドを指定する必要があります。次に例を示します。

    priorities:
    - machineType: a2-highgpu-1g
      gpu:
        type: nvidia-tesla-a100
        count: 1
    
  2. Pod で GPU の toleration を確認します。GPU ノードでスケジュールする必要がある Pod には、Pod 自体が GPU をリクエストしない場合でも、nvidia.com/gpu toleration が必要です。

    kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations}'
    

    spec.tolerations フィールドで toleration を確認します。

結果を評価する

  • GPU が正しく構成されている: ComputeClass で GPU type と count が定義され、Pod に nvidia.com/gpu toleration が含まれている場合、GPU 構成は正しいです。必要な toleration は次のとおりです。

    tolerations:
    - key: "nvidia.com/gpu"
      operator: "Exists"
      effect: "NoSchedule"
    
  • GPU の構成ミス:

    • 解釈: Pod に必要な nvidia.com/gpu toleration がない、GPU フィールドの不一致により ComputeClass が正常でない、GKE バージョンが GPU 構成を正しく処理していない可能性があります。
    • 解決策: 次のいずれかの操作を行います。
      • ワークロードの YAML ファイルを変更して、必須の GPU toleration を含め、YAML ファイルを再適用します。
      • GKE クラスタをアップグレードします。カスタム ComputeClass が正常でなく、問題が GPU フィールドに関連している場合は、既知の問題を確認し、パッチが適用された GKE バージョン(1.31.8-gke.1045000 以降など)にアップグレードします。

Spot VM の構成を確認する

Spot VM を使用する場合は、ComputeClass マニフェストの正しい優先度ルールに spot: true 設定が含まれていることを確認します。また、クラスタ オートスケーラーの料金ロジックを理解していることを確認してください。

ComputeClass マニフェストを調べます。

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml

出力で、spec.priorities フィールドの spot: true を探します。次に例を示します。

priorities:
- machineFamily: n2d
  spot: true

クラスタ オートスケーラーは、異なる Spot VM タイプのコストを比較する際に、us-central1 の料金データをベースラインとして使用することがあります。これにより、他のリージョンでは最適ではない選択が行われる可能性があります。これは既知の動作です。

結果を評価する

  • Spot VM が正しく構成されている: spot: true フィールドが指定され、クラスタ オートスケーラーが Spot VM をプロビジョニングする場合、構成は想定どおりに機能します。
  • Spot VM のスケジュール設定に失敗する:

    • 解釈: Spot VM を必要とする Pod が、ターゲット ゾーンでリソースが使用できないため、またはクラスタ オートスケーラーが us-central1 料金モデルに基づいて別の VM タイプを選択しているため、Spot VM でスケジュールできない可能性があります。
    • 解決策:

      • リソースが利用できないことが疑われる場合は、リソースが利用できないかどうかを確認するをご覧ください。
      • Spot VM の選択を制御するには、リージョンで最も安価なものから最も高価なものまで、priorities フィールドに machineType エントリを明示的にリストします。この方法では、フォールバックの順序を直接制御できます。次に例を示します。

        spec:
          priorities:
          - machineType: t2d-standard-48 # Cheapest in this region
            spot: true
          - machineType: n2d-standard-48 # Fallback Spot option
            spot: true
          - machineType: n2d-standard-48 # On-demand fallback
            spot: false
        

クラスタ オートスケーラーの一般的な健全性

このセクションでは、カスタム ComputeClass の構成に直接関連していないものの、その動作に影響している可能性がある問題を確認する方法について説明します。

同時実行オペレーションを確認する

他のクラスタまたはノードプールのオペレーションが同時に進行していないことを確認します。GKE には同時実行オペレーションに上限があり、自動スケーリングがブロックされる可能性があります。

DONE 状態でない進行中のオペレーションを一覧表示します。

gcloud container operations list \
    --location=LOCATION \
    --filter='targetLink~"/clusters/CLUSTER_NAME" AND status!=DONE'

コマンドがオペレーションを返した場合、クラスタのアップグレード、ノードプールの作成、その他の変更などのアクションが進行中である可能性があります。このオペレーションが完了するまで、自動スケーリング イベントがブロックされることがあります。

結果を評価する

  • 同時実行オペレーションなし: list コマンドが空のリストを返した場合、クラスタ オートスケーラーはオペレーションによってブロックされていません。
  • 検出された同時オペレーション:

    • 解釈: コマンドでステータスが RUNNING または PENDING のオペレーションが一覧表示される場合、クラスタのアップグレードやノードプールの変更などの同時オペレーションが進行中で、自動スケーリングがブロックされている可能性があります。
    • 解決策: 進行中のオペレーションが完了するまで待ちます。オペレーション ID を使用してステータスをモニタリングするには、次のコマンドを使用します。

      gcloud container operations wait OPERATION_ID --location LOCATION
      

      OPERATION_ID は、list コマンドの出力の ID に置き換えます。ブロック オペレーションが完了すると、クラスタ オートスケーラーは通常の機能を再開します。

アクティブな移行を確認する

優先度の高いノードが利用可能であるにもかかわらず、ワークロードが優先度の低いノードに留まっている場合は、アクティブな移行が有効になっているかどうかを確認します。ComputeClass で activeMigration.optimizeRulePriority フィールドが false に設定されているか、省略されている場合、GKE は優先度の高いノードが利用可能になっても、ワークロードを自動的に移行しません。

  1. Pod の toleration を確認するには、spec.tolerations フィールドを確認します。Pod に、優先度の異なる複数のノードプールの taint と一致する toleration がある場合、スケジューラは、優先度の低いノードが最初に使用可能であれば、そのノードに Pod を配置することがあります。

    kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations[*]}{"\n"}'
    
  2. アクティブな移行が有効になっているかどうかを確認するには、ComputeClass マニフェストで spec.activeMigration.optimizeRulePriority フィールドを調べます。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    

結果を評価する

  • アクティブな移行が有効: activeMigration.optimizeRulePriority フィールドが true の場合、GKE はワークロードが利用可能になると、優先度の高いノードにワークロードを移動しようとします。
  • アクティブな移行が無効または無効になっている:

    • 解釈: activeMigration.optimizeRulePriority フィールドが false であるか省略されている場合、または Pod の tolerations が広すぎる場合、優先度の高いノードが利用可能であっても、ワークロードは優先度の低いノードに留まります。このアプローチでは、最初に利用可能になった優先度の低いノードにワークロードをスケジュールできます。
    • 解決策: ワークロードを優先度の高いノードに移動する場合は、次のいずれかの操作を行います。

      • nodeAffinity などのより具体的なスケジューリング制約を使用して、優先度の高いノードプールを優先します。
      • ComputeClass マニフェストを編集して activeMigration.optimizeRulePriority: true を設定し、YAML ファイルを適用します。

        spec:
          activeMigration:
            optimizeRulePriority: true
        

容量バッファに関する問題のトラブルシューティング

spec.buffers フィールドを使用してカスタム ComputeClass に容量バッファを追加すると、次の問題が発生することがあります。

ComputeClass が buffers フィールドを拒否または無視する

spec.buffers フィールドを含む ComputeClass マニフェストを適用すると、kubectl apply コマンドが次のようなエラーで失敗することがあります。

strict decoding error: unknown field "spec.buffers"

また、--validate=warn フラグを使用してマニフェストを適用すると、コマンドは成功しますが、ComputeClass に BuffersConfigured 条件はありません。

この問題は、クラスタで 1.37.1-gke.3020000 より前の GKE バージョンが実行されているために発生することがあります。クラスタのバージョンを確認するには、次のコマンドを実行します。

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --format="value(currentMasterVersion)"

結果を評価する

  • 1.37.1-gke.3020000 より前のバージョンの場合:

    • 解釈: クラスタで 1.37.1-gke.3020000 より前の GKE バージョンが実行されています。これは、カスタム ComputeClass の容量バッファの最小バージョンであるため、API サーバーは spec.buffers フィールドを認識しません。
    • 解決策:

      1. GKE バージョン 1.37.1-gke.3020000 以降にクラスタをアップグレードします。
      2. ComputeClass マニフェストを再度適用します。
      3. GKE がバッファを保存したことを確認します。

        kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \
            -o jsonpath='{.spec.buffers}{"\n"}'
        

        出力にバッファが一覧表示されている場合、GKE はバッファを保存しています。

BuffersConfigured の条件の理由を確認する

ComputeClass で spec.buffers フィールドを構成すると、GKE は status.conditions フィールドに BuffersConfigured 条件を追加します。

ComputeClass の BuffersConfigured 条件を確認します。

kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \
    -o jsonpath='{.status.conditions[?(@.type=="BuffersConfigured")]}{"\n"}'

結果を評価する

  • status フィールドが True で、reason フィールドが Ready: ComputeClass のすべての容量バッファが構成され、プロビジョニングの準備が整っています。数分経ってもバッファノードが表示されない場合は、バッファは準備完了しているが、GKE が容量をプロビジョニングしないをご覧ください。
  • status フィールドは False です。

    • 解釈: ComputeClass の少なくとも 1 つのバッファがまだ初期化中であるか、検証に失敗しています。出力の reason フィールドと message フィールドを確認して、問題を特定します。
    • 解決策: 出力の reason フィールドに対応するアクションを実行します。

      • Pending: 少なくとも 1 つの CapacityBuffer がまだ初期化中です。数分待ってから、状態をもう一度確認します。
      • BufferIsEmpty: spec.buffers.limits フィールドの cpu 値が "2" 未満、または memory 値が 2Gi 未満で、条件に次のようなメッセージが含まれています。

        Buffer "BUFFER_NAME": CapacityBuffer has zero replicas
        

        上限は、2 つの vCPU と 2 GiB のメモリのバッファ単位を少なくとも 1 つ許可する必要があります。spec.buffers.limits フィールドに設定した各値を、少なくとも 1 つのバッファ単位(cpu の上限の場合は "2" 以上、memory の上限の場合は 2Gi 以上)に増やします。マニフェストを再度適用します。バッファ ユニットの詳細については、カスタム ComputeClass で容量バッファを構成するをご覧ください。

      • DuplicateProvisioningStrategy: spec.buffers フィールドの 2 つ以上のエントリで同じプロビジョニング戦略が使用されています。spec.buffers フィールドに最大 1 つのアクティブ バッファ(buffer.x-k8s.io/active-capacity)と 1 つのスタンバイ バッファ(buffer.gke.io/standby-capacity)を保持し、マニフェストを再度適用します。

      • BufferProvisioningFailed: ComputeClass 内の複数のバッファで検証または調整が失敗しました。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml コマンドを実行し、status.observedBuffers フィールドを調べて、個々のバッファの条件を表示します。

      • ReconcileFailed: GKE が gke-managed-ccc 名前空間にマネージド CapacityBuffer または PodTemplate を作成、更新、削除できませんでした。GKE が再試行するまで待ちます。エラーが解決しない場合は、Cloud カスタマーケアにお問い合わせください。

      • 子 CapacityBuffer の失敗理由(error、FailedToGetPodTemplate、NotReadyForProvisioning など): ComputeClass が Pod ベースの課金モデル(podFamily 優先度ルール)を使用している場合など、マネージド CapacityBuffer で単一のバッファの検証が失敗しました。ComputeClass がノードベースの課金と有効なバッファ制限を使用していることを確認します。

バッファの準備はできているが、GKE が容量をプロビジョニングしない

BuffersConfigured 条件のステータスが True で、理由が Ready であるにもかかわらず、数分経ってもバッファノードが表示されない場合は、バッファのプロビジョニング戦略とスケールアップ イベントを確認します。

  1. サポートされていないプロビジョニング戦略の ComputeClass ステータスを検査します。

    kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
    
  2. GKE が ComputeClass 用に作成した CapacityBuffer を一覧表示します。

    kubectl get capacitybuffers -n gke-managed-ccc \
        -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME
    
  3. バッファのイベントを表示します。

    kubectl describe capacitybuffer BUFFER_NAME \
        -n gke-managed-ccc
    

    イベントは約 1 時間後に期限切れになります。

結果を評価する

  • status.observedBuffers フィールドの CustomProvisioningStrategy 条件:

    • 解釈: provisioningStrategy フィールドに、戦略名のスペルミスなど、サポートされていない値が含まれているため、status.observedBuffers フィールドに、次のようなメッセージを含む CustomProvisioningStrategy 条件が含まれています。

      Buffer uses custom provisioning strategy "buffer.gke.io/standby"
      

      GKE は、不明な値をカスタム戦略として扱い、容量をプロビジョニングしません。

    • 解決策: provisioningStrategy フィールドの値を buffer.x-k8s.io/active-capacity または buffer.gke.io/standby-capacity に設定し、マニフェストを再度適用します。

  • CapacityBuffer 上の NotTriggerScaleUp または StandbyBufferScaleUpFailed イベント:

    • 解釈: クラスタ オートスケーラーはノードを追加できません。たとえば、割り当て上限、ノードプール サイズの上限、使用可能な容量の不足などにより、スケールアップ オペレーションがブロックされることがあります。スタンバイ バッファの場合、ノードプールの自動作成とノード自動プロビジョニングの両方が無効になっているか、ComputeClass の優先度ルールでスタンバイ バッファがサポートしていないマシンタイプが必要になることがあります。
    • 解決策:

サポートを受ける

  • このドキュメントに問題のソリューションが見当たらない場合は、サポートを受けるで、次のトピックに関するアドバイスなど、詳細なヘルプをご覧ください。

次のステップ