このドキュメントは、GKE ワークロードがカスタム ComputeClass で定義されたノードにスケジュールされない問題や、クラスタ オートスケーラーが想定されるマシンタイプをプロビジョニングしない問題のトラブルシューティングに役立ちます。
このドキュメントは、カスタム ComputeClass を使用して GKE でワークロードのスケジューリングとノードプールの自動作成を管理するアプリケーション デベロッパー、プラットフォーム管理者、オペレーターを対象としています。 Google Cloud のコンテンツで使用されている一般的なロールとタスクの例の詳細については、一般的な GKE ユーザーのロールとタスクをご覧ください。
主なコンセプト
トラブルシューティングに役立つように、次の GKE コンポーネントとメカニズムを理解しておいてください。
カスタム ComputeClass: 自動スケーリングのノード構成の優先順位付きリストを定義できる GKE 固有のリソース。詳細については、カスタム ComputeClass についてをご覧ください。
クラスタ オートスケーラー: ワークロードの需要に基づいてクラスタ内のノードを自動的に追加または削除するコンポーネント。詳細については、GKE クラスタの自動スケーリングについてをご覧ください。
ノードプールの自動作成: GKE クラスタ オートスケーラーは、ワークロードの要件に基づいてノードプールを自動的に作成して管理します。詳細については、ノードプールの自動作成についてをご覧ください。
フォールバック ロジック: クラスタ オートスケーラーが、優先度が最も高いルールに一致するノードを最初にプロビジョニングしようとするメカニズム。詳細については、フォールバックのコンピューティングの優先度を選択するをご覧ください。
症状別のトラブルシューティング
このドキュメントでは、基本的なチェックから高度な構成まで、トラブルシューティングの手順を順番に説明します。より包括的な診断を行うには、これらの手順を順番に実施することをおすすめします。また、特定の問題が発生している場合は、次の表の関連リンクを参照してください。
| 症状 | トラブルシューティング手順 |
|---|---|
カスタム ComputeClass をリクエストする Pod が Pending 状態で停止する |
|
| クラスタ オートスケーラーが、カスタム ComputeClass に一致する新しいノードを作成しない | |
| クラスタ オートスケーラーが、特殊なタイプではなくデフォルトのマシンタイプを作成する | オートスケーラーのフォールバック動作を分析する |
kubectl describe computeclass コマンドの出力に異常なステータスが表示される |
カスタム ComputeClass の構成を確認する |
| ワークロードが優先度の高いノードに移行されない | クラスタ オートスケーラーの一般的な健全性を確認する |
| GPU または Spot VM のワークロードにスケジューリングの問題がある | |
| カスタム ComputeClass の容量バッファが拒否される、空である、または容量がプロビジョニングされない |
サポート範囲外の問題
このドキュメントでは、次の問題については説明しません。
- Pod 間の接続や Service のロード バランシングなど、GKE ネットワーキングに関する一般的な問題。
- HorizontalPodAutoscaler(HPA)または VerticalPodAutoscaler(VPA)に関連する問題。
- カスタム ComputeClass メカニズムに関連しない問題(アプリケーション レベルのエラーや、スケジューリング制約に関連しない PersistentVolume の問題など)。
- ComputeClass のフォールバック ロジックに直接関係のない割り当てまたはリソースの可用性の問題。
プレースホルダ変数を特定する
このドキュメントのコマンドをカスタマイズするには、Variable 列に特定の値を入力します。編集した値は、すべてのコードブロックとコマンドで自動的に同期されます。
| 変数 | 説明 |
|---|---|
| PROJECT_ID | 実際の Google Cloud のプロジェクト ID。 |
| LOCATION | クラスタが配置されている Compute Engine のリージョンまたはゾーン。 |
| CLUSTER_NAME | クラスタの名前。 |
| NODE_POOL_NAME | 検査するノードプールの名前(Standard クラスタに該当する場合)。 |
| CUSTOM_COMPUTECLASS_NAME | Pod によってリクエストされたカスタム ComputeClass の名前。 |
| NAMESPACE | スケジューリングに失敗している Pod の Namespace。 |
| POD_NAME | スケジューリングに失敗している Pod の名前。 |
| BUFFER_NAME | GKE が ComputeClass 用に作成した CapacityBuffer の名前。 |
始める前に
このドキュメントのタスクの実行に必要な権限を取得するには、 Google Cloud プロジェクトに対する次の IAM のロールを付与するよう管理者に依頼してください。
-
GKE クラスタにアクセスする: Kubernetes Engine クラスタ閲覧者(
roles/container.viewer)。 -
ログを表示する: ログビューア(
roles/logging.viewer)。 -
GKE クラスタを管理する: Kubernetes Engine 管理者(
roles/container.admin)。
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
クラスタと通信するように kubectl を構成するには、次のコマンドを実行します。
gcloud container clusters get-credentials CLUSTER_NAME
--location LOCATION
--project PROJECT_ID
基本的な診断チェックを行う
コア コンポーネントが正しく構成されていること、クラスタがカスタム ComputeClass をサポートしていることを確認します。
Pod のステータスとセレクタを確認する
Pod が Pending 状態にあり、カスタム ComputeClass を正しくリクエストしていることを確認します。
Pending状態の Pod を一覧表示します。kubectl get pods --all-namespaces -o wide | grep PendingPod の仕様で
nodeSelectorフィールドを調べます。kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.nodeSelector}'
結果を評価する
- 出力にラベルが表示される:
nodeSelectorフィールドがcloud.google.com/compute-classラベルで正しく構成されています。 - 出力にラベルが表示されない:
- 解釈: ワークロードのデプロイ構成で、
cloud.google.com/compute-classラベルのnodeSelectorフィールドが正しくないか、欠落している可能性があります。 - 解決策: Deployment や Job などのワークロードの YAML ファイルを変更して、
spec.template.specセクションにnodeSelectorフィールドを追加します。
- 解釈: ワークロードのデプロイ構成で、
クラスタ バージョンの互換性を確認する
カスタム ComputeClass には、GKE バージョン 1.30.3-gke.1451000 以降が必要です。クラスタが、カスタム ComputeClass をサポートするバージョンを実行していることを確認します。
クラスタのバージョンを確認します。
gcloud container clusters describe CLUSTER_NAME
--location LOCATION
--format="value(currentMasterVersion)"
結果を評価する
- バージョン
1.30.3-gke.1451000以降: クラスタのバージョンはカスタム ComputeClass をサポートしています。 1.30.3-gke.1451000より前のバージョン:- 解釈: クラスタが、カスタム ComputeClass をサポートするバージョンにアップグレードされていません。
- 解決策: カスタム ComputeClass を使用するには、クラスタをアップグレードする必要があります。
カスタム ComputeClass のプロビジョニングされたノードを確認する
ComputeClass に関連付けられているノードがクラスタに存在するかどうかを確認するには、ComputeClass ラベルに一致するノードを一覧表示します。
kubectl get nodes -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME
出力が No resources found の場合、ComputeClass に関連付けられているノードはありません。ワークロードが実際にその ComputeClass を選択したことを確認し、自動スケーリング イベントでスケールアップ エラーを確認します。
カスタム ComputeClass 構成を確認する
カスタム ComputeClass リソースの構成ミスにより、Pod のスケジュール設定や、GKE によるノードの正しいプロビジョニングが妨げられる可能性があります。
ComputeClass の健全性とステータスを確認する
GKE がカスタム ComputeClass を正常と報告していることを確認します。
すべての
ComputeClassリソースを一覧表示します。kubectl get computeclass特定の
ComputeClassリソースを記述します。kubectl describe computeclass CUSTOM_COMPUTECLASS_NAME
結果を評価する
ヘルス ステータスが
True: カスタム ComputeClass は正常です。正常なカスタム ComputeClass の例を次に示します。Status: Conditions: Last Transition Time: 2024-01-19T17:18:48Z Message: CCC is healthy. Reason: Health Status: True Type: Healthヘルス ステータスが
Falseと表示される:- 解釈: カスタム ComputeClass が正常ではありません。出力の
MessageフィールドとReasonフィールドを確認して、問題を特定します。 - 解決策: 出力の
Reasonフィールドに対応するアクションを実行します。NodePoolNotExist: 参照されているノードプールが存在することを確認するか、既存のノードプールを参照するように ComputeClass を更新します。ReservationUnusable: 参照されている予約の構成と使用状況を確認します。Invalid machine type: クラスタのリージョンまたはゾーンでサポートされているマシンタイプを使用するように ComputeClass を更新します。
- 解釈: カスタム ComputeClass が正常ではありません。出力の
unsatisfiable ポリシーを検証する
whenUnsatisfiable フィールドは、優先度ルールを満たすことができない場合の動作を決定します。
ポリシーを確認します。
kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
出力で、spec.whenUnsatisfiable フィールドを確認します。このフィールドには、次のいずれかの値を指定できます。
DoNotScaleUp: 優先ノードを作成できない場合、Pod はPending状態のままになります。ScaleUpAnyway: 優先ノードが使用できない場合、Pod はデフォルトのノードタイプ(E2 シリーズなど)で実行されることがあります。
結果を評価する
whenUnsatisfiable ポリシーの効果は、その値によって異なります。
- 値が
DoNotScaleUpの場合: - 値が
ScaleUpAnywayの場合:- 解釈: これは想定された動作です。優先ノードが使用できないため、GKE はデフォルトのノードタイプにフォールバックしています。
- 解決策: Pod をデフォルトのノードタイプで実行しない場合は、ポリシーを
DoNotScaleUpに変更します。
- デフォルトの動作:
whenUnsatisfiableフィールドの値を指定しておらず、1.33 より前の GKE バージョンを使用している場合、ポリシーはデフォルトでScaleUpAnywayになります。
次の例は、ComputeClass マニフェストの whenUnsatisfiable フィールドを編集してポリシーを更新する方法を示しています。
apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
name: CUSTOM_COMPUTECLASS_NAME
spec:
# ... other fields
whenUnsatisfiable: DoNotScaleUp # or ScaleUpAnyway
Pod のスケジューリングの制約を確認する
Pod 仕様が、カスタム ComputeClass によってプロビジョニングされたノードの属性と互換性があることを確認します。
Pod のリソース リクエストを確認する
Pod の CPU、メモリ、GPU のリクエストが、カスタム ComputeClass の priorities フィールドで定義されているマシンタイプの少なくとも 1 つで満たされるかどうかを確認します。
Pod のリソース リクエストを取得します。
kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.containers[*].resources.requests}'cpu、memory、GPU リクエスト(nvidia.com/gpuなど)の出力を確認します。これらのリクエストを、カスタム ComputeClass の
prioritiesフィールドで定義されているマシンタイプと比較します。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o jsonpath='{.spec.priorities}'出力で
machineTypeフィールドまたはmachineFamilyフィールドを確認します。カスタム ComputeClass の各マシンタイプについて、マシンタイプのドキュメントで仕様を確認し、割り当て可能なリソースが Pod のリクエストよりも大きいかどうかを確認します。
結果を評価する
- リソースの互換性: Pod のリソース リクエストが、ComputeClass 内の少なくとも 1 つのマシンタイプの割り当て可能なリソース以下である。
リソースが容量を超えている:
- 解釈: ComputeClass のマシンタイプに十分な CPU、メモリ、GPU がないため、Pod をスケジュールできません。これは、
nodePoolAutoCreationフィールドがtrueに設定され、Pod のメモリ リクエストが自動作成されたノードプールの上限を超えている場合にも発生することがあります。 - 解決策: Pod のリソース リクエストまたはカスタム ComputeClass のマシンタイプを調整します。
- Pod のリソース リクエストを減らす: リソース リクエストが多い場合は、ワークロードの YAML ファイルの
cpu、memory、gpuの値を減らします。 - より大きなマシンタイプに変更する: Pod のリクエストが正当な場合は、カスタム ComputeClass マニフェストの
spec.prioritiesフィールドを変更して、Pod の需要を満たすことができるより大きなmachineTypeまたはmachineFamilyオプションを含めます。次に例を示します。
- Pod のリソース リクエストを減らす: リソース リクエストが多い場合は、ワークロードの YAML ファイルの
spec: priorities: - machineType: n2d-highmem-96 # A larger machine type spot: true # ... other priorities- 解釈: ComputeClass のマシンタイプに十分な CPU、メモリ、GPU がないため、Pod をスケジュールできません。これは、
競合する taint と toleration を確認する
カスタム ComputeClass 用に作成されたノードには、cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule taint があります。GKE は、この toleration を Pod に自動的に追加します。
ただし、GPU などの特殊なハードウェアには、nvidia.com/gpu=present:NoSchedule taint などの追加の taint があります。ComputeClass が特殊なハードウェアを備えたノードを使用している場合、Pod は、これらのノードでスケジュールするために、これらの taint の toleration を持っている必要があります。
Pod の tolerations フィールドを確認します。
kubectl get pod POD_NAME
-n NAMESPACE
-o jsonpath='{.spec.tolerations}'
結果を評価する
- 正しい toleration: taint と toleration が正しく構成されている。
欠落している toleration:
- 解釈: toleration がないため、Pod は特殊なハードウェア taint を持つノードにスケジュールされません。たとえば、ComputeClass が GPU ノードを使用している場合、Pod に
nvidia.com/gpu=present:NoScheduletoleration がない可能性があります。GPU 固有の要件については、GPU 構成を確認するをご覧ください。 解決策: Pod 仕様の
tolerationsフィールドに、ComputeClass で定義されたノードの taint と一致する必要な toleration を追加します。たとえば、GPU ノードの場合、次のようにnvidia.com/gpu=present:NoScheduletaint の toleration を追加します。spec: template: spec: tolerations: - key: "nvidia.com/gpu" operator: "Exists" effect: "NoSchedule" # ... other tolerations and Pod spec
- 解釈: toleration がないため、Pod は特殊なハードウェア taint を持つノードにスケジュールされません。たとえば、ComputeClass が GPU ノードを使用している場合、Pod に
クラスタ オートスケーラーの保留中の Pod 指標を分析する
該当する GKE バージョン: 1.37 以降
特定の ComputeClass をリクエストする Pod が保留中になっている理由を把握するには、Cloud Monitoring の kubernetes.io/autoscaler/cluster_pending_pods_per_ccc 指標を使用します。この指標は、問題が ComputeClass に適したノードの不足、プロビジョニングの問題、Pod の構成に固有の問題のいずれであるかを特定するのに役立ちます。この指標は、クラスタ オートスケーラーが処理している Pod の数を、ComputeClass、保留中の理由、システム Pod かユーザー Pod かで分類して示します。
クエリの手順
Google Cloud コンソールで指標をクエリする手順は次のとおりです。
- Google Cloud コンソールで、[Metrics Explorer] ページに移動します。
- リソースタイプ
k8s_entityを選択します。 - [指標]
kubernetes.io/autoscaler/cluster_pending_pods_per_cccを選択します。 - フィルタ(
entity_type = ComputeClass)を追加します。 - 特定の ComputeClass(
entity_name = "COMPUTECLASS_NAME")のフィルタを追加します。- ComputeClass を使用していない Pod を表示するには、
entity_name = ""でフィルタします。
- ComputeClass を使用していない Pod を表示するには、
metric.labels.reasonでグループ化して、これらの Pod のオートスケーラーの状態を確認します。metric.labels.typeキーラベルを使用して Pod をグループ化することもできます。
PromQL クエリの例
「COMPUTECLASS_NAME」ComputeClass をリクエストしている保留中のユーザー Pod のステータスを確認するには、次の PromQL クエリを使用します。
sum by (reason) (
kubernetes_io:autoscaler_cluster_pending_pods_per_ccc{
monitored_resource="k8s_entity",
entity_type="ComputeClass",
entity_name="COMPUTECLASS_NAME",
type="user_pod"
}
)
指標の理由
metric.labels.reason キーラベルの出力には、次のものが含まれる場合があります。
unable_to_provision: クラスタ オートスケーラーがブロックされています。ComputeClass でこの状態の Pod は、新しいノードを作成できないため、スケジュールできません。コントロール プレーンのクラスタ オートスケーラーのログで、ComputeClass 定義内の在庫切れ、割り当て、構成ミスに関する詳細を確認します。また、クラスタ オートスケーラーの可視性イベントも確認します。provisioning_in_progress: ComputeClass の要件に一致するノードに対してスケールアップがトリガーされました。Pod がここに残っている場合は、ノードの作成または準備に遅延が発生している可能性があります。unprocessed: クラスタ オートスケーラーはこれらの Pod をまだ評価していません。数値が常に高い場合は、オートスケーラーの遅延を示している可能性があります。no_action_taken: クラスタ オートスケーラーは、これらの Pod をスケーリングしないことを決定しました。この動作は、ComputeClass のノードタイプで満たすことができない Pod の制約や、その他のクラスタレベルの制限が原因で発生することがあります。Pod 仕様(kubectl describe pod)とクラスタ オートスケーラーのログを調べます。
ノード プロビジョニングの失敗を分析する
該当する GKE バージョン: 1.37 以降
ComputeClass の現在のヘルス ステータスを確認するには、ComputeClass のヘルスを確認するをご覧ください。ComputeClass に関連付けられた Pod が unable_to_provision 状態になっている場合、クラスタ オートスケーラーは ComputeClass の要件に一致する新しいノードをプロビジョニングしていません。kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc Cloud Monitoring 指標を使用して、根本原因を診断できます。
- Google Cloud コンソールで、[Monitoring]、[Metrics Explorer] の順に移動します。
- [リソースタイプ] で
k8s_entityを選択します。 - 指標として
kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_cccを選択します。 - フィルタ(
resource.labels.entity_type = ComputeClass)を追加します。 - 特定の ComputeClass(
entity_name = "CUSTOM_COMPUTECLASS_NAME")のフィルタを追加します。- ComputeClass を使用していない Pod を表示するには、
entity_name = ""でフィルタします。
- ComputeClass を使用していない Pod を表示するには、
- [グループ化] セクションで
metric.labels.reasonとresource.labels.entity_nameを選択します。 rateやdeltaなどのアグリゲータを選択します。
失敗の割合または変化が、理由別に表示されます。
失敗の理由を解釈する
metric.labels.reason フィールドには、ノードの作成が失敗した理由に関する分析情報が表示されます。失敗の主な原因を特定することで、是正措置を講じることができます。
次のような原因が考えられます。
| 理由 | 説明 | 考えられる是正措置 |
|---|---|---|
QUOTA_EXCEEDED |
Google Cloud の割り当て上限(CPU、ディスク、IP アドレスなど)に達しました。プロジェクトの割り当てを確認します。 | 割り当ての増加をリクエストする。 |
RESOURCE_POOL_EXHAUSTED |
Compute Engine が利用できない。ゾーン内のリクエストされたリソースの容量が不足している。 | 別のマシンタイプまたはゾーンを試します。フォールバック マシンタイプまたはゾーンを含めるように ComputeClass を変更します。予約を使用する。 |
IP_SPACE_EXHAUSTED |
ノードのサブネットで使用可能な IP アドレスが不足しています。 | サブネットのプライマリ IP アドレス範囲を拡張する。 |
PERMISSIONS_ERROR |
GKE サービス アカウントに、リソース(インスタンス、ディスクなど)を作成するために必要な IAM 権限がありません。 | GKE サービス アカウントに必要なロールを付与します。 |
VM_EXTERNAL_IP_ACCESS_POLICY_CONSTRAINT |
組織のポリシー(constraints/compute.vmExternalIpAccess)により、構成された外部 IP を持つノードの作成が禁止されています。 |
組織のポリシーまたは ComputeClass ノード構成を確認して変更します。 |
INVALID_RESERVATION |
構成された Compute Engine 予約が無効であるか、構成が誤っているか、ノード リクエストと一致しません。 | 予約設定と ComputeClass の定義を確認します。 |
RESERVATION_NOT_FOUND |
指定された Compute Engine 予約名が存在しません。 | ComputeClass で予約名を確認します。 |
RESERVATION_NOT_READY |
対象の予約がまだ有効になっていないか、プロビジョニング中である。 | 予約が有効になるまで待ちます。 |
RESERVATION_CAPACITY_EXCEEDED |
予約が満杯で、リクエストに対応できない。 | 予約サイズを増やすか、他のマシンタイプを使用してください。 |
RESERVATION_INCOMPATIBLE |
ノード構成(マシンタイプやゾーンなど)が予約のプロパティと一致しない。 | ComputeClass ノード仕様を予約のプロパティに合わせます。 |
AUTOMATIC_RESERVATIONS_NOT_AVAILABLE |
自動予約の使用中に問題が発生しました。 | ログを確認します。Cloud カスタマーケアにお問い合わせが必要になる場合があります。 |
AUTOMATIC_RESERVATIONS_NO_CAPACITY |
自動予約に十分な容量がない。 | 手動予約または別のマシンタイプに切り替える必要がある場合があります。 |
UNSUPPORTED_TPU_CONFIGURATION |
リクエストされた TPU 構成が無効であるか、選択したゾーンまたはプロジェクトでサポートされていません。 | TPU のドキュメントと ComputeClass を確認します。 |
GkePersistentOperationError |
ノードの作成プロセス中に、GKE コントロール プレーン内で永続的なエラーが発生しました。 | Cloud カスタマーケアにお問い合わせください。 |
OTHER |
他のカテゴリに該当しない失敗の包括的な説明。 | 詳細については、コントロール プレーンのクラスタ オートスケーラーのログを確認してください。 |
ノードプールの構成(Standard クラスタ)
GKE Standard クラスタでは、手動で作成したノードプールにラベルと taint を付けて、カスタム ComputeClass と連携できるようにする必要があります。
ノードプールのラベルと taint を確認する
カスタム ComputeClass でノードプールを特定します。カスタム ComputeClass で
nodePoolsフィールドが使用されている場合は、リストされているノードプールの名前をメモします。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml特定したノードプールごとに、構成を確認します。
gcloud container node-pools describe NODE_POOL_NAME --cluster CLUSTER_NAME --location LOCATION --format="yaml(config.labels, config.taints)"
結果を評価する
- ノードプールが正しく構成されている: ノードプールにラベル
cloud.google.com/compute-class: CUSTOM_COMPUTECLASS_NAMEと taintcloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoScheduleがあります。 ノードプールの構成が不適切:
- 解釈: ノードプールが、カスタム ComputeClass に関連付けるために必要なラベルと taint で構成されていません。
解決策: ノードプールを更新して、ラベルと taint を追加します。
ノードラベルを追加または更新します。
gcloud container node-pools update NODE_POOL_NAME \ --cluster=CLUSTER_NAME --location=LOCATION \ --node-labels=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAMEノード taint を追加または更新します。
gcloud container node-pools update NODE_POOL_NAME \ --cluster=CLUSTER_NAME --location=LOCATION \ --node-taints=cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAME:NoSchedule
ノードプールの自動作成の構成を確認する
nodePoolAutoCreation が true に設定されている Autopilot クラスタと Standard クラスタの両方で、ノードプールの自動作成を正しく構成する必要があります。
ノードプールの自動作成が有効になっていることを確認する
カスタム ComputeClass の
nodePoolAutoCreation.enabledフィールドがtrueに設定されているかどうかを確認します。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yamlクラスタでノードプールの自動作成が有効になっているかどうかを確認します。
gcloud container clusters describe CLUSTER_NAME --location LOCATION --format="value(autoscaling.enableNodeAutoprovisioning)"
どちらかが無効になっている場合、ノードプールの自動作成では、カスタム ComputeClass の新しいノードプールは作成されません。
結果を評価する
- ノードプールの自動作成が有効: ComputeClass で、
nodePoolAutoCreation.enabledフィールドがtrueに設定され、ノード自動プロビジョニングがクラスタレベルで有効になっています。 ノードプールの自動作成が無効になっている場合:
- 解釈: ComputeClass で
nodePoolAutoCreation.enabledフィールドの値がfalseであるか、存在しない場合、またはクラスタレベルのノード自動プロビジョニングが無効になっている場合、ノードプールの自動作成は無効になります。 解決策: ノードプールの自動作成を有効にします。
カスタム ComputeClass YAML ファイルを編集して、
nodePoolAutoCreation: enabled: trueを含めます。spec: # ... priorities nodePoolAutoCreation: enabled: trueクラスタレベルでノードプールの自動作成を有効にし、リソースの上限を構成する。
gcloud container clusters update CLUSTER_NAME --location LOCATION \ --enable-autoprovisioning \ --autoprovisioning-min-cpu=MIN_CPU \ --autoprovisioning-max-cpu=MAX_CPU \ --autoprovisioning-min-memory=MIN_MEMORY \ --autoprovisioning-max-memory=MAX_MEMORY
- 解釈: ComputeClass で
ノードプールの自動作成のリソース上限を確認する
ノードプールの自動作成には、CPU とメモリに関するクラスタ全体の上限があります。クラスタの現在の使用量に新しいノードのリソースを加えた値がこれらの上限を超える場合、ノードプールの自動作成では新しいノードはプロビジョニングされません。
リソースの上限を表示します。
gcloud container clusters describe CLUSTER_NAME --location LOCATION --format="value(autoscaling.resourceLimits)"出力には、CPU とメモリ(GB 単位)の
resourceType、minimum、maximumフィールドが一覧表示されます。カスタム ComputeClass の優先度でマシンタイプを確認します。CPU とメモリの仕様については、マシンタイプのドキュメントをご覧ください。
クラスタ内のすべてのノードの現在の合計 CPU 容量とメモリ容量を特定します。現在の容量と、新しいノードのリソースの合計が、ノードプールの自動作成の上限を超えないようにする必要があります。
結果を評価する
- 十分な容量: クラスタには、ノードプールの自動作成で新しいノードをプロビジョニングするための十分な CPU とメモリ容量がリソース上限内にあります。
上限を超過:
- 解釈: クラスタが CPU またはメモリの上限に達したか、ComputeClass のマシンタイプに対して上限が低すぎるため、ノードプールの自動作成で新しいノードをプロビジョニングできません。
解決策: ノードプールの自動作成のリソース上限を引き上げます。
カスタム ComputeClass の最大のマシンタイプを含め、現在の使用量と将来の増加を考慮して、新しい上限を決定します。
ノードプールの自動作成のリソース上限を更新する。1 つのコマンドで複数のリソースを設定できます。
gcloud container clusters update CLUSTER_NAME --location LOCATION \ --set-nap-resource-limits resourceType=cpu,maximum=NEW_MAX_CPU \ --set-nap-resource-limits resourceType=memory,maximum=NEW_MAX_GB
オートスケーラーのフォールバック動作を分析する
このセクションでは、外部要因を調査して、クラスタ オートスケーラーが優先オプションをスキップしてフォールバックを使用している理由や、スケールアップに失敗している理由を理解します。
カスタム ComputeClass は、優先度付きフォールバック ロジックを使用します。Pod が優先度の最も高いルールに一致するノードでスケジュールされていない場合、多くはリソースの不足やプロジェクトの割り当てなどの制約が原因です。GKE が特定の優先度ルールに一致するノードをプロビジョニングできない場合(Compute Engine の ZONE_RESOURCE_POOL_EXHAUSTED エラーや QUOTA_EXCEEDED エラーなど)、クラスタ オートスケーラーはすぐに priorities リストの次のルールを試します。GKE が次の優先度にフォールバックするまでの待機時間はありません。ただし、TPU または Flex Start プロビジョニング モデルを使用している場合は、構成可能な遅延がサポートされます。
リソースが利用できないかどうかを確認する
クラスタ オートスケーラーのログまたは Compute Engine マネージド インスタンス グループ(MIG)のエラーを確認して、指定したゾーンでリソースが使用できないかどうかを確認します。
オプション 1: クラスタ オートスケーラーの公開設定イベントを確認する
Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] に移動し、次のクエリを実行して、リソースが利用できないことを示す可能性のあるオートスケーラー イベントを見つけます。
resource.type="k8s_cluster"
resource.labels.location="LOCATION"
resource.labels.cluster_name="CLUSTER_NAME"
log_id("container.googleapis.com/cluster-autoscaler-visibility")
jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.resource.exhausted"
オプション 2: MIG エラーを確認する
MIG エラーは、 Google Cloud コンソールまたは Cloud Logging クエリを使用して確認できます。
Google Cloud コンソールの使用:
- Google Cloud コンソールで、[Compute Engine] > [インスタンス グループ] に移動します。
- スケールアップに失敗しているノードプールに対応する MIG を見つけます。
- MIG 名をクリックして、[エラー] タブに移動します。リソースの枯渇を示すメッセージを探します。
Cloud Logging クエリを使用する:
- Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] に移動します。
- 次のクエリを実行して、MIG からのリソース枯渇エラーを確認します。
resource.type="gce_instance" log_id("cloudaudit.googleapis.com/activity") protoPayload.status.message:("ZONE_RESOURCE_POOL_EXHAUSTED" OR "does not have enough resources available to fulfill the request" OR "resource pool exhausted" OR "does not exist in zone")
結果を評価する
- リソースが利用可能: ログに
ZONE_RESOURCE_POOL_EXHAUSTEDメッセージが表示されない場合、リソースの利用不可がスケールアップ失敗の原因である可能性は低いです。 リソースが利用できない:
- 解釈: ノードのプロビジョニングが失敗するのは、そのゾーンで特定のマシンタイプ(特に Spot VM または GPU)に対する一時的な需要が高まっているため、または Pod が PersistentVolume アフィニティによってリソースが利用できないゾーンに制限されているためです。
解決策: リソースの利用不可は一時的なものですが、構成に柔軟性を追加することで、復元力を向上させることができます。
マシンタイプを多様化する: カスタム ComputeClass の
spec.prioritiesフィールドに、フォールバックとして複数のマシンタイプまたはファミリーが含まれていることを確認します。spec: priorities: - machineFamily: c3 # Highest priority - machineFamily: n2d # Fallback option - machineFamily: e2 # Lowest priorityリージョン クラスタを使用する: クラスタがゾーンの場合、その単一のゾーンでリソースが使用できなくなる可能性があります。リージョン クラスタを使用すると、クラスタ オートスケーラーは、容量が利用可能なリージョン内の他のゾーンにノードをプロビジョニングしようとします。
Compute Engine の予約を使用する: 遅延を許容できない重要なワークロードの場合は、Compute Engine の予約を作成して、特定のマシンタイプの容量を確保します。
プロジェクトの割り当てを確認する
新しいノードに必要な CPU、GPU、IP アドレスなどのリソースに対して、プロジェクトに十分な割り当てがあることを確認します。
オートスケーラーのログで割り当てエラーを確認します。Cloud Logging を使用して、オートスケーラーの可視化イベントで割り当て関連のエラー メッセージを検索します。
resource.type="k8s_cluster" resource.labels.location="LOCATION" resource.labels.cluster_name="CLUSTER_NAME" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noScaleUpReason.messageId="no.scale.up.nap.quota.exceeded"または、次の Cloud Logging クエリを使用して、MIG からの割り当て関連のエラーのログを確認します。
resource.type="gce_instance" protoPayload.methodName:"compute.instances.insert" protoPayload.status.message:"QUOTA_EXCEEDED" severity=ERRORGoogle Cloud コンソールで割り当てを確認する。
- Google Cloud コンソールで、[IAM と管理] > [割り当て] に移動します。
- Compute Engine API サービスでフィルタします。
- GKE クラスタが存在するリージョンの CPU、GPU(すべてのタイプ)、使用中の IP アドレスなどの関連する指標の使用状況を確認します。現在の使用量が上限に達していないことを確認します。
結果を評価する
- 割り当てが上限を下回っている: 割り当ての使用量が割り当て上限を下回っており、ログに
QUOTA_EXCEEDEDエラーが見つからない場合、割り当て上限によってスケールアップがブロックされることはありません。 - 割り当ての超過:
- 解釈: CPU、GPU、IP アドレス、MIG などのリソースの割り当てが不足しているため、ノードのプロビジョニングが失敗します。
- 解決策: プロジェクトが割り当て上限に達している場合は、割り当ての増加をリクエストします。
高度な構成
GPU、Spot VM、Compute Engine の予約などの構成には、それぞれ固有の要件と、確認が必要な潜在的な障害点があります。
GPU 構成を確認する
GPU ノードをプロビジョニングするカスタム ComputeClass の場合は、カスタム ComputeClass の GPU 構成を検証し、Pod に必須の nvidia.com/gpu toleration があることを確認します。
カスタム ComputeClass の YAML で、優先度ルール内の
gpuブロックを確認します。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yamlgpuブロックでは、typeフィールドとcountフィールドを指定する必要があります。次に例を示します。priorities: - machineType: a2-highgpu-1g gpu: type: nvidia-tesla-a100 count: 1Pod で GPU の toleration を確認します。GPU ノードでスケジュールする必要がある Pod には、Pod 自体が GPU をリクエストしない場合でも、
nvidia.com/gputoleration が必要です。kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations}'spec.tolerationsフィールドで toleration を確認します。
結果を評価する
GPU が正しく構成されている: ComputeClass で GPU
typeとcountが定義され、Pod にnvidia.com/gputoleration が含まれている場合、GPU 構成は正しいです。必要な toleration は次のとおりです。tolerations: - key: "nvidia.com/gpu" operator: "Exists" effect: "NoSchedule"GPU の構成ミス:
- 解釈: Pod に必要な
nvidia.com/gputoleration がない、GPU フィールドの不一致により ComputeClass が正常でない、GKE バージョンが GPU 構成を正しく処理していない可能性があります。 - 解決策: 次のいずれかの操作を行います。
- ワークロードの YAML ファイルを変更して、必須の GPU toleration を含め、YAML ファイルを再適用します。
- GKE クラスタをアップグレードします。カスタム ComputeClass が正常でなく、問題が GPU フィールドに関連している場合は、既知の問題を確認し、パッチが適用された GKE バージョン(1.31.8-gke.1045000 以降など)にアップグレードします。
- 解釈: Pod に必要な
Spot VM の構成を確認する
Spot VM を使用する場合は、ComputeClass マニフェストの正しい優先度ルールに spot: true 設定が含まれていることを確認します。また、クラスタ オートスケーラーの料金ロジックを理解していることを確認してください。
ComputeClass マニフェストを調べます。
kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
出力で、spec.priorities フィールドの spot: true を探します。次に例を示します。
priorities:
- machineFamily: n2d
spot: true
クラスタ オートスケーラーは、異なる Spot VM タイプのコストを比較する際に、us-central1 の料金データをベースラインとして使用することがあります。これにより、他のリージョンでは最適ではない選択が行われる可能性があります。これは既知の動作です。
結果を評価する
- Spot VM が正しく構成されている:
spot: trueフィールドが指定され、クラスタ オートスケーラーが Spot VM をプロビジョニングする場合、構成は想定どおりに機能します。 Spot VM のスケジュール設定に失敗する:
- 解釈: Spot VM を必要とする Pod が、ターゲット ゾーンでリソースが使用できないため、またはクラスタ オートスケーラーが
us-central1料金モデルに基づいて別の VM タイプを選択しているため、Spot VM でスケジュールできない可能性があります。 解決策:
- リソースが利用できないことが疑われる場合は、リソースが利用できないかどうかを確認するをご覧ください。
Spot VM の選択を制御するには、リージョンで最も安価なものから最も高価なものまで、
prioritiesフィールドにmachineTypeエントリを明示的にリストします。この方法では、フォールバックの順序を直接制御できます。次に例を示します。spec: priorities: - machineType: t2d-standard-48 # Cheapest in this region spot: true - machineType: n2d-standard-48 # Fallback Spot option spot: true - machineType: n2d-standard-48 # On-demand fallback spot: false
- 解釈: Spot VM を必要とする Pod が、ターゲット ゾーンでリソースが使用できないため、またはクラスタ オートスケーラーが
クラスタ オートスケーラーの一般的な健全性
このセクションでは、カスタム ComputeClass の構成に直接関連していないものの、その動作に影響している可能性がある問題を確認する方法について説明します。
同時実行オペレーションを確認する
他のクラスタまたはノードプールのオペレーションが同時に進行していないことを確認します。GKE には同時実行オペレーションに上限があり、自動スケーリングがブロックされる可能性があります。
DONE 状態でない進行中のオペレーションを一覧表示します。
gcloud container operations list \
--location=LOCATION \
--filter='targetLink~"/clusters/CLUSTER_NAME" AND status!=DONE'
コマンドがオペレーションを返した場合、クラスタのアップグレード、ノードプールの作成、その他の変更などのアクションが進行中である可能性があります。このオペレーションが完了するまで、自動スケーリング イベントがブロックされることがあります。
結果を評価する
- 同時実行オペレーションなし:
listコマンドが空のリストを返した場合、クラスタ オートスケーラーはオペレーションによってブロックされていません。 検出された同時オペレーション:
- 解釈: コマンドでステータスが
RUNNINGまたはPENDINGのオペレーションが一覧表示される場合、クラスタのアップグレードやノードプールの変更などの同時オペレーションが進行中で、自動スケーリングがブロックされている可能性があります。 解決策: 進行中のオペレーションが完了するまで待ちます。オペレーション ID を使用してステータスをモニタリングするには、次のコマンドを使用します。
gcloud container operations wait OPERATION_ID --location LOCATIONOPERATION_IDは、listコマンドの出力の ID に置き換えます。ブロック オペレーションが完了すると、クラスタ オートスケーラーは通常の機能を再開します。
- 解釈: コマンドでステータスが
アクティブな移行を確認する
優先度の高いノードが利用可能であるにもかかわらず、ワークロードが優先度の低いノードに留まっている場合は、アクティブな移行が有効になっているかどうかを確認します。ComputeClass で activeMigration.optimizeRulePriority フィールドが false に設定されているか、省略されている場合、GKE は優先度の高いノードが利用可能になっても、ワークロードを自動的に移行しません。
Pod の toleration を確認するには、
spec.tolerationsフィールドを確認します。Pod に、優先度の異なる複数のノードプールの taint と一致する toleration がある場合、スケジューラは、優先度の低いノードが最初に使用可能であれば、そのノードに Pod を配置することがあります。kubectl get pod POD_NAME -n NAMESPACE -o jsonpath='{.spec.tolerations[*]}{"\n"}'アクティブな移行が有効になっているかどうかを確認するには、ComputeClass マニフェストで
spec.activeMigration.optimizeRulePriorityフィールドを調べます。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yaml
結果を評価する
- アクティブな移行が有効:
activeMigration.optimizeRulePriorityフィールドがtrueの場合、GKE はワークロードが利用可能になると、優先度の高いノードにワークロードを移動しようとします。 アクティブな移行が無効または無効になっている:
- 解釈:
activeMigration.optimizeRulePriorityフィールドがfalseであるか省略されている場合、または Pod の tolerations が広すぎる場合、優先度の高いノードが利用可能であっても、ワークロードは優先度の低いノードに留まります。このアプローチでは、最初に利用可能になった優先度の低いノードにワークロードをスケジュールできます。 解決策: ワークロードを優先度の高いノードに移動する場合は、次のいずれかの操作を行います。
nodeAffinityなどのより具体的なスケジューリング制約を使用して、優先度の高いノードプールを優先します。ComputeClass マニフェストを編集して
activeMigration.optimizeRulePriority: trueを設定し、YAML ファイルを適用します。spec: activeMigration: optimizeRulePriority: true
- 解釈:
容量バッファに関する問題のトラブルシューティング
spec.buffers フィールドを使用してカスタム ComputeClass に容量バッファを追加すると、次の問題が発生することがあります。
ComputeClass が buffers フィールドを拒否または無視する
spec.buffers フィールドを含む ComputeClass マニフェストを適用すると、kubectl apply コマンドが次のようなエラーで失敗することがあります。
strict decoding error: unknown field "spec.buffers"
また、--validate=warn フラグを使用してマニフェストを適用すると、コマンドは成功しますが、ComputeClass に BuffersConfigured 条件はありません。
この問題は、クラスタで 1.37.1-gke.3020000 より前の GKE バージョンが実行されているために発生することがあります。クラスタのバージョンを確認するには、次のコマンドを実行します。
gcloud container clusters describe CLUSTER_NAME \
--location=LOCATION \
--format="value(currentMasterVersion)"
結果を評価する
1.37.1-gke.3020000より前のバージョンの場合:- 解釈: クラスタで 1.37.1-gke.3020000 より前の GKE バージョンが実行されています。これは、カスタム ComputeClass の容量バッファの最小バージョンであるため、API サーバーは
spec.buffersフィールドを認識しません。 解決策:
- GKE バージョン 1.37.1-gke.3020000 以降にクラスタをアップグレードします。
- ComputeClass マニフェストを再度適用します。
GKE がバッファを保存したことを確認します。
kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \ -o jsonpath='{.spec.buffers}{"\n"}'出力にバッファが一覧表示されている場合、GKE はバッファを保存しています。
- 解釈: クラスタで 1.37.1-gke.3020000 より前の GKE バージョンが実行されています。これは、カスタム ComputeClass の容量バッファの最小バージョンであるため、API サーバーは
BuffersConfigured の条件の理由を確認する
ComputeClass で spec.buffers フィールドを構成すると、GKE は status.conditions フィールドに BuffersConfigured 条件を追加します。
ComputeClass の BuffersConfigured 条件を確認します。
kubectl get computeclass CUSTOM_COMPUTECLASS_NAME \
-o jsonpath='{.status.conditions[?(@.type=="BuffersConfigured")]}{"\n"}'
結果を評価する
statusフィールドがTrueで、reasonフィールドがReady: ComputeClass のすべての容量バッファが構成され、プロビジョニングの準備が整っています。数分経ってもバッファノードが表示されない場合は、バッファは準備完了しているが、GKE が容量をプロビジョニングしないをご覧ください。statusフィールドはFalseです。- 解釈: ComputeClass の少なくとも 1 つのバッファがまだ初期化中であるか、検証に失敗しています。出力の
reasonフィールドとmessageフィールドを確認して、問題を特定します。 解決策: 出力の
reasonフィールドに対応するアクションを実行します。Pending: 少なくとも 1 つの CapacityBuffer がまだ初期化中です。数分待ってから、状態をもう一度確認します。BufferIsEmpty:spec.buffers.limitsフィールドのcpu値が"2"未満、またはmemory値が2Gi未満で、条件に次のようなメッセージが含まれています。Buffer "BUFFER_NAME": CapacityBuffer has zero replicas上限は、2 つの vCPU と 2 GiB のメモリのバッファ単位を少なくとも 1 つ許可する必要があります。
spec.buffers.limitsフィールドに設定した各値を、少なくとも 1 つのバッファ単位(cpuの上限の場合は"2"以上、memoryの上限の場合は2Gi以上)に増やします。マニフェストを再度適用します。バッファ ユニットの詳細については、カスタム ComputeClass で容量バッファを構成するをご覧ください。DuplicateProvisioningStrategy:spec.buffersフィールドの 2 つ以上のエントリで同じプロビジョニング戦略が使用されています。spec.buffersフィールドに最大 1 つのアクティブ バッファ(buffer.x-k8s.io/active-capacity)と 1 つのスタンバイ バッファ(buffer.gke.io/standby-capacity)を保持し、マニフェストを再度適用します。BufferProvisioningFailed: ComputeClass 内の複数のバッファで検証または調整が失敗しました。kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yamlコマンドを実行し、status.observedBuffersフィールドを調べて、個々のバッファの条件を表示します。ReconcileFailed: GKE がgke-managed-ccc名前空間にマネージド CapacityBuffer または PodTemplate を作成、更新、削除できませんでした。GKE が再試行するまで待ちます。エラーが解決しない場合は、Cloud カスタマーケアにお問い合わせください。子 CapacityBuffer の失敗理由(
error、FailedToGetPodTemplate、NotReadyForProvisioningなど): ComputeClass が Pod ベースの課金モデル(podFamily優先度ルール)を使用している場合など、マネージド CapacityBuffer で単一のバッファの検証が失敗しました。ComputeClass がノードベースの課金と有効なバッファ制限を使用していることを確認します。
- 解釈: ComputeClass の少なくとも 1 つのバッファがまだ初期化中であるか、検証に失敗しています。出力の
バッファの準備はできているが、GKE が容量をプロビジョニングしない
BuffersConfigured 条件のステータスが True で、理由が Ready であるにもかかわらず、数分経ってもバッファノードが表示されない場合は、バッファのプロビジョニング戦略とスケールアップ イベントを確認します。
サポートされていないプロビジョニング戦略の ComputeClass ステータスを検査します。
kubectl get computeclass CUSTOM_COMPUTECLASS_NAME -o yamlGKE が ComputeClass 用に作成した CapacityBuffer を一覧表示します。
kubectl get capacitybuffers -n gke-managed-ccc \ -l cloud.google.com/compute-class=CUSTOM_COMPUTECLASS_NAMEバッファのイベントを表示します。
kubectl describe capacitybuffer BUFFER_NAME \ -n gke-managed-cccイベントは約 1 時間後に期限切れになります。
結果を評価する
status.observedBuffersフィールドのCustomProvisioningStrategy条件:解釈:
provisioningStrategyフィールドに、戦略名のスペルミスなど、サポートされていない値が含まれているため、status.observedBuffersフィールドに、次のようなメッセージを含むCustomProvisioningStrategy条件が含まれています。Buffer uses custom provisioning strategy "buffer.gke.io/standby"GKE は、不明な値をカスタム戦略として扱い、容量をプロビジョニングしません。
解決策:
provisioningStrategyフィールドの値をbuffer.x-k8s.io/active-capacityまたはbuffer.gke.io/standby-capacityに設定し、マニフェストを再度適用します。
CapacityBuffer 上の
NotTriggerScaleUpまたはStandbyBufferScaleUpFailedイベント:- 解釈: クラスタ オートスケーラーはノードを追加できません。たとえば、割り当て上限、ノードプール サイズの上限、使用可能な容量の不足などにより、スケールアップ オペレーションがブロックされることがあります。スタンバイ バッファの場合、ノードプールの自動作成とノード自動プロビジョニングの両方が無効になっているか、ComputeClass の優先度ルールでスタンバイ バッファがサポートしていないマシンタイプが必要になることがあります。
- 解決策:
NotTriggerScaleUpイベントは、クラスタ オートスケーラーがノードを追加できない理由を示します。割り当ての問題の詳細については、割り当て上限により容量バッファをプロビジョニングできないをご覧ください。Standard クラスタのスタンバイ バッファの場合は、ノードプールの自動作成が有効になっていることも確認します。StandbyBufferScaleUpFailed警告イベントは、優先度ルールでスタンバイ バッファがサポートしていないマシンタイプが必要であることを意味します。サポートされているマシンタイプを使用するように優先度ルールを更新します。スタンバイ バッファがサポートするマシンタイプの詳細については、容量バッファの要件と制限事項をご覧ください。
サポートを受ける
このドキュメントに問題のソリューションが見当たらない場合は、サポートを受けるで、次のトピックに関するアドバイスなど、詳細なヘルプをご覧ください。
- Cloud カスタマーケアに問い合わせて、サポートケースを登録する。
- StackOverflow で質問する、
google-kubernetes-engineタグを使用して類似の問題を検索するなどして、コミュニティからサポートを受ける。#kubernetes-engineSlack チャネルに参加して、コミュニティ サポートを利用することもできます。 - 公開 Issue Trackerを使用して、問題の報告や機能リクエストの登録を行う。
次のステップ
- カスタム ComputeClass で容量バッファを構成する
- ComputeClass のベスト プラクティスを読む
- デフォルトで ComputeClass を Pod に適用する
- GKE でワークロードの分離を構成する
- クラスタ オートスケーラーのスケールアップに関する問題のトラブルシューティング