VPC クラスタでの IP アドレス管理のトラブルシューティング

効果的な IP アドレス管理は、Google Kubernetes Engine(GKE)の VPC ネイティブ クラスタの安定性とスケーラビリティにとって不可欠です。問題が発生すると、スケーリングが妨げられたり、Pod のスケジューリングの失敗などのワークロード障害が発生したりする可能性があります。

このドキュメントは、GKE VPC ネイティブ クラスタの IP アドレス割り当て、ネットワークの安定性、高度なネットワーキング機能に関連する問題のトラブルシューティングと修正を行う際に参照してください。

この情報は主に、クラスタのネットワーク インフラストラクチャを管理するプラットフォーム管理者やオペレーターを対象としています。また、アプリケーション開発者にとっても、IP アドレス空間の枯渇といった基盤となるネットワークの制約がワークロードにどのように影響するかを理解するうえで役立ちます。デベロッパーが VPC を直接構成することはなくても、これらの一般的な問題を理解しておくとプラットフォーム管理者や運用担当者との連携が円滑になり、問題を迅速に解決するのに役立ちます。 Google Cloud のコンテンツで使用されている一般的なロールとタスクの例の詳細については、一般的な GKE ユーザーのロールとタスクをご覧ください。

IP アドレスの枯渇を診断する

クラスタで IP アドレスが不足すると、ノードのスケーリングが妨げられ、ワークロードが中断される可能性があります。このセクションでは、GKE で IP アドレスの使用率のモニタリングを使用して、潜在的な枯渇の問題を検出して解決する方法について説明します。

GKE は、ネットワーク アナライザの分析情報と他の GKE データソースのデータを使用して IP アドレスの使用率を計算します。このモニタリングは、すべての VPC ネイティブ クラスタで使用できます。

クラスタの IP アドレスの使用率を表示するには、次の操作を行います。

  1. Google Cloud コンソールで [Kubernetes クラスタ] ページに移動します。

    Kubernetes クラスタに移動

  2. 確認するクラスタの名前をクリックします。この操作を行うと、クラスタの [詳細] ページが開きます。

  3. 次のいずれかの方法で、[IP 使用状況] ページに移動します。

    • [オブザーバビリティ] タブを選択し、オブザーバビリティ ナビゲーション メニューで [IP 使用状況] をクリックします。

    • [ネットワーキング] セクションで、[クラスタ Pod の IPv4 範囲(デフォルト)] 行を見つけて、[IP 使用状況を表示] をクリックします。

  4. [IP 割り当てのステータス] 列を確認します。この列には、Pod の IP アドレス範囲で割り振られた IP アドレスの割合が表示されます。GKE は、個々の IP アドレスが Pod に割り振られているかどうかに関係なく、ノードに割り振られた CIDR の範囲内のすべての IP アドレスを割り振り済みと見なします。この動作により、使用中の IP アドレスだけでなく、ノードの Pod 範囲全体が割合に反映されます。クラスタが同じ IP アドレス範囲を共有している場合、使用率の割合にはそれらの合計がまとめて表示されます。

  5. CIDR の範囲、サブネット情報、推奨事項など、IP アドレスの使用状況の詳細を表示するには、[詳細を表示] をクリックします。

IP アドレスの使用率が高い(100% に近い)場合は、IP アドレスの枯渇を防ぐために次の解決策を検討してください。

  • 連続していないマルチ Pod CIDR を使用して、Pod の IPv4 アドレス範囲をさらに追加する。この機能を使用すると、クラスタの再作成や新しいサブネットの構成を行うことなく、Pod の IPv4 アドレスを追加できます。
  • クラスタに IPv4 アドレス範囲を追加してサブネットを増やす。この機能を使用すると、新しいノードプールで新しく追加されたサブネットの IP アドレスを使用できます。
  • Pod の最大数を低く設定してクラスタを新規作成する。このアプローチでは、ノードごとに予約する IP アドレスの数が少なくなるため、クラスタのネットワーク範囲での IP アドレスの全体的な使用量を管理するうえで役立ちます。詳細については、ノードあたりの最大 Pod 数を構成するをご覧ください。
  • IP アドレス範囲または RFC 1918 アドレス空間が十分でない場合は、RFC 1918 以外の範囲(クラス E アドレス空間を含む)を検討してください。

GKE Pod CIDR 割り当ての計算を理解する

よくある誤解は、GKE がオンデマンドで中央プールから個々の Pod IP アドレスを動的に割り当てるというものです。代わりに、新しいノードがクラスタに参加すると、GKE はサブネットのセカンダリ Pod 範囲から連続した CIDR ブロックを切り出し、そのノードに排他的に割り当てます。

Pod の迅速なロールアウト中に IP リサイクルの競合を防ぐため、GKE は、ノードあたりの最大 Pod 数の 2 倍以上のアドレスを保持する最小の 2 のべき乗ブロックに等しいノードあたりのブロックサイズを割り当てます。

Per-node Pod CIDR block size (addresses) = 2^(ceil(log2(2 * max_pods_per_node)))
  • デフォルト構成(--max-pods-per-node=110): 少なくとも 2 × 110 = 220 個のアドレスが必要です。最も近い 2 の累乗は 256 個のアドレスです。これにより、すべてのノードに /24 ブロック(256 個の IP アドレス)が割り当てられます。
  • クラスタノードの容量への影響: 各ノードは、そのノードで実行されている Pod の数に関係なく、/24 ブロック(256 個の Pod IP アドレス)を消費するため、セカンダリ Pod 範囲でサポートされるノードの最大数は、--max-pods-per-node の設定に直接依存します。
ノードあたりの最大 Pod 数 ノードごとのブロックが割り当てられる /19 Pod 範囲あたりの最大ノード数(8,192 個の IP アドレス) /16 Pod 範囲あたりの最大ノード数(65,536 個の IP アドレス)
110(デフォルト) /24(256 個の IP アドレス) 32 個のノード 256 個のノード
64 /25(128 個の IP アドレス) 64 個のノード 512 個のノード
32(Autopilot のデフォルト) /26(64 個の IP アドレス) 128 個のノード 1,024 個のノード
16 /27(32 個の IP アドレス) 256 個のノード 2,048 個のノード
8 /28(16 個の IP アドレス) 512 個のノード 4,096 個のノード

特定のネットワーキングの問題をトラブルシューティングする

以降のセクションでは、VPC ネイティブ クラスタに関連する問題を解決するためのガイダンスを示します。GKE IP アドレスの使用率の分析情報を表示することもできます。

デフォルトのネットワーク リソースの準備ができていない

現象

次のようなエラー メッセージが表示されます。

projects/[PROJECT_NAME]/regions/XXX/subnetworks/default
考えられる原因

同じサブネット上に並列オペレーションがあります。たとえば、別の VPC ネイティブ クラスタが作成されている、サブネット上でセカンダリ範囲の追加または削除が行われている、などです。

解決策

コマンドを再試行します。

IPCidrRange が無効な値である

現象

次のようなエラー メッセージが表示されます。

resource.secondaryIpRanges[1].ipCidrRange': 'XXX'. Invalid IPCidrRange: XXX conflicts with existing subnetwork 'default' in region 'XXX'
考えられる原因

別の VPC ネイティブ クラスタが同時に作成されていて、同じ VPC ネットワークの同じ範囲を割り振ろうとしています。

同じセカンダリ範囲が同じ VPC ネットワークのサブネットワークに追加されようとしています。

解決策

セカンダリ範囲がまだ指定されていない状態でクラスタ作成コマンドを実行して、このエラーが返された場合は、しばらくしてからクラスタの作成コマンドを再試行してください。

Pod 用の空き IP アドレス空間が不足している

現象

クラスタが長い時間プロビジョニング状態で停止しています。

クラスタの作成時にマネージド インスタンス グループ(MIG)エラーが返されます。

1 つ以上のノードをクラスタに追加すると、次のエラーが表示されます。

[IP_SPACE_EXHAUSTED] Instance 'INSTANCE_NAME' creation failed: IP space of 'projects/PROJECT_ID/regions/REGION/subnetworks/[SUBNET_NAME]-[SECONDARY_RANGE_NAME]-[HASH_8BYTES]' is exhausted. The secondary range name is in the format of 'gke-[CLUSTER_NAME]-[HASH_8BYTES]'.
考えられる原因

ノードの IP アドレスの枯渇: クラスタに割り当てられたサブネットのプライマリ IP アドレス範囲で使用可能な IP アドレスが不足しています。これは通常、ノードプールのスケーリング時や大規模なクラスタの作成時に発生します。

スケールダウンされたノードプールの初期ノード数が多い: GKE は、ノードプールの作成時にリクエストした初期容量に基づいて Pod の IP アドレスを予約します。initial_node_count の値が大きいノードプールを作成してから、ノード数をスケールダウンすると、GKE は、ノードプールの initial_node_count またはノードプール内の現在のノード数のいずれか大きい方に基づいて IP アドレス空間を予約し続けます。この状況では、現在のアクティブ ノード数が少ない場合でも、クラスタが IP アドレスの枯渇を報告する状態になる可能性があります。

Pod IP アドレスの枯渇: クラスタに割り当てられた Pod CIDR 範囲がいっぱいです。これは、Pod の数が Pod CIDR の容量を超えた場合に発生します。特に、ノードあたりの Pod 密度が高い場合や、大規模なデプロイの場合に発生します。

サブネットの特定の命名規則: エラー メッセージ内のサブネットの命名方法は、問題がノード IP アドレス範囲(ノード自体が IP アドレスを取得する場所)に関するものであるか、Pod IP アドレス範囲(Pod 内のコンテナが IP アドレスを取得する場所)に関するものであるかを確認するのに役立ちます。

セカンダリ範囲の枯渇(Autopilot): Autopilot クラスタでは、Pod IP アドレスに割り当てられたセカンダリ範囲が、スケーリングまたは高密度の Pod が原因で枯渇します。

解決策

クラスタの名前、コントロール プレーンのバージョン、オペレーション モード、関連付けられた VPC 名、サブネット名、CIDR などの情報を収集します。また、デフォルトおよび追加のクラスタ Pod の IPv4 範囲(名前と CIDR を含む)、VPC ネイティブ トラフィック ルーティングが有効になっているかどうか、クラスタレベルとノードプール レベルの両方で設定されているノードあたりの Pod の最大数(該当する場合)を確認します。影響を受けるノードプールと、それらの特定の IPv4 Pod の IP アドレス範囲とノードあたりの Pod の最大構成(クラスタ全体の設定と異なる場合)を確認します。また、ノードプール構成で、ノードあたりの最大 Pod 数のデフォルト構成とカスタム構成(存在する場合)を記録します。

IP アドレスの枯渇に関する問題を確認する

  • Network Intelligence Center: GKE クラスタの Network Intelligence Center で Pod の IP アドレス範囲の IP アドレス割り振り率が高いかどうかを確認します。

    Network Intelligence Center 内の Pod 範囲で IP アドレスの割り振り率が高い場合は、Pod の IP アドレス範囲が枯渇しています。

    Pod の IP アドレス範囲に通常の割り振り率が表示されているにもかかわらず、IP アドレスの枯渇が引き続き発生している場合は、ノードの IP アドレス範囲が枯渇している可能性があります。

  • 監査ログ: IP_SPACE_EXHAUSTED エントリの resourceName フィールドを調べて、サブネット名またはセカンダリ Pod の IP アドレス範囲名と比較します。

  • 枯渇した IP アドレス範囲がノードの IP アドレス範囲か Pod の IP アドレス範囲かを確認します。

    枯渇した IP アドレス範囲がノードの IP アドレス範囲か Pod の IP アドレス範囲かを確認するには、IP_SPACE_EXHAUSTED ログエントリの ipSpaceExhausted 部分にある resourceName の値が、影響を受ける GKE クラスタで使用されている Pod のサブネット名またはセカンダリ IPv4 アドレス範囲の名前と関連付けられているかどうかを確認します。

    resourceName の値が「[Subnet_name]」形式の場合、ノードの IP アドレス範囲が枯渇しています。resourceName の値が「[Subnet_name]-[Name_of_Secondary_IPv4_range_for_pods]-[HASH_8BYTES]」形式の場合、Pod の IP アドレス範囲が枯渇しています。

Pod の IP アドレスの枯渇を解決します。

  • 既存の Pod CIDR のサイズを変更する: 現在の Pod の IP アドレス範囲のサイズを増やします。連続していないマルチ Pod CIDR を使用して、Pod IP 範囲をクラスタに追加できます。
  • 追加のサブネットを作成する: 専用の Pod CIDR を持つサブネットをクラスタに追加します。

IP アドレスを解放するために、ノードあたりの Pod 数を減らします。

ノードの IP アドレスの枯渇を解決します。

  • IP アドレスの計画を確認する: ノードの IP アドレス範囲がスケーリング要件と一致していることを確認します。
  • 新しいクラスタを作成する(必要な場合): ノードの IP アドレス範囲が厳しく制約されている場合は、適切な IP アドレス範囲のサイズを持つ代替クラスタを作成します。VPC ネイティブ クラスタの IP 範囲と IP 範囲の計画をご覧ください。

追加の診断コマンドと、サービスを中断しない解決ハンドブック

クラスタのダウンタイムを最小限に抑えながら、トラブルシューティングを迅速化し、IP アドレスの枯渇を解決するには、次の診断と運用のハンドブックを適用します。

1. Cloud Logging と Recommender を使用したコマンドラインの二分

コマンドラインから IP アドレスの枯渇の問題を二分するには、次のタスクを実行します。

  • Cloud Logging で明示的な IP アドレス枯渇イベントをクエリします。 logquery resource.type="k8s_cluster" logName:"logs/container.googleapis.com" ("IP_SPACE_EXHAUSTED" OR "ran out of IPs" OR "wouldn't fit if a new node is added")
  • Recommender API にクエリを実行して、ネットワーク アナライザの自動分析情報を取得します(使用率が 80% を超える場合)。 sh gcloud recommender insights list \ --insight-type=google.networkanalyzer.container.ipAddressInsight \ --project=PROJECT_ID --location=GLOBAL
2. ライブ インプレース プライマリ サブネット拡張(ノードのプライマリ IP アドレスの枯渇に対応)

セカンダリ範囲とは異なり、サブネットのプライマリ IP ホストアドレス範囲は、クラスタを再作成したりワークロードを中断したりすることなく、Compute Engine でライブ拡張できます。

gcloud compute networks subnets expand-ip-range SUBNET_NAME \
    --region=REGION \
    --prefix-length=NEW_PREFIX_LENGTH

たとえば、プライマリ サブネットを /24 から /22 に拡張すると、プライマリ VM ホストの IP アドレス容量が 252 から 1,020 の VM ノードに増加します。

3. Blue/Green ノードプール移行ハンドブック(Pod IP アドレスの枯渇に対応)

既存のノードプールが、小さなセカンダリ範囲または --max-pods-per-node=110 のデフォルト構成の大きな IP アドレス割り振りにロックされている場合は、適切なサイズの CIDR を持つ新しいノードプールにワークロードを移行します。

# Step 1: Add a new secondary IPv4 range to your subnet
gcloud compute networks subnets update SUBNET_NAME \
    --region=REGION \
    --add-secondary-ranges=NEW_SECONDARY_RANGE_NAME=NEW_CIDR

# Step 2: Register the new Pod range with your GKE cluster
gcloud container clusters update CLUSTER_NAME \
    --region=REGION \
    --additional-pod-ipv4-ranges=NEW_SECONDARY_RANGE_NAME

# Step 3: Launch a replacement node pool with right-sized --max-pods-per-node
gcloud container node-pools create pool-blue-v2 \
    --cluster=CLUSTER_NAME \
    --region=REGION \
    --max-pods-per-node=32 \
    --pod-ipv4-range=NEW_SECONDARY_RANGE_NAME \
    --enable-autoscaling --min-nodes=2 --max-nodes=60

# Step 4: Gracefully cordon and drain old nodes
kubectl cordon -l cloud.google.com/gke-nodepool=OLD_POOL_NAME
kubectl drain -l cloud.google.com/gke-nodepool=OLD_POOL_NAME --ignore-daemonsets --delete-emptydir-data --force --grace-period=300

# Step 5: Delete old node pool after workloads migrate
gcloud container node-pools delete OLD_POOL_NAME \
    --cluster=CLUSTER_NAME \
    --region=REGION
4. IP マスカレードを使用したクラス E(240.0.0.0/4)範囲の設計

エンタープライズ ネットワークで RFC 1918 アドレス空間が不足している場合は、クラス E(240.0.0.0/4)IPv4 ブロックをセカンダリ Pod 範囲に割り振ります(これらのブロックは 2 億 6, 800 万を超えるアドレスを提供します)。GKE IP マスカレード エージェントを有効にして、オンプレミス データベースまたは他の既存のネットワーク エンドポイントへの下り(外向き)トラフィックが、ノードのプライマリ RFC 1918 ホストアドレスを使用してマスカレードされるようにします。

gcpdiag を使用して IP アドレスの枯渇に関する問題をデバッグする

gcpdiag はオープンソース ツールです。正式にサポートされている Google Cloud プロダクトではありません。gcpdiag ツールを使用すると、 Google Cloudプロジェクトの問題を特定して修正できます。詳細については、GitHub の gcpdiag プロジェクトをご覧ください。

Autopilot クラスタと Standard GKE クラスタで IP アドレスの枯渇が発生する原因を調べるには、次の点に注意してください。
  • クラスタのステータス: IP アドレスの枯渇が報告された場合、クラスタのステータスを確認します。
  • ネットワーク アナライザ: ネットワーク アナライザのログに対して Stackdriver ログにクエリを実行し、Pod またはノードの IP アドレスが枯渇していないかどうかを確認します。
  • クラスタタイプ: クラスタタイプを確認し、クラスタタイプに基づいて関連する推奨事項を提供します。

Google Cloud コンソール

  1. 次のコマンドを入力してコピーします。
  2. gcpdiag runbook gke/ip-exhaustion \
        --parameter project_id=PROJECT_ID \
        --parameter name=CLUSTER_NAME \
        --parameter location=ZONE|REGION \
        --parameter start_time=yyyy-mm-ddThh:mm:ssZ \
        --parameter end_time=yyyy-mm-ddThh:mm:ssZ \
  3. Google Cloud コンソールを開き、Cloud Shell を有効にします。
  4. Cloud コンソールを開く
  5. コピーしたコマンドを貼り付けます。
  6. gcpdiag コマンドを実行します。gcpdiag Docker イメージがダウンロードされ、診断チェックが実行されます。必要に応じて、出力の指示に沿って、失敗したチェックを修正します。

Docker

Docker コンテナで gcpdiag を起動するラッパーを使用して gcpdiag を実行できます。Docker または Podman がインストールされている必要があります。

  1. ローカル ワークステーションで次のコマンドをコピーして実行します。
    curl https://gcpdiag.dev/gcpdiag.sh >gcpdiag && chmod +x gcpdiag
  2. gcpdiag コマンドを実行します。
    ./gcpdiag runbook gke/ip-exhaustion \
        --parameter project_id=PROJECT_ID \
        --parameter name=CLUSTER_NAME \
        --parameter location=ZONE|REGION \
        --parameter start_time=yyyy-mm-ddThh:mm:ssZ \
        --parameter end_time=yyyy-mm-ddThh:mm:ssZ \

このランブックで使用可能なパラメータを表示します。

次のように置き換えます。

  • PROJECT_ID: リソースを含むプロジェクトの ID。
  • CLUSTER_NAME: プロジェクト内のターゲット GKE クラスタの名前。
  • LOCATION: クラスタが配置されているゾーンまたはリージョン。
  • start_time: 問題が発生した時刻。
  • end_time: 問題が終了した時刻。問題が継続している場合は、現在の時刻を設定します。

有用なフラグ:

gcpdiag ツールのすべてのフラグの一覧と説明については、gcpdiag の使用手順をご覧ください。

デフォルトの SNAT が無効になっているかどうか確認する

デフォルトの SNAT のステータスを確認するには、次のコマンドを使用します。

gcloud container clusters describe CLUSTER_NAME

CLUSTER_NAME は、使用するクラスタの名前に置き換えます。

出力は次のようになります。

networkConfig:
  disableDefaultSnat: true
  network: ...

--enable-ip-alias なしで --disable-default-snat は使用できない

このエラー メッセージと must disable default sNAT (--disable-default-snat) before using public IP address privately in the cluster が表示された場合、プライベート クラスタでパブリック IP アドレスが使用されているため、クラスタの作成時に --disable-default-snat フラグを明示的に設定する必要があります。

cannot disable default sNAT ... などのエラー メッセージが表示された場合、クラスタでデフォルトの SNAT を無効にすることはできません。この問題を解決するには、クラスタの構成を確認します。

デフォルトの SNAT を無効にして Cloud NAT をデバッグする

--disable-default-snat フラグを使用して限定公開クラスタを作成し、インターネット アクセスに Cloud NAT を設定しているときに、Pod からインターフェースに向かうトラフィックが表示されない場合は、Cloud NAT 構成に Pod の範囲が含まれていることを確認します。

Pod 間の通信に問題がある場合は、ノードの iptables ルールを調べて、Pod 範囲が iptables ルールによってマスカレードされていないことを確認します。

詳細については、GKE の IP マスカレードのドキュメントをご覧ください。

クラスタに IP マスカレード エージェントが構成されていない場合、GKE は Pod 間の通信が自動的にマスカレードされないようにします。IP マスカレード エージェントが構成されている場合は、デフォルトの IP マスカレード ルールがオーバーライドされます。Pod 範囲のマスカレードを無視するように、IP マスカレード エージェントで追加のルールが構成されていることを確認します。

デュアルスタック クラスタのネットワーク通信が想定どおりに機能していない

考えられる原因
GKE クラスタによって作成されたファイアウォール ルールに、割り振られた IPv6 アドレスが含まれていません。
解決策
次の手順でファイアウォール ルールを検証できます。
  1. ファイアウォール ルールの内容を確認します。

    gcloud compute firewall-rules describe FIREWALL_RULE_NAME
    

    FIREWALL_RULE_NAME の部分は、ファイアウォール ルールの名前に置き換えます。

    各デュアルスタック クラスタは、ノードと Pod が相互に通信できるようにするファイアウォール ルールを作成します。ファイアウォール ルールの内容は、次のようになります。

    allowed:
    - IPProtocol: esp
    - IPProtocol: ah
    - IPProtocol: sctp
    - IPProtocol: tcp
    - IPProtocol: udp
    - IPProtocol: '58'
    creationTimestamp: '2021-08-16T22:20:14.747-07:00'
    description: ''
    direction: INGRESS
    disabled: false
    enableLogging: false
    id: '7326842601032055265'
    kind: compute#firewall
    logConfig:
      enable: false
    name: gke-ipv6-4-3d8e9c78-ipv6-all
    network: https://www.googleapis.com/compute/alpha/projects/my-project/global/networks/alphanet
    priority: 1000
    selfLink: https://www.googleapis.com/compute/alpha/projects/my-project/global/firewalls/gke-ipv6-4-3d8e9c78-ipv6-all
    selfLinkWithId: https://www.googleapis.com/compute/alpha/projects/my-project/global/firewalls/7326842601032055265
    sourceRanges:
    - 2600:1900:4120:fabf::/64
    targetTags:
    - gke-ipv6-4-3d8e9c78-node
    

    sourceRanges 値は subnetIpv6CidrBlock と同じである必要があります。targetTags 値は GKE ノードのタグと同じである必要があります。この問題を解決するには、クラスタの ipAllocationPolicy ブロック情報を使用して、ファイアウォール ルールを更新します。

次のステップ

  • Kubernetes DNS の問題の診断に関する一般的な情報については、DNS 解決のデバッグをご覧ください。

  • このドキュメントに問題のソリューションが見当たらない場合は、サポートを受けるで、次のトピックに関するアドバイスなど、詳細なヘルプをご覧ください。