配置 GKE 细化 NAT

本文档介绍了如何配置 Google Kubernetes Engine (GKE) 细粒度 NAT,以便为特定 Kubernetes 命名空间分配专用出站流量 IP 地址。

借助精细 NAT,您可以为 Public NAT 配置特定的来源外部 IP 地址,也可以为由 Cloud NAT 网关提供支持的 Private NAT 配置特定的来源内部 IP 地址。

如需配置精细 NAT,您需要使用两个集群级自定义资源声明路由政策:

  • CloudNATGateway:使用此资源为集群预配新的公共或专用 Cloud NAT 网关,或将集群配置为使用现有 Cloud NAT 网关。Cloud NAT 网关必须位于集群的区域和 VPC 网络中。
  • TrafficSelector:使用此资源,通过将来源命名空间 (namespaceSelector) 和目标 CIDR 映射到目标 CloudNATGateway 来定义出站流量路由规则。

准备工作

在配置 GKE Granular NAT 之前,请完成以下前提条件:

  • 验证集群要求:验证您的 VPC 原生集群是否运行 GKE 1.37.1-gke.2611000 版或更高版本,并启用了 GKE Dataplane V2。Autopilot 和 Standard 集群以及区域级和可用区级集群均支持 GKE 细化 NAT。
  • 验证 IAM 权限:
    • 验证您是否拥有集群的 Kubernetes Engine Admin (roles/container.admin) 角色,以便应用自定义资源。
    • 如果使用共享 VPC:宿主项目管理员必须在宿主项目的 IAM 政策中向服务项目的 GKE 服务代理 (service-SERVICE_PROJECT_NUMBER@container-engine-robot.) 授予 Compute Network Admin (roles/compute.networkAdmin) 角色。此角色允许 GKE 在共享 VPC 网络中创建和管理底层 Cloud NAT 网关、Cloud Router 路由器和 IP 地址。独立 VPC 网络不需要此手动授权。
  • 如有必要,请更新防火墙规则以包含链路本地 IP 地址:在出站数据包离开节点之前,GKE Granular NAT 会将其来源 IP 地址转换为 169.254.32.0/20 范围内的链路本地地址。如果您的组织强制执行严格的自定义防火墙规则,请验证您的规则是否支持此行为:
    • 出站规则:避免在目标为集群节点的出站允许规则中指定来源参数。如果您指定了来源参数,则必须包含链路本地地址范围 (169.254.32.0/20)。
    • 入站流量规则:避免在目标为集群节点的入站流量允许规则中指定目的地参数。如果您指定了目标参数,则必须包含链路本地地址范围 (169.254.32.0/20)。
  • VPC 内流量:确保 TrafficSelector 资源不包含集群 VPC 网络或使用 VPC 网络对等互连连接的其他 VPC 网络中子网范围的目标 CIDR。Private NAT 仅提供适用于 NCC spoke 的连接或使用 Hybrid NAT 的连接。
  • VPC 路由要求:对于要由 Public NAT 处理的每个 CIDR,集群的 VPC 网络必须包含一个静态路由,其目标范围包含该 CIDR,且其下一个跃点是默认互联网网关。

限制

  • 命名空间级粒度:您只能在 Kubernetes 命名空间级应用 GKE Granular NAT 政策。对于预览版,您无法在命名空间中使用标签选择器来选择单个 Pod 或服务账号。
  • 网关规则容量:每个 Cloud NAT 网关最多支持 128 条 NAT 规则,因此您最多可以为每个网关配置 128 个不同的 GKE 命名空间。如果您的集群需要为超过 128 个命名空间配置出站流量政策,则必须预配额外的网关。
  • Cloud NAT 限制:查看标准 Cloud NAT 限制,因为这些限制也适用于精细 NAT 出站流量。如需了解详情,请参阅 Public NAT 和 Private NAT 的限制。

在集群上启用 GKE 细化 NAT

您可以在创建新集群时启用精细 NAT,也可以更新现有集群。

创建新集群

Autopilot

如需创建启用了精细 NAT 和 GKE Dataplane V2 的新集群,请运行以下命令:

gcloud container clusters create-auto "CLUSTER_NAME" \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-granular-nat \
    --network-suite=STANDARD

替换以下内容:

  • CLUSTER_NAME:新集群的名称。
  • LOCATION_FLAG:为区域级集群指定 --region。
  • LOCATION:集群的 Compute Engine 区域或可用区(例如 us-central1 或 us-central1-a)。
  • VPC_NETWORK_NAME:您的 VPC 网络的名称。

标准

如需创建启用了精细 NAT 和 GKE Dataplane V2 的新集群,请运行以下命令:

gcloud container clusters create <var>CLUSTER_NAME</var> \
    --LOCATION_FLAG="LOCATION" \
    --network="VPC_NETWORK_NAME" \
    --enable-dataplane-v2 \
    --enable-granular-nat \
    --network-suite=STANDARD

替换以下内容:

  • CLUSTER_NAME:新集群的名称。
  • LOCATION_FLAG:为区域级集群指定 --region,或为可用区级集群指定 --zone。
  • LOCATION:集群的 Compute Engine 区域或可用区(例如 us-central1 或 us-central1-a)。
  • VPC_NETWORK_NAME:您的 VPC 网络的名称。

更新现有集群

Autopilot

如需在现有集群上启用精细 NAT,请运行以下命令:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat

替换以下内容:

  • CLUSTER_NAME:现有集群的名称。
  • LOCATION_FLAG:如果现有集群是区域级集群,请指定 --region;如果是可用区级集群,请指定 --zone。
  • LOCATION:集群所在的 Compute Engine 区域或可用区。

标准

如需在现有 Standard 集群上启用精细 NAT,请运行以下命令:

gcloud container clusters update `CLUSTER_NAME` \
    --LOCATION_FLAG="LOCATION" \
    --enable-granular-nat \
    --network-suite=STANDARD

替换以下内容:

  • CLUSTER_NAME:现有集群的名称。
  • LOCATION_FLAG:如果现有集群是区域级集群,请指定 --region;如果是可用区级集群,请指定 --zone。
  • LOCATION:集群所在的 Compute Engine 区域或可用区。

使用静态外部出站 IP 地址配置公共 Granular NAT

如果不同命名空间中的工作负载必须向外部第三方服务(例如强制执行严格 IP 地址许可清单的合作伙伴 API 或 Payment Gateway)提供不同的静态公共 IP 地址,请配置公共精细 NAT。

  1. 为 Cloud NAT 网关创建区域级 Cloud Router 路由器。GKE 不会自动为您创建 Cloud Router 路由器。

    gcloud compute routers create ROUTER_NAME \
        --network=VPC_NETWORK_NAME \
        --region=REGION
    

    替换以下内容:

    • ROUTER_NAME:新区域级 Cloud Router 路由器的名称。
    • VPC_NETWORK_NAME:您的 VPC 网络的名称。
    • REGION:集群所在的 Compute Engine 区域(例如 us-central1)。
  2. 在 GKE 集群所在的区域中预留静态外部 IP 地址,以便为命名空间分配专用外部出站流量 IP 地址,并为网关分配默认 IP 地址:

    gcloud compute addresses create nat-ip-default \
        --region=REGION
    gcloud compute addresses create nat-ip-1 \
        --region=REGION
    gcloud compute addresses create nat-ip-2 \
        --region=REGION
    

    将 REGION 替换为集群所在的 Compute Engine 区域(例如 us-central1)。

  3. 将以下清单保存为 cloud-nat-public.yaml,以定义代管式区域级 Cloud NAT 网关:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-managed
    spec:
      type: Public
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      publicNATOptions:
        defaultNatExternalIPs:
        - name: nat-ip-default
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
        tcpTransitoryTimeoutSeconds: 30
        tcpTimeWaitSeconds: 120
        icmpTimeoutSeconds: 30
      portOptions:
        minPortsPerVM: 32
        maxPortsPerVM: 65536
      logOptions:
        enable: true
        filter: ALL
    

    替换以下内容:

    • PROJECT_ID:您的 Google Cloud 项目 ID。
    • REGION:集群和 Cloud Router 路由器所在的 Compute Engine 区域。
    • ROUTER_NAME:您的 Cloud Router 路由器的名称。
  4. 将以下清单保存为 traffic-selectors-public.yaml,以将每个目标命名空间映射到其指定的 Public NAT IP 地址:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"nat-ip-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    在这些清单中:

    • cloud.google.com/cloud-nat 注解指定哪个预留的静态外部 IP 地址会转换匹配命名空间的出站流量。
    • namespaceSelector.matchLabels 字段与应用于目标 Kubernetes 命名空间的标签匹配。
    • 包含 0.0.0.0/0 的 egress.to.ipBlock.cidrs 列表会将所有出站互联网流量定向到指定的 Cloud NAT 网关。
  5. 将这两个清单应用到您的集群:

    kubectl apply -f cloud-nat-public.yaml -f traffic-selectors-public.yaml
    

GKE 会自动预配 Cloud NAT 网关,根据命名空间工作负载选择器配置转换规则,并分配预留的外部 IP 地址。

为 VPC 或 NCC 连接配置专用精细 Cloud NAT

使用专用 Granular Cloud NAT 为连接到本地网络或 NCC hub 上其他 VPC spoke 的工作负载分配特定的内部 IP 地址范围。

  1. 在 VPC 网络中创建用途为 PRIVATE_NAT 的专用子网:

    gcloud compute networks subnets create private-nat-subnet-1 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.0.0/29 \
        --purpose=PRIVATE_NAT
    
    gcloud compute networks subnets create private-nat-subnet-2 \
        --region=REGION \
        --network=VPC_NETWORK_NAME \
        --range=10.0.1.0/29 \
        --purpose=PRIVATE_NAT
    

    替换以下内容:

    • REGION:集群所在的 Compute Engine 区域。
    • VPC_NETWORK_NAME:您的 VPC 网络的名称。
  2. 将以下清单保存为 cloud-nat-private.yaml,以创建专用 CloudNATGateway 资源:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-private-managed
    spec:
      type: Private
      privateNATOptions:
        # Optional: Specify hubLink only if you are routing traffic through Network Connectivity Center
        hubLink: //networkconnectivity.googleapis.com/projects/PROJECT_ID/locations/global/hubs/HUB_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
      connectionOptions:
        udpTimeoutSeconds: 30
        tcpEstablishedTimeoutSeconds: 1200
    

    替换以下内容:

    • PROJECT_ID:您的 Google Cloud 项目 ID。
    • HUB_NAME:可选。Network Connectivity Center hub 的名称。仅当您通过 Network Connectivity Center 路由流量时,才指定此项。如果您不使用 Network Connectivity Center,请完全省略 privateNATOptions 块。
    • ROUTER_NAME:您的 Cloud Router 路由器的名称。
  3. 将以下清单保存为 traffic-selectors-private.yaml,以创建将命名空间映射到专用 NAT 网关的专用 TrafficSelector 资源:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-red-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-1"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-red-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.0.0/24
    ---
    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-green-private-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-subnet":"private-nat-subnet-2"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-private-managed
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: namespace-green-app
      egress:
        to:
          ipBlock:
            cidrs:
            - 10.200.1.0/24
    
  4. 应用 Private NAT 配置:

    kubectl apply -f cloud-nat-private.yaml -f traffic-selectors-private.yaml
    

使用现有 Cloud NAT 网关

如果您在同一 VPC 网络中管理多个 GKE 集群,或者有集群共享次要 Pod IP 地址范围,则可以将精细 NAT 配置为使用同一区域和 VPC 网络中的现有 Cloud NAT 网关。通过此配置,不同集群中的工作负载在连接到外部端点时,可以呈现统一的来源外部 IP 地址池。

  1. 列出您所在区域中的现有 Cloud NAT 网关,以确定现有网关的名称、关联的 Cloud Router 路由器和 VPC 网络。区域和 VPC 网络必须与 GKE 集群使用的区域和 VPC 网络一致:

    gcloud beta compute routers nats list \
        --router=ROUTER_NAME \
        --region=REGION \
        --format=yaml
    

    替换以下内容:

    • ROUTER_NAME:管理现有网关的 Cloud Router 路由器的名称。
    • REGION:集群和现有网关所在的 Compute Engine 区域(例如 us-central1)。
  2. 将以下清单保存为 cloud-nat-shared.yaml,以将集群关联到现有网关:

    kind: CloudNATGateway
    apiVersion: networking.gke.io/v1
    metadata:
      name: cloud-nat-public-shared
    spec:
      type: Public # type is a required field even for shared gateways. Can be either Public or Private.
      gatewayName: SHARED_NAT_GATEWAY_NAME
      cloudRouter:
        name: projects/PROJECT_ID/regions/REGION/routers/ROUTER_NAME
    

    替换以下内容:

    • SHARED_NAT_GATEWAY_NAME:现有 Cloud NAT 网关的名称。
    • PROJECT_ID:您的 Google Cloud 项目 ID。
    • REGION:集群和现有网关所在的 Compute Engine 区域。
    • ROUTER_NAME:管理现有网关的区域级 Cloud Router 路由器的名称。
  3. 将以下清单保存为 traffic-selector-shared.yaml,以通过共享网关路由来自命名空间的出站流量:

    kind: TrafficSelector
    apiVersion: networking.gke.io/v2
    metadata:
      name: ns-shared-public-route
      annotations:
        cloud.google.com/cloud-nat: '{"nat-external-ips":"NAT_IP_NAME"}'
    spec:
      action:
        kind: CloudNATGateway
        name: cloud-nat-public-shared
      subject:
        pods:
          namespaceSelector:
            matchLabels:
              app: NAMESPACE_APP_LABEL
      egress:
        to:
          ipBlock:
            cidrs:
            - 0.0.0.0/0
    

    替换以下内容:

    • NAT_IP_NAME:在共享网关上配置的预留外部静态 IP 地址的名称。
    • NAMESPACE_APP_LABEL:应用于目标 Kubernetes 命名空间的标签。
  4. 将清单应用于需要共享网关的每个 GKE 集群:

    kubectl apply -f cloud-nat-shared.yaml -f traffic-selector-shared.yaml
    

    在所选命名空间中的工作负载必须通过共享网关出站的每个集群上重复此步骤。

清理并停用精细 NAT

为避免持续产生结算费用并防止出现孤立的 Google Cloud 资源,请在从集群中移除精细 NAT 时遵循严格的操作顺序。

如需清理精细 NAT 资源,请完成以下步骤:

  1. 删除用户创建的 TrafficSelector 资源:

    删除您为命名空间创建的 TrafficSelector 自定义资源。请勿使用 --all 标志,因为删除系统创建的选择器(例如 gnat-intra-cluster 或 gnat-default-internet)可能会中断集群流量。

    kubectl delete trafficselector SELECTOR_NAME
    

    将 SELECTOR_NAME 替换为 TrafficSelector 资源的名称。

    精细 NAT 控制器会与 Google Cloud 网络协调,删除与您的命名空间关联的特定 NAT 规则和工作负载映射。

    在继续操作之前,请验证所有 TrafficSelector 资源是否已完成终止。

  2. 删除 CloudNATGateway 资源:

    删除集群中的所有 CloudNATGateway 自定义资源:

    kubectl delete cloudnatgateway --all
    
    • 代管式网关:移除所有转换规则后,GKE 会自动删除 Google Cloud 中的底层 Cloud NAT 网关。
    • 共享网关:GKE 会清理与您的命名空间关联的相关 NAT 规则。GKE 不会移除集群的次要 Pod IP 地址关联,并且共享 Cloud NAT 网关对其他集群保持活跃状态。
  3. 在集群上停用该功能:

    完全移除所有 Granular NAT 自定义资源后,在集群上停用该功能:

    gcloud container clusters update CLUSTER_NAME \
        --location=LOCATION \
        --no-enable-granular-nat
    

    替换以下内容:

    • CLUSTER_NAME:您的集群的名称。
    • LOCATION:集群所在的 Compute Engine 区域或可用区(例如 us-central1 或 us-central1-a)。

问题排查

如果您遇到连接问题,请使用以下方法诊断精细 NAT 配置和数据平面故障。

验证资源状态和日志

  • 检查自定义资源状态:检查 CloudNATGateway 或 TrafficSelector 自定义资源是否存在错误条件:

    kubectl describe cloudnatgateway GATEWAY_NAME
    kubectl describe trafficselector SELECTOR_NAME
    

    替换以下内容:

    • GATEWAY_NAME:CloudNATGateway 资源的名称。
    • SELECTOR_NAME:TrafficSelector 资源的名称。
  • 查看 Cloud NAT 规则:验证 GKE 工作负载选择器规则是否在底层 Cloud NAT 网关上处于活跃状态:

    gcloud beta compute routers nats rules list \
        --router=ROUTER_NAME \
        --nat=NAT_NAME \
        --region=REGION \
        --format=yaml
    

    替换以下内容:

    • ROUTER_NAME:区域级 Cloud Router 路由器的名称。
    • NAT_NAME:您的 Cloud NAT 网关的名称。
    • REGION:资源所在的 Compute Engine 区域。
  • 分析 Cloud NAT 日志记录:如果出站流量被丢弃或无法转换,请在 Cloud Logging 中查看 Cloud NAT 日志条目。过滤 gke_workload_identity 字段,将连接事件直接与特定 GKE 命名空间相关联。

如需详细了解如何诊断一般 Cloud NAT 错误,请参阅排查 Cloud NAT 问题。

后续步骤