為 Pod 設定多個網路介面

在 Google Distributed Cloud 軟體 (僅限 VMware) 中,Pod 的多個網路介面 (多 NIC) 可讓您區隔控制層流量和資料層流量。Pod 的多 NIC 支援使用者叢集,但不支援管理員叢集。本文說明如何啟用多 NIC、指定其他網路介面、將其指派給 Pod,以及排解設定問題。

關於 Pod 的多 NIC

網路層隔離對於使用網路功能虛擬化 (NFV) 的系統來說非常重要,例如廣域網路中的軟體定義網路 (SD-WAN)、雲端存取安全性代理程式 (CASB) 和新一代防火牆 (NG-FW)。這類 NFV 必須存取多個介面,才能區隔控制層和資料層。

多網路介面設定支援將網路介面與節點集區建立關聯,這有助於提升效能。例如,叢集可以包含多種節點類型。將高效能機器分組到一個節點集區時,您可以為節點集區建立額外的介面,改善流量。

設定多個網路介面

一般來說,為 Pod 設定多個網路介面需要三個步驟:

  1. 使用叢集設定檔中的 multipleNetworkInterfaces 和 enableDataplaneV2 欄位,為使用者叢集啟用多 NIC。

  2. 使用叢集設定檔中的 additionalNodeInterfaces 區段指定網路介面,並建立一或多個 NetworkAttachmentDefinition 自訂資源。

  3. 使用 k8s.v1.cni.cncf.io/networks 註解將網路介面指派給 Pod。

啟用多 NIC

將使用者叢集設定檔中的 multipleNetworkInterfaces 和 enableDataplaneV2 欄位設為 true,為 Pod 啟用多 NIC。

apiVersion: v1
multipleNetworkInterfaces: true
enableDataplaneV2: true
  ...

指定網路介面

在叢集設定檔的 additionalNodeInterfaces 區段中,指定其他節點網路介面。

舉例來說,以下是使用者叢集設定檔的一部分,顯示額外的節點網路介面:

apiVersion: v1
multipleNetworkInterfaces: true
enableDataplaneV2: true
network:
  serviceCIDR: "10.96.0.0/20"
  podCIDR: "192.168.0.0/16"
  vCenter:
    networkName: network-private310
  ...
  # New multiple network configs
  additionalNodeInterfaces:
  - networkName: "gke-network-1"
    ipBlockFilePath: "my-block-yaml"
    type: static

使用上述設定建立叢集後,您必須在使用者叢集中建立一或多個 NetworkAttachmentDefinition (NAD) 自訂資源,並在其中指定其他網路介面。NetworkAttachmentDefinitions 對應至 Pod 可用的網路。以下範例顯示 NetworkAttachmentDefinition 的資訊清單:

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  name: gke-network-1
  namespace: default
spec:
  config: '{
  "cniVersion":"0.3.0",
  "type": "ipvlan",
  "master": "ens224", # defines the node interface that this Pod interface would map to
  "mode": "l2",
  "ipam": {
    "type": "whereabouts",
    "range": "172.16.0.0/24"
   }
}'

將資訊清單儲存為 YAML 檔案 (例如 my-nad.yaml),然後建立 NetworkAttachmentDefinition:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-nad.yaml

將 USER_CLUSTER_KUBECONFIG 替換為使用者叢集 kubeconfig 檔案的路徑。

將網路介面指派給 Pod

使用 k8s.v1.cni.cncf.io/networks 註解,將一或多個網路介面指派給 Pod。每個網路介面都是以命名空間和 NetworkAttachmentDefinition 的名稱指定,並以正斜線 (/) 分隔。請使用以半形逗號分隔的清單指定多個網路介面。

在以下範例中,系統會將兩個網路介面指派給 samplepod Pod。網路介面是由在 default 命名空間中建立的兩個 NetworkAttachmentDefinitions 名稱 (gke-network-1 和 gke-network-2) 指定。

---
apiVersion: v1
kind: Pod
metadata:
  name: samplepod
  annotations:
    k8s.v1.cni.cncf.io/networks: default/gke-network-1,default/gke-network-2
spec:
  containers:
  ...

限制一組節點的網路介面

如果不想將 NetworkAttachmentDefinition 套用至整個叢集,可以將其功能限制在一組節點。

您可以使用指派給節點的標準標籤或自訂標籤,將叢集節點分組。接著,您可以使用 k8s.v1.cni.cncf.io/nodeSelector 註解,在 NetworkAttachmentDefinition 資訊清單中指定節點標籤。Google Distributed Cloud 會強制將參照這個自訂資源的所有 Pod,部署至具有這個標籤的節點。

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  annotations:
    k8s.v1.cni.cncf.io/nodeSelector: LABEL_KEY=LABEL_VALUE
  name: gke-network-1
spec:
...

以下範例顯示 NetworkAttachmentDefinition 上的 my-label=multinicNP 標籤,並強制將指派給 gke-network-1 網路的所有 Pod 部署到具有這個標籤的節點。

apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
  annotations:
    k8s.v1.cni.cncf.io/nodeSelector: my-label=multinicNP
  name: gke-network-1
spec:
...

如要將自訂標籤套用至節點,請使用 kubectl label nodes 指令:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label nodes NODE_NAME LABEL_KEY=LABEL_VALUE 

更改下列內容:

  • USER_CLUSTER_KUBECONFIG:使用者叢集 kubeconfig 檔案的路徑。
  • NODE_NAME:要加上標籤的節點名稱。
  • LABEL_KEY:標籤要使用的鍵。
  • LABEL_VALUE:標籤值。

在本例中,節點 my-node 具有 environment=production 標籤:

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label nodes my-node environment=production

安全疑慮

NetworkAttachmentDefinition 提供網路的完整存取權,因此叢集管理員必須謹慎提供建立、更新或刪除存取權給其他使用者。如果必須隔離特定 NetworkAttachmentDefinition,您可以在建立時指定非預設命名空間,這樣只有該命名空間中的 Pod 才能存取。

在下圖中,default 命名空間中的 Pod 無法存取 privileged 命名空間中的網路介面。

使用命名空間隔離網路流量。

支援的 CNI 外掛程式

本節列出 Google Distributed Cloud 多 NIC 功能支援的 CNI 外掛程式。指定 NetworkAttachmentDefinition 時,請僅使用下列外掛程式。

建立介面:

  • ipvlan
  • macvlan
  • bridge

Meta 外掛程式:

  • portmap
  • sbr
  • tuning

IPAM 外掛程式:

  • host-local
  • static
  • whereabouts

路徑設定

指派一或多個 NetworkAttachmentDefinitions 的 Pod 具有多個網路介面。根據預設,在這種情況下,Pod 的轉送表只會從指派的 NetworkAttachmentDefinitions 擴充本機可用的額外介面。傳送至預設閘道的封包仍會設為使用 Pod 的預設介面 eth0。您可以使用下列 CNI 外掛程式修改這項行為:

  • sbr
  • static
  • whereabouts

舉例來說,您可能希望大部分流量通過預設閘道,也就是透過預設網路介面傳輸。不過,您希望某些特定流量透過其中一個非預設介面傳輸。由於這兩種介面類型都提供相同的端點,因此可能難以根據目的地 IP (正常轉送) 區分流量。在這種情況下,來源路由 (SBR) 就能派上用場。

SBR 外掛程式

sbr 外掛程式可讓應用程式控管路由決策。應用程式會控制要使用什麼做為其建立連線的來源 IP 位址。當應用程式選擇使用 NetworkAttachmentDefinition 的 IP 位址做為來源 IP 時,封包會進入 sbr 設定的其他轉送表。sbr 路由表會透過自己的預設閘道傳送流量,該閘道會經過 NetworkAttachmentDefinition 的介面。該表格中的預設閘道 IP 是由 whereabouts 或 static 外掛程式中的 gateway 欄位控制。sbr 外掛程式會以鏈結外掛程式的形式執行。如要進一步瞭解 sbr 外掛程式 (包括使用資訊),請參閱「來源型轉送外掛程式」。

以下範例顯示在 whereabouts 中設定的 "gateway":"21.0.111.254",以及在 ipvlan 後方設為鏈結外掛程式的 sbr:

# ip route
default via 192.168.0.64 dev eth0  mtu 1500
192.168.0.64 dev eth0 scope link
# ip route list table 100
default via 21.0.111.254 dev net1
21.0.104.0/21 dev net1 proto kernel scope link src 21.0.111.1

靜態和 Whereabouts 外掛程式

whereabouts 外掛程式基本上是 static 外掛程式的擴充功能,兩者共用轉送設定。如需設定範例,請參閱靜態 IP 位址管理外掛程式。您可以定義閘道和路由,並新增至 Pod 的路由表。不過,您無法透過這種方式修改 Pod 的預設閘道。

以下範例顯示在 NetworkAttachmentDefinition 中新增 "routes": [{ "dst": "172.31.0.0/16" }]:

# ip route
default via 192.168.0.64 dev eth0  mtu 1500
172.31.0.0/16 via 21.0.111.254 dev net1
21.0.104.0/21 dev net1 proto kernel scope link src 21.0.111.1
192.168.0.64 dev eth0 scope link

設定範例

本節說明多 NIC 功能支援的一些常見網路設定。

多個 Pod 使用單一網路連結:

多個 Pod 使用單一網路連結。

單一 Pod 使用多個網路連結:

單一 Pod 使用多個網路連結。

多個網路連結指向單一 Pod 使用的相同介面:

多個網路連結指向單一 Pod 使用的同一個介面。

單一 Pod 多次使用相同的網路連結:

單一 Pod 多次使用相同的網路連結。

疑難排解

如果其他網路介面設定錯誤,指派給這些介面的 Pod 就不會啟動。本節說明如何找出多 NIC 功能問題的疑難排解資訊。

查看 Pod 事件

Multus 會透過 Kubernetes Pod 事件回報失敗。使用下列 kubectl describe 指令,查看特定 Pod 的事件:

kubectl describe pod POD_NAME

查看記錄

您可以在下列位置找到每個節點的 Whereabouts 和 Multus 記錄:

  • /var/log/whereabouts.log
  • /var/log/multus.log

查看 Pod 介面

使用 kubectl exec 指令查看 Pod 介面。成功套用 NetworkAttachmentDefinitions 後,Pod 介面會顯示下列輸出內容:

user@node1:~$ kubectl exec samplepod-5c6df74f66-5jgxs -- ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: net1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default
    link/ether 00:50:56:82:3e:f0 brd ff:ff:ff:ff:ff:ff
    inet 21.0.103.112/21 scope global net1
       valid_lft forever preferred_lft forever
38: eth0@if39: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 36:23:79:a9:26:b3 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 192.168.2.191/32 scope global eth0
       valid_lft forever preferred_lft forever

取得 Pod 狀態

使用 kubectl get 指令擷取特定 Pod 的網路狀態:

kubectl get pods POD_NAME -oyaml

以下是輸出內容範例,顯示具有多個網路的 Pod 狀態:

apiVersion: v1
kind: Pod
metadata:
  annotations:
    k8s.v1.cni.cncf.io/network-status: |-
      [{
          "name": "",
          "interface": "eth0",
          "ips": [
              "192.168.1.88"
          ],
          "mac": "36:0e:29:e7:42:ad",
          "default": true,
          "dns": {}
      },{
          "name": "default/gke-network-1",
          "interface": "net1",
          "ips": [
              "21.0.111.1"
          ],
          "mac": "00:50:56:82:a7:ab",
          "dns": {}
      }]
    k8s.v1.cni.cncf.io/networks: gke-network-1