在 Google Distributed Cloud 軟體 (僅限 VMware) 中,Pod 的多個網路介面 (多 NIC) 可讓您區隔控制層流量和資料層流量。Pod 的多 NIC 支援使用者叢集,但不支援管理員叢集。本文說明如何啟用多 NIC、指定其他網路介面、將其指派給 Pod,以及排解設定問題。
關於 Pod 的多 NIC
網路層隔離對於使用網路功能虛擬化 (NFV) 的系統來說非常重要,例如廣域網路中的軟體定義網路 (SD-WAN)、雲端存取安全性代理程式 (CASB) 和新一代防火牆 (NG-FW)。這類 NFV 必須存取多個介面,才能區隔控制層和資料層。
多網路介面設定支援將網路介面與節點集區建立關聯,這有助於提升效能。例如,叢集可以包含多種節點類型。將高效能機器分組到一個節點集區時,您可以為節點集區建立額外的介面,改善流量。
設定多個網路介面
一般來說,為 Pod 設定多個網路介面需要三個步驟:
使用叢集設定檔中的
multipleNetworkInterfaces和enableDataplaneV2欄位,為使用者叢集啟用多 NIC。使用叢集設定檔中的
additionalNodeInterfaces區段指定網路介面,並建立一或多個NetworkAttachmentDefinition自訂資源。使用
k8s.v1.cni.cncf.io/networks註解將網路介面指派給 Pod。
啟用多 NIC
將使用者叢集設定檔中的 multipleNetworkInterfaces 和 enableDataplaneV2 欄位設為 true,為 Pod 啟用多 NIC。
apiVersion: v1 multipleNetworkInterfaces: true enableDataplaneV2: true ...
指定網路介面
在叢集設定檔的 additionalNodeInterfaces 區段中,指定其他節點網路介面。
舉例來說,以下是使用者叢集設定檔的一部分,顯示額外的節點網路介面:
apiVersion: v1
multipleNetworkInterfaces: true
enableDataplaneV2: true
network:
serviceCIDR: "10.96.0.0/20"
podCIDR: "192.168.0.0/16"
vCenter:
networkName: network-private310
...
# New multiple network configs
additionalNodeInterfaces:
- networkName: "gke-network-1"
ipBlockFilePath: "my-block-yaml"
type: static
使用上述設定建立叢集後,您必須在使用者叢集中建立一或多個 NetworkAttachmentDefinition (NAD) 自訂資源,並在其中指定其他網路介面。NetworkAttachmentDefinitions 對應至 Pod 可用的網路。以下範例顯示 NetworkAttachmentDefinition 的資訊清單:
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: gke-network-1
namespace: default
spec:
config: '{
"cniVersion":"0.3.0",
"type": "ipvlan",
"master": "ens224", # defines the node interface that this Pod interface would map to
"mode": "l2",
"ipam": {
"type": "whereabouts",
"range": "172.16.0.0/24"
}
}'
將資訊清單儲存為 YAML 檔案 (例如 my-nad.yaml),然後建立 NetworkAttachmentDefinition:
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-nad.yaml
將 USER_CLUSTER_KUBECONFIG 替換為使用者叢集 kubeconfig 檔案的路徑。
將網路介面指派給 Pod
使用 k8s.v1.cni.cncf.io/networks 註解,將一或多個網路介面指派給 Pod。每個網路介面都是以命名空間和 NetworkAttachmentDefinition 的名稱指定,並以正斜線 (/) 分隔。請使用以半形逗號分隔的清單指定多個網路介面。
在以下範例中,系統會將兩個網路介面指派給 samplepod Pod。網路介面是由在 default 命名空間中建立的兩個 NetworkAttachmentDefinitions 名稱 (gke-network-1 和 gke-network-2) 指定。
---
apiVersion: v1
kind: Pod
metadata:
name: samplepod
annotations:
k8s.v1.cni.cncf.io/networks: default/gke-network-1,default/gke-network-2
spec:
containers:
...
限制一組節點的網路介面
如果不想將 NetworkAttachmentDefinition 套用至整個叢集,可以將其功能限制在一組節點。
您可以使用指派給節點的標準標籤或自訂標籤,將叢集節點分組。接著,您可以使用 k8s.v1.cni.cncf.io/nodeSelector 註解,在 NetworkAttachmentDefinition 資訊清單中指定節點標籤。Google Distributed Cloud 會強制將參照這個自訂資源的所有 Pod,部署至具有這個標籤的節點。
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
annotations:
k8s.v1.cni.cncf.io/nodeSelector: LABEL_KEY=LABEL_VALUE
name: gke-network-1
spec:
...
以下範例顯示 NetworkAttachmentDefinition 上的 my-label=multinicNP 標籤,並強制將指派給 gke-network-1 網路的所有 Pod 部署到具有這個標籤的節點。
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
annotations:
k8s.v1.cni.cncf.io/nodeSelector: my-label=multinicNP
name: gke-network-1
spec:
...
如要將自訂標籤套用至節點,請使用 kubectl label nodes 指令:
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label nodes NODE_NAME LABEL_KEY=LABEL_VALUE
更改下列內容:
USER_CLUSTER_KUBECONFIG:使用者叢集 kubeconfig 檔案的路徑。NODE_NAME:要加上標籤的節點名稱。LABEL_KEY:標籤要使用的鍵。LABEL_VALUE:標籤值。
在本例中,節點 my-node 具有 environment=production 標籤:
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG label nodes my-node environment=production
安全疑慮
NetworkAttachmentDefinition 提供網路的完整存取權,因此叢集管理員必須謹慎提供建立、更新或刪除存取權給其他使用者。如果必須隔離特定 NetworkAttachmentDefinition,您可以在建立時指定非預設命名空間,這樣只有該命名空間中的 Pod 才能存取。
在下圖中,default 命名空間中的 Pod 無法存取 privileged 命名空間中的網路介面。
支援的 CNI 外掛程式
本節列出 Google Distributed Cloud 多 NIC 功能支援的 CNI 外掛程式。指定 NetworkAttachmentDefinition 時,請僅使用下列外掛程式。
建立介面:
ipvlanmacvlanbridge
Meta 外掛程式:
portmapsbrtuning
IPAM 外掛程式:
host-localstaticwhereabouts
路徑設定
指派一或多個 NetworkAttachmentDefinitions 的 Pod 具有多個網路介面。根據預設,在這種情況下,Pod 的轉送表只會從指派的 NetworkAttachmentDefinitions 擴充本機可用的額外介面。傳送至預設閘道的封包仍會設為使用 Pod 的預設介面 eth0。您可以使用下列 CNI 外掛程式修改這項行為:
sbrstaticwhereabouts
舉例來說,您可能希望大部分流量通過預設閘道,也就是透過預設網路介面傳輸。不過,您希望某些特定流量透過其中一個非預設介面傳輸。由於這兩種介面類型都提供相同的端點,因此可能難以根據目的地 IP (正常轉送) 區分流量。在這種情況下,來源路由 (SBR) 就能派上用場。
SBR 外掛程式
sbr 外掛程式可讓應用程式控管路由決策。應用程式會控制要使用什麼做為其建立連線的來源 IP 位址。當應用程式選擇使用 NetworkAttachmentDefinition 的 IP 位址做為來源 IP 時,封包會進入 sbr 設定的其他轉送表。sbr 路由表會透過自己的預設閘道傳送流量,該閘道會經過 NetworkAttachmentDefinition 的介面。該表格中的預設閘道 IP 是由 whereabouts 或 static 外掛程式中的 gateway 欄位控制。sbr 外掛程式會以鏈結外掛程式的形式執行。如要進一步瞭解 sbr 外掛程式 (包括使用資訊),請參閱「來源型轉送外掛程式」。
以下範例顯示在 whereabouts 中設定的 "gateway":"21.0.111.254",以及在 ipvlan 後方設為鏈結外掛程式的 sbr:
# ip route
default via 192.168.0.64 dev eth0 mtu 1500
192.168.0.64 dev eth0 scope link
# ip route list table 100
default via 21.0.111.254 dev net1
21.0.104.0/21 dev net1 proto kernel scope link src 21.0.111.1
靜態和 Whereabouts 外掛程式
whereabouts 外掛程式基本上是 static 外掛程式的擴充功能,兩者共用轉送設定。如需設定範例,請參閱靜態 IP 位址管理外掛程式。您可以定義閘道和路由,並新增至 Pod 的路由表。不過,您無法透過這種方式修改 Pod 的預設閘道。
以下範例顯示在 NetworkAttachmentDefinition 中新增 "routes": [{ "dst": "172.31.0.0/16" }]:
# ip route
default via 192.168.0.64 dev eth0 mtu 1500
172.31.0.0/16 via 21.0.111.254 dev net1
21.0.104.0/21 dev net1 proto kernel scope link src 21.0.111.1
192.168.0.64 dev eth0 scope link
設定範例
本節說明多 NIC 功能支援的一些常見網路設定。
多個 Pod 使用單一網路連結:
單一 Pod 使用多個網路連結:
多個網路連結指向單一 Pod 使用的相同介面:
單一 Pod 多次使用相同的網路連結:
疑難排解
如果其他網路介面設定錯誤,指派給這些介面的 Pod 就不會啟動。本節說明如何找出多 NIC 功能問題的疑難排解資訊。
查看 Pod 事件
Multus 會透過 Kubernetes Pod 事件回報失敗。使用下列 kubectl describe 指令,查看特定 Pod 的事件:
kubectl describe pod POD_NAME
查看記錄
您可以在下列位置找到每個節點的 Whereabouts 和 Multus 記錄:
/var/log/whereabouts.log/var/log/multus.log
查看 Pod 介面
使用 kubectl exec 指令查看 Pod 介面。成功套用 NetworkAttachmentDefinitions 後,Pod 介面會顯示下列輸出內容:
user@node1:~$ kubectl exec samplepod-5c6df74f66-5jgxs -- ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
2: net1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default
link/ether 00:50:56:82:3e:f0 brd ff:ff:ff:ff:ff:ff
inet 21.0.103.112/21 scope global net1
valid_lft forever preferred_lft forever
38: eth0@if39: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
link/ether 36:23:79:a9:26:b3 brd ff:ff:ff:ff:ff:ff link-netnsid 0
inet 192.168.2.191/32 scope global eth0
valid_lft forever preferred_lft forever
取得 Pod 狀態
使用 kubectl get 指令擷取特定 Pod 的網路狀態:
kubectl get pods POD_NAME -oyaml
以下是輸出內容範例,顯示具有多個網路的 Pod 狀態:
apiVersion: v1
kind: Pod
metadata:
annotations:
k8s.v1.cni.cncf.io/network-status: |-
[{
"name": "",
"interface": "eth0",
"ips": [
"192.168.1.88"
],
"mac": "36:0e:29:e7:42:ad",
"default": true,
"dns": {}
},{
"name": "default/gke-network-1",
"interface": "net1",
"ips": [
"21.0.111.1"
],
"mac": "00:50:56:82:a7:ab",
"dns": {}
}]
k8s.v1.cni.cncf.io/networks: gke-network-1