非统一内存访问 (NUMA) 可让您在集群和虚拟机 (VM) 上支持高性能、低延迟的工作负载。在集群节点上调整 Kubernetes 设置并配置具有 NUMA 亲和性的虚拟机,有助于确保工作负载直接调度到 NUMA 节点上。
在 NUMA 感知型虚拟机中,所有通信都保留在 NUMA 节点的本地。此架构可防止可能降低性能的远程数据传输。
将节点配置为使用 NUMA
以下部分介绍了如何配置关键的 Kubernetes 组件来调整节点并确保其可以调度 NUMA 感知型容器。这些 NUMA 节点经过调整,可优化 CPU 和内存性能。请按照您要运行 NUMA 感知型虚拟机的每个节点的相关说明执行操作。
更新 kubelet 配置
作为支持 NUMA 节点亲和性的节点配置的一部分,您需要在 kubelet 配置中进行以下更改:
- 启用使用
static政策的 CPU 管理器 - 启用使用
Static政策的内存管理器 - 启用使用
restricted拓扑的拓扑管理器
如需在工作器节点上配置 kubelet,请执行以下操作:
在工作器节点上找到
kubelet文件,然后将其打开以进行修改:edit /etc/default/kubelet如果您没有看到
kubelet文件,请使用以下命令创建它:echo "KUBELET_EXTRA_ARGS=\"\"" >> /etc/default/kubelet此命令会创建包含空的
KUBELET_EXTRA_ARGS=""部分的kubelet文件。如需启用使用
static政策的 CPU 管理器,请将--cpu-manager-policy=static标志添加到文件的KUBELET_EXTRA_ARGS=""部分:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static"
如需启用使用
Static政策的内存管理器,请将--memory-manager-policy=Static标志添加到文件的KUBELET_EXTRA_ARGS=""部分:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static"
如需启用使用
restricted政策的拓扑管理器,请将--topology-manager-policy=restricted标志添加到文件的KUBELET_EXTRA_ARGS=""部分:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static --topology-manager-policy=restricted"
检查 Google Distributed Cloud 预留的当前内存量:
cat /var/lib/kubelet/kubeadm-flags.env输出应如下所示:
KUBELET_KUBEADM_ARGS="--anonymous-auth=false --authentication-token-webhook=true --authorization-mode=Webhook --container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock --feature-gates=SeccompDefault=true --kube-reserved=cpu=100m,memory=3470Mi --max-pods=110 --node-ip=192.168.1.190 --node-labels=baremetal.cluster.gke.io/k8s-ip=192.168.1.190,baremetal.cluster.gke.io/namespace=cluster-user001,baremetal.cluster.gke.io/node-pool=node-pool-1,cloud.google.com/gke-nodepool=node-pool-1 --pod-infra-container-image=gcr.io/anthos-baremetal-release/pause-amd64:3.1-gke.5 --provider-id=baremetal://192.168.1.190 --read-only-port=10255 --rotate-server-certificates=true --seccomp-default=true"
--kube-reserved=cpu=100m,memory=3470Mi设置表示 Google Distributed Cloud 在节点上预留了 3,470 MiB 的内存。将
kubelet文件的KUBELET_EXTRA_ARGS部分中的--reserved-memory标志设置为比当前预留的内存多 100 MiB,以考虑逐出阈值。如果没有预留的内存,则可以跳过此步骤。例如,通过上一步示例中
3470Mi的预留内存,您需要在kubelet文件中预留3570Mi的内存:KUBELET_EXTRA_ARGS="--cpu-manager-policy=static --memory-manager-policy=Static --topology-manager-policy=restricted --reserved-memory=0:memory=3570Mi"
从
/var/lib目录中移除 CPU 和内存状态文件:rm /var/lib/cpu_manager_state rm /var/lib/memory_manager_state重启 kubelet:
systemctl start kubelet
如需详细了解这些政策设置,请参阅以下 Kubernetes 文档:
将节点配置为使用巨型页面
启用使用 Static 政策的内存管理器后,您可以添加巨型页面以进一步提高 NUMA 节点上的容器工作负载性能。顾名思义,巨型页面可让您指定大于标准的 4 千字节 (KiB) 的内存页面。VM Runtime on GDC 支持 2 兆比字节 (MiB) 和 1 吉比字节 (GiB) 的巨型页面。您可以在运行时为节点设置巨型页面,也可以在节点机器启动时设置。我们建议您在要运行 NUMA 感知型虚拟机的每个节点上配置巨型页面。
如需在运行时在 NUMA 节点上配置特定大小的巨型页面数量,请使用以下命令:
echo HUGEPAGE_QTY > \ /sys/devices/system/node/NUMA_NODE/hugepages/hugepages-HUGEPAGE_SIZEkB/nr_hugepages请替换以下内容:
HUGEPAGE_QTY:要分配的指定大小的巨型页面数量。NUMA_NODE:要为其分配巨型页面的 NUMA 节点(例如node0)。HUGEPAGE_SIZE:巨型页面的大小(以千字节为单位),即2048(2 MiB) 或1048576(1 GiB)。
将虚拟机配置为使用 NUMA 节点
针对 NUMA 调整集群节点后,您可以创建 NUMA 感知型虚拟机。NUMA 感知虚拟机会调度到 NUMA 节点上。
如需创建 NUMA 感知型虚拟机,请执行以下操作:
按照相关说明通过清单创建虚拟机。
使用以下
compute设置将虚拟机配置为支持 NUMA 感知型:spec.compute.guaranteed:将guaranteed设置为true。使用此设置后,virt-launcherPod 会配置为放入 Kubernetes 保证的服务质量 (QoS) 类。spec.compute.advancedCompute:dedicatedCPUPlacement:将dedicatedCPUPlacement设置为true。此设置会将虚拟 CPU 固定到节点的物理 CPU。hugePageSize:将hugePageSize设置为2Mi或1Gi以指定虚拟机要使用的巨型页面大小,即 2 MiB 或 1 GiB。numaGuestMappingPassthrough:为此设置添加空结构 ({})。此设置会建立 NUMA 亲和性,以便虚拟机仅调度到 NUMA 节点上。
下面的 VirtualMachine 清单示例展示了 NUMA 感知型虚拟机配置可能的情况:
apiVersion: vm.cluster.gke.io/v1 kind: VirtualMachine metadata: name: vm1 spec: compute: cpu: vcpus: 2 guaranteed: true advancedCompute: dedicatedCPUPlacement: true hugePageSize: 2Mi numaGuestMappingPassthrough: {} memory: capacity: 256Mi interfaces: - name: eth0 networkName: pod-network default: true disks: - virtualMachineDiskName: disk-from-gcs boot: true readOnly: true