NSX 叠加和边缘路由

Google Cloud 上的 VMware 解决方案使用 VMware NSX 为 VMware Cloud Foundation (VCF) 工作负载虚拟机 (VM) 提供软件定义网络 (SDN) 和安全性。本文档介绍了 NSX 叠加网络如何与Google Cloud 虚拟私有云 (VPC) 底层网络交互，并比较了 NSX Edge 节点与 VPC 网络之间的路由架构。

Google Cloud中的 NSX 概览

在 VMware 解决方案中， Google Cloud VPC 网络为裸金属 ESXi 主机（Compute Engine z3-highmem-192-highlssd-metal 实例）和管理设备提供物理和虚拟化底层。VMware NSX 位于此底层之上，可为 VCF 工作负载虚拟机提供抽象的网络拓扑：

  • Geneve 叠加层封装：ESXi 主机和 NSX Edge 节点在专用 NSX-TEP VPC 子网上建立传输端点 (TEP) 接口（vmk10 或 vmk3）。工作负载虚拟机流量封装在 Geneve 数据包（UDP 端口 6081）中，并使用 8896 字节的最大传输单元 (MTU) 通过 Google CloudVPC 底层在主机 TEP 之间路由。
  • 解耦的 IP 寻址：连接到 NSX 叠加层网段的工作负载虚拟机可以使用任意 IP 地址范围，而无需使用底层 Google Cloud VPC 子网中的 IP 地址或达到 VPC 子网 IP 配额。
  • 多层路由架构：
    • Tier-1 (T1) 网关：在叠加层网段、本地化 DHCP 服务和网关防火墙规则之间提供东西向路由。
    • Tier-0 (T0) 网关：在 NSX 叠加层环境与底层 Google Cloud VPC 网络之间提供南北向路由。
  • 分布式安全：NSX 分布式防火墙 (DFW) 直接在每个工作负载虚拟机的虚拟网络接口卡 (vNIC) 上强制执行有状态微隔离政策，无论虚拟机位于哪个叠加层网段或 ESXi 主机上。

底层拓扑与叠加层拓扑

网络架构分为两个不同的层： Google Cloud VPC 底层和 VMware NSX 叠加层，如下图所示（点击可放大）：

Google Cloud VPC 底层，在 VMware NSX 叠加层下方托管 Z3 实例和 VCF 设备。 Google Cloud VPC 底层，在 VMware NSX 叠加层下方托管 Z3 实例和 VCF 设备。

下表总结了每个网络层的组件和职责：

网络层 主要组件 需求管理代表的职责
Google Cloud VPC 底层
  • 裸金属 ESXi 主机（主 NIC 和 Dynamic NIC）
  • VCF 管理虚拟机（vCenter Server、SDDC Manager、NSX Manager 集群、VMware HCX）
  • VPC 子网（Management、vSAN、vMotion、NSX-TEP、NSX-Uplink）
  • 区域级内部负载均衡器和 Network Connectivity Center 路由器设备
  • 提供 ESXi 主机 VMkernel 端口之间的 IP 可达性
  • 直接在 VPC 子网上托管 VCF 控制平面设备
  • 在 ESXi 主机 TEP 和 NSX Edge TEP 之间传输封装的 Geneve 数据包
  • 连接本地网络、对等互连 VPC 和Google Cloud服务
NSX SDN 叠加层
  • NSX 边缘集群（Tier-0 和 Tier-1 逻辑路由器）
  • NSX 叠加层 细分
  • 工作负载虚拟机
  • NSX 分布式防火墙 (DFW) 和网关防火墙
  • 为工作负载虚拟机提供隔离的第 2 层网域和东西向路由
  • 通过 0 层网关向 VPC 底层通告工作负载 CIDR 块
  • 提供负载均衡、NAT 和南北向边缘安全

高级架构应用场景

您可以构建 NSX 和 VPC 拓扑，以支持不同的隔离和多租户要求：

  • 单个 VPC 中的整合工作负载网域：在单个Google Cloud VPC 网络中部署 VCF 管理网域和一个或多个 VI 工作负载网域。每个工作负载网域在同一 VPC 中使用专用的 vSAN、vMotion 和 NSX-TEP 子网，同时共享或隔离 NSX Edge 集群以进行南北向路由。
  • 多 VPC 映射：将不同的 NSX Tier-0 网关或单独的 NSX Edge 集群连接到隔离的 Google Cloud VPC 网络（例如，用于生产工作负载、边界网络和共享服务的单独 VPC）。此拓扑在 Google Cloud 中保留了严格的 VPC 级防火墙和路由边界，同时保持了集中式 VCF 生命周期管理。

NSX Edge 路由

如需在 NSX 叠加层网段与 Google Cloud VPC 网络之间路由流量，NSX Edge 虚拟机必须通过NSX-Uplink VPC 子网交换路由或转发数据包。您可以使用以下任一选项在 NSX Tier-0 网关与 VPC 网络之间配置南北向路由：

方案 1：VPC 静态路由（主备）

在静态路由拓扑中，一对主备 NSX Edge 节点在 NSX-Uplink VPC 子网上使用浮动虚拟 IP 地址 (VIP)，该子网前面有一个区域级内部直通式网络负载均衡器，如下图所示（点击可放大）：

VPC 静态路由，用于将 NSX 叠加层流量通过内部负载均衡器定向到主备 NSX Edge 节点。 VPC 静态路由，用于将 NSX 叠加层流量通过内部负载均衡器定向到主备 NSX Edge 节点。

  • 路由机制：您可以在Google Cloud VPC 路由表中创建自定义静态路由，将 NSX 叠加层工作负载 CIDR 块指定为目的地，并将 NSX Edge 浮动 VIP（或内部负载均衡器转发规则）指定为下一个跃点。
  • 高可用性：如果您将区域级内部后端服务与 GARP_RA 高可用性政策（或别名 IP 范围切换）搭配使用，则在活跃边缘节点发生故障时，流量会自动重定向到备用 NSX 边缘节点。
  • 应用场景：最适合工作负载 CIDR 块不经常更改且单边缘带宽满足吞吐量要求的小型部署或静态叠加拓扑。

选项 2：使用 Network Connectivity Center 路由器设备进行动态 BGP 路由（主动-主动）

如需配置动态路由交换和水平带宽伸缩，请使用 Network Connectivity Center 路由器设备在 NSX Tier-0 网关和 Cloud Router 之间进行边界网关协议 (BGP) 对等互连，如下图所示（点击可放大）：

Cloud Router 通过 BGP 与 NSX Edge 路由器设备对等互连，这些设备通过 DRS 亲和性规则固定到 Z3 主机。 Cloud Router 通过 BGP 与 NSX Edge 路由器设备对等互连，这些设备通过 DRS 亲和性规则固定到 Z3 主机。

  • 动态路由交换：NSX Tier-0 网关会通过 BGP 自动向 Cloud Router 通告新创建的 NSX 叠加层网段 CIDR 块，并通过自定义路由通告了解 VPC 和本地路由（0.0.0.0/0 或特定前缀）。此架构无需手动更新 VPC 静态路由。
  • 主动-主动 ECMP 伸缩：支持在每个 0 层网关最多 8 个活跃 NSX Edge 节点之间进行等价多路径 (ECMP) 路由，从而伸缩南北向吞吐量，并支持通过双向转发检测 (BFD) 进行故障切换。
  • 边缘到主机固定要求：由于 NSX Edge 虚拟机在 ESXi 主机内运行，因此其虚拟上行链路接口会映射到底层裸金属 Compute Engine 实例上的特定 Dynamic NIC。为确保 Cloud Router 路由器将 BGP 和数据平面流量转发到每个 NSX Edge 虚拟机所在的具体裸机主机，您必须配置 VMware Distributed Resource Scheduler (DRS) 亲和性规则（VM-Host 亲和性规则），以将每个 NSX Edge 虚拟机固定到其指定的 ESXi 主机。
  • 冗余 BGP 会话：在每个 NSX Edge 节点位于 NSX-Uplink 子网上的上行链路接口与冗余 Cloud Router 接口之间配置双 BGP 会话，以便在主机维护事件期间保持控制平面持续可用。

后续步骤