Netzwerkdienste für Bereitstellungen

Die von Ihnen konfigurierten Netzwerkdienste hängen von der gewählten Bereitstellungsoption (VMs oder Cluster) und der Infrastruktur ab.

Dieses Dokument richtet sich an Architekten, Netzwerktechniker und Entwickler, die die Netzwerkdienste für ihre AI Hypercomputer-Bereitstellungen verstehen möchten. In diesem Dokument wird davon ausgegangen, dass Sie mit Cloud-Netzwerken und Konzepten des verteilten Computings vertraut sind. Weitere Informationen zu Bereitstellungsoptionen finden Sie unter Bereitstellungsoptionen – Übersicht.

Ausführliche Informationen zu Netzwerkarchitektur, Protokollen und Hardwaretopologien finden Sie in der Übersicht über GPU-Netzwerke.

Netzwerkfunktionen für KI-optimierte GKE-Bereitstellungen mit Cluster Toolkit

Wenn Sie einen KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen, konfiguriert der Blueprint das Netzwerk so:

  • Der Blueprint verwendet das Standard-VPC-Netzwerk für den Haupt-GKE-Cluster.
  • Es werden zwei zusätzliche VPCs erstellt: eine für eine zweite Host-Netzwerkkarte (NIC) und eine weitere für den GPU-zu-GPU-RDMA-Traffic (Remote Direct Memory Access).
  • Der Blueprint wendet ein vorkonfiguriertes, von Google verwaltetes Netzwerkprofil auf die VPC an, die für den GPU-Traffic verwendet wird. Dieses Profil konfiguriert das Netzwerk automatisch für eine schnelle RDMA-Leistung mit niedriger Latenz.
  • Der Blueprint erstellt automatisch acht dedizierte Subnetze innerhalb der RDMA-VPC – eines für jede RDMA-NIC auf einer Beschleuniger-VM.
  • Es konfiguriert Firewallregeln, die den gesamten TCP-, UDP- und ICMP-Traffic zwischen Knoten im Cluster zulassen.

Netzwerkfunktionen für GKE-Bereitstellungen

Die Netzwerkkonfiguration für GKE-Einrichtungen hängt von Ihrem Arbeitslasttyp und Ihrer Infrastruktur ab:

  • Erstellen Sie für allgemeine GPUs oder nicht verteilte Arbeitslasten einen GKE-Cluster ohne GPUDirect RDMA. Diese Konfiguration verwendet ein einzelnes VPC-Netzwerk für die gesamte Kommunikation.
  • Erstellen Sie für geclusterte GPUs oder verteilte Arbeitslasten einen GKE-Cluster mit aktiviertem GPUDirect RDMA. Diese Konfiguration verwendet eine Umgebung mit mehreren VPCs, die den Traffic für allgemeine Zwecke von der GPU-zu-GPU-Kommunikation mit hoher Bandbreite trennt.

Netzwerkfunktionen für Slurm-Clusterbereitstellungen

Mit dem Cluster Toolkit können Sie KI- und ML-Arbeitslasten über anpassbare Blueprints bereitstellen, z. B. für die A4- oder A3 Ultra-Serie.

Die Netzwerkkomponenten, die vom Blueprint für geclusterte GPU-Slurm-Bereitstellungen konfiguriert werden, sind:

  • Der Blueprint erstellt drei verschiedene VPCs: eine primäre VPC für die Slurm-Steuerungsebene, eine sekundäre VPC für allgemeinen Traffic auf Hostebene und eine dedizierte Hochleistungs-VPC für die GPU-zu-GPU-Kommunikation.
  • Für die GPU-Datenebene wendet der Blueprint ein vorkonfiguriertes, von Google verwaltetes Netzwerkprofil an, das für RoCE optimiert ist.
  • Der Blueprint legt einen dedizierten IP-Adressbereich fest, der für den Filestore-Dienst erforderlich ist, der das freigegebene Verzeichnis /home für den Cluster bereitstellt.
  • Es wird eine temporäre, isolierte VPC für die Image-Erstellung erstellt, die nur während der Erstellung des benutzerdefinierten VM-Images für die Clusterknoten verwendet wird.

Netzwerk für Compute Engine-Instanzen

Mit Compute Engine können Sie eigenständige VMs, Bulk-Compute-Instanzen und verwaltete Instanzgruppen (MIGs) erstellen. Die spezifischen Netzwerkanforderungen hängen vom Infrastrukturmodell des Maschinentyps ab:

  • Geclusterte GPUs: Diese Maschinenserien (A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High mit 8 GPUs) erfordern in der Regel eine Multi-VPC-Netzwerkkonfiguration, um den allgemeinen Host-zu-Host-Traffic von der GPU-zu-GPU-Kommunikation mit hoher Bandbreite zu trennen. Bei A5X-, A4X Max- und A4X-Bereitstellungen innerhalb eines einzelnen Subblocks ist das RDMA-VPC-Netzwerk optional, da die GPU-zu-GPU-Kommunikation über die NVLink-Fabric mit mehreren Knoten erfolgt.
  • Allgemeine GPUs: Diese Maschinenserien (G2, G4, A2 und N1 mit T4 oder V100) verwenden für die gesamte Kommunikation eine Single-VPC-Architektur über gVNIC-Schnittstellen. A3 Edge ist eine Ausnahme, die vier Daten-VPCs und GPUDirect-TCPX erfordert.

Detaillierte Informationen zu den NICs und der Netzwerkkonfiguration für Ihren Maschinentyp finden Sie unter Netzwerk und GPU-Maschinen.

Nächste Schritte