Servizi di rete per i deployment

I servizi di rete che configuri dipendono dall'opzione di deployment scelta (VM o cluster) e dall'infrastruttura.

Questo documento è rivolto ad architetti, ingegneri di rete e sviluppatori che vogliono comprendere i servizi di rete per i deployment di AI Hypercomputer. Questo documento presuppone che tu abbia una conoscenza di base dei concetti di networking cloud e computing distribuito. Per saperne di più sulle opzioni di deployment, consulta la panoramica delle opzioni di deployment.

Per informazioni dettagliate su architettura di rete, protocolli e topologie hardware, consulta la panoramica del networking GPU.

Networking per i deployment GKE ottimizzati per l'AI con Cluster Toolkit

Quando crei un cluster GKE ottimizzato per l'AI con Cluster Toolkit, il progetto configura la rete come segue:

  • Il progetto utilizza la rete VPC predefinita per il cluster GKE principale.
  • Crea due VPC aggiuntivi: uno per una seconda scheda di interfaccia di rete (NIC) host e un altro per il traffico di accesso diretto alla memoria da remoto (RDMA) da GPU a GPU.
  • Il progetto applica un profilo di rete preconfigurato e gestito da Google al VPC utilizzato per il traffico GPU. Questo profilo configura automaticamente la rete per prestazioni RDMA ad alta velocità e bassa latenza.
  • Il progetto crea automaticamente otto subnet dedicate all'interno del VPC RDMA, una per ogni NIC RDMA su una VM con acceleratore.
  • Configura regole firewall che consentono tutto il traffico TCP, UDP e ICMP tra i nodi all'interno del cluster.

Networking per i deployment GKE

La configurazione di rete per le configurazioni GKE dipende dal tipo di workload e dall'infrastruttura:

  • Per GPU generiche o workload non distribuiti, crea un cluster GKE senza GPUDirect RDMA. Questa configurazione utilizza una singola rete VPC per tutte le comunicazioni.
  • Per le GPU cluster o i workload distribuiti, crea un cluster GKE con GPUDirect RDMA abilitato. Questa configurazione utilizza un ambiente multi-VPC che separa il traffico per uso generico dalla comunicazione tra GPU con elevata larghezza di banda.

Networking per i deployment di cluster Slurm

Utilizza Cluster Toolkit per eseguire il deployment dei workload di AI e ML tramite blueprint personalizzabili, ad esempio per le serie A4 o A3 Ultra.

I componenti di rete configurati dal progetto per i deployment Slurm di GPU cluster sono i seguenti:

  • Il progetto crea tre VPC distinti: un VPC principale per il control plane Slurm, un VPC secondario per il traffico generale a livello di host e un VPC dedicato ad alte prestazioni per la comunicazione GPU-GPU.
  • Per il piano dati della GPU, il progetto base applica un profilo di rete preconfigurato e gestito da Google, ottimizzato per RoCE.
  • Il progetto imposta un intervallo di indirizzi IP dedicato richiesto dal servizio Filestore, che fornisce la directory /home condivisa per il cluster.
  • Crea un VPC temporaneo e isolato per la creazione di immagini, utilizzato solo durante il processo di creazione dell'immagine VM personalizzata per i nodi del cluster.

Networking per le istanze di Compute Engine

Puoi utilizzare Compute Engine per creare VM autonome, istanze di computing in blocco e gruppi di istanze gestite (MIG). I requisiti di rete specifici dipendono dal modello di infrastruttura del tipo di macchina:

  • GPU cluster: queste serie di macchine (A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High con 8 GPU) in genere richiedono una configurazione di rete multi-VPC per separare il traffico generale da host a host dalla comunicazione da GPU a GPU a larghezza di banda elevata. Per i deployment A5X, A4X Max e A4X all'interno di un singolo blocco secondario, la rete VPC RDMA è facoltativa perché l'interconnessione NVLink multi-nodo gestisce la comunicazione tra GPU.
  • GPU generiche: queste serie di macchine (G2, G4, A2 e N1 con T4 o V100) utilizzano un'architettura VPC singola su interfacce gVNIC per tutte le comunicazioni. A3 Edge è un'eccezione che richiede quattro VPC di dati e GPUDirect-TCPX.

Per informazioni dettagliate sulle NIC e sulla configurazione di rete per il tuo tipo di macchina, consulta Networking e macchine GPU.

Passaggi successivi