Informazioni sull'allocazione dinamica delle risorse in GKE

Puoi utilizzare l'allocazione dinamica delle risorse (DRA) per allocare le GPU ai workload di Google Kubernetes Engine (GKE). Questo documento spiega i concetti fondamentali dell'allocazione dinamica delle risorse, come utilizzarla in GKE e i vantaggi del suo utilizzo.

Questo documento è rivolto ai seguenti ruoli:

Dovresti già avere familiarità con quanto segue:

Introduzione a DRA

DRA è una funzionalità integrata di Kubernetes che ti consente di richiedere, allocare e condividere in modo flessibile l'hardware nel tuo cluster tra pod e container. La DRA migliora l'esperienza di allocazione dell'hardware collegato, come gli acceleratori, consentendo ai fornitori di dispositivi e agli amministratori della piattaforma di dichiarare classi di dispositivi che possono essere richiesti e allocati. Gli operatori delle app possono richiedere configurazioni specifiche dei dispositivi all'interno di queste classi e poi richiedere queste configurazioni nei loro workload. Kubernetes e GKE gestiscono la pianificazione dei pod, le assegnazioni dei nodi e l'allocazione dei dispositivi in base alle richieste dei workload.

Ad esempio, un amministratore della piattaforma potrebbe definire una classe di dispositivi che contiene solo GPU NVIDIA A100. Gli operatori delle app possono quindi filtrare i dispositivi in quella classe di dispositivi in base ai requisiti del workload, ad esempio filtrando per un minimo di 80 GB di memoria GPU. Quando l'operatore dell'app esegue il deployment di un workload che richiede la configurazione filtrata, GKE posiziona i pod sui nodi che soddisfano i criteri selezionati. In questo esempio, GKE trova i nodi con GPU A100 (80 GB) disponibili. L'operatore dell'app non deve selezionare nodi o configurazioni dispositivo specifici nel manifest del workload.

Vantaggi di DRA

Senza DRA, l'allocazione dei dispositivi hardware in Kubernetes si basa sui plug-in dei dispositivi. Per collegare le risorse hardware ai pod utilizzando i plug-in dei dispositivi, utilizza le etichette dei nodi per posizionare i pod su nodi specifici. Inoltre, per dedicare le risorse di un intero nodo a un singolo pod, devi richiedere il numero esatto di dispositivi collegati ai nodi.

Con DRA, l'allocazione dei dispositivi ai pod è simile all'allocazione dei volumi per lo spazio di archiviazione. Definisci le classi di dispositivi, richiedi i dispositivi all'interno di queste classi e poi assegna i dispositivi richiesti ai workload. DRA fornisce una superficie molto più estensibile per filtrare i dispositivi in base al workload e alle esigenze aziendali. L'approccio DRA di utilizzo di espressioni e template per richiedere l'hardware e pianificare i pod offre i seguenti vantaggi:

  • Allocazione dichiarativa dei dispositivi: gli amministratori della piattaforma possono definire le configurazioni dei dispositivi per tipi specifici di workload o team.
  • Complessità ridotta tra i team: quando gli amministratori della piattaforma eseguono il provisioning dei nodi con configurazioni hardware specializzate, gli operatori delle app non devono sapere quali nodi hanno configurazioni specifiche. Gli amministratori della piattaforma non devono etichettare i nodi o comunicare informazioni su nodi e dispositivi specifici agli operatori.
  • Complessità ridotta per gli sviluppatori: Kubernetes pianifica i pod in base alla configurazione dispositivo di riferimento. Gli operatori delle app non devono selezionare nodi specifici nei loro workload e non devono assicurarsi che ogni pod richieda esattamente il numero di dispositivi collegati a questi nodi.
  • Gestione centralizzata dell'infrastruttura: gli amministratori della piattaforma possono definire centralmente le configurazioni hardware che soddisfano requisiti aziendali specifici. Ad esempio, un amministratore della piattaforma potrebbe dichiarare una configurazione ad alte prestazioni con GPU H100 insieme a una configurazione di inferenza ridotta con GPU Tesla T4.
  • Selezione flessibile dell'hardware: puoi utilizzare le espressioni CEL per filtrare i dispositivi con attributi specifici. L'utilizzo di espressioni offre la flessibilità di filtrare i dispositivi ottimali per workload specifici.

Quando utilizzare DRA

Il motivo principale per utilizzare DRA in GKE è la flessibilità con cui puoi richiedere dispositivi per i workload. Puoi scrivere un manifest una sola volta ed eseguire il deployment del workload in cluster diversi con tipi di dispositivi diversi senza dover modificare il manifest. Questa flessibilità è ideale per casi d'uso come i seguenti:

  • Migliora la flessibilità, l'efficienza e la disponibilità della capacità di calcolo delle GPU: per i workload che devono accedere all'hardware GPU, puoi utilizzare l'allocazione dinamica delle risorse per richiedere qualsiasi GPU disponibile nel cluster, anziché dover specificare un modello di GPU. Se questi workload hanno requisiti di memoria GPU (VRAM) specifici, puoi richiedere qualsiasi GPU nel cluster con una quantità minima di memoria. Questo tipo di richiesta flessibile espande l'insieme di nodi GPU su cui può essere eseguito un workload, riducendo il rischio che il workload non venga pianificato a causa di risorse non disponibili.
  • Ottimizza la disponibilità dei nodi durante la scalabilità: la quantità di dispositivi richiesti da un workload potrebbe cambiare in base a fattori come il tipo di dispositivo e le sue funzionalità. Puoi utilizzare le ComputeClasses di GKE per posizionare i pod accelerati in pool di nodi specifici in base alla disponibilità dei dispositivi. Puoi quindi configurare i pod in modo che richiedano i dispositivi in qualsiasi nodo in cui GKE li posiziona.

    L'utilizzo di DRA con ComputeClasses consente di ridurre al minimo il rischio di workload non pianificati, aiutandoti al contempo a eseguire i workload su hardware ottimizzato.

Terminologia

Kubernetes open source e i provider Kubernetes gestiti come GKE utilizzano i seguenti tipi di API DRA principali:

ResourceSlice
Un ResourceSlice elenca uno o più dispositivi hardware nel cluster a cui i nodi possono accedere. Ad esempio, in un nodo che può accedere a una singola GPU, ResourceSlice elenca la GPU e il nome del nodo. I driver dei dispositivi DRA su ogni nodo creano ResourceSlice. Lo scheduler di Kubernetes utilizza i ResourceSlice per decidere quali dispositivi allocare per soddisfare le richieste dei workload.
DeviceClass
Una DeviceClass definisce una categoria di dispositivi, ad esempio le GPU, disponibili per le richieste per i workload. Alcuni driver di dispositivo forniscono DeviceClass integrate, come la DeviceClass gpu.nvidia.com per le GPU NVIDIA. Gli amministratori della piattaforma possono anche creare DeviceClass personalizzate che definiscono configurazioni dispositivo specifiche.
ResourceClaim

Un ResourceClaim consente a un pod o a un utente di richiedere risorse hardware filtrando in base a determinati parametri all'interno di una DeviceClass. Quando un workload fa riferimento a un ResourceClaim, Kubernetes assegna i dispositivi che corrispondono ai parametri specificati a quel ResourceClaim.

Ad esempio, immagina uno scenario in cui crei un ResourceClaim per una GPU A100 (40 GB) e poi esegui il deployment di un workload che seleziona quel ResourceClaim. Kubernetes assegna una GPU A100 (40 GB) disponibile al ResourceClaim e pianifica il pod su un nodo che può accedere alla GPU.

ResourceClaimTemplate

Un ResourceClaimTemplate definisce un modello che i pod possono utilizzare per creare automaticamente nuovi ResourceClaim per pod. I ResourceClaimTemplate sono utili quando hai più workload che devono accedere a configurazioni dispositivo simili, soprattutto quando utilizzi un controller di workload come Deployment o StatefulSet.

Gli operatori delle app eseguono il deployment di ResourceClaimTemplate e poi fanno riferimento ai template nei workload. Kubernetes crea ResourceClaim per ogni pod in base al template specificato, alloca i dispositivi e pianifica i pod. Quando i pod terminano, Kubernetes esegue la pulizia dei ResourceClaim corrispondenti.

Per saperne di più sui tipi di API DRA, consulta Terminologia DRA.

Come funziona DRA

L'utilizzo di DRA nei cluster e nei workload è un processo simile all'utilizzo di StorageClass, PersistentVolumeClaim e PersistentVolume per eseguire il provisioning dinamico dei volumi per i pod.

Il seguente diagramma mostra i passaggi che gli amministratori dei cluster e gli operatori delle app eseguono per allocare i dispositivi utilizzando DRA:

In questo diagramma, gli amministratori dei cluster e gli operatori delle app eseguono le seguenti operazioni:

  1. Gli amministratori del cluster installano i driver dei dispositivi che supportano DRA nei nodi.
  2. Gli amministratori del cluster creano DeviceClass che filtrano l'hardware che soddisfa requisiti specifici, ad esempio tutte le GPU con più di 40 GB di memoria. Alcuni dispositivi potrebbero includere anche DeviceClass integrate.
  3. Gli operatori delle applicazioni creano ResourceClaimTemplate o ResourceClaim che richiedono configurazioni dispositivo. Il caso d'uso principale per ogni tipo di rivendicazione è il seguente:
    • Un ResourceClaim consente a più pod di condividere l'accesso allo stesso dispositivo.
    • Un ResourceClaimTemplate consente a più pod di accedere a dispositivi separati e simili generando automaticamente ResourceClaim per pod.
  4. Gli operatori delle applicazioni aggiungono ResourceClaimTemplate o ResourceClaim ai manifest dei workload.
  5. Gli operatori delle applicazioni eseguono il deployment del workload.

Quando esegui il deployment di un workload che fa riferimento a un ResourceClaimTemplate o a un ResourceClaim, Kubernetes esegue i seguenti passaggi di pianificazione:

  1. Se il workload fa riferimento a un ResourceClaimTemplate, Kubernetes crea un nuovo oggetto ResourceClaim per ogni istanza del workload (ad esempio, ogni replica in un deployment).
  2. Lo scheduler di Kubernetes utilizza i ResourceSlice nel cluster per allocare i dispositivi idonei disponibili al ResourceClaim di ogni pod.
  3. Lo scheduler posiziona ogni pod su un nodo che ha accesso ai dispositivi allocati al ResourceClaim del pod.
  4. kubelet sul nodo di destinazione chiama il driver DRA sul nodo per collegare l'hardware allocato al pod per soddisfare la sua richiesta di risorse.

Quando utilizzare ResourceClaim e ResourceClaimTemplate

Puoi utilizzare ResourceClaim o ResourceClaimTemplate per indicare a Kubernetes che vuoi dispositivi che soddisfano requisiti specifici. Quando un ResourceClaim viene richiamato in un pod, Kubernetes alloca i dispositivi alla risorsa API ResourceClaim corrispondente nel server API Kubernetes. Questa allocazione avviene indipendentemente dal fatto che tu abbia creato il ResourceClaim o che Kubernetes abbia creato il ResourceClaim da un ResourceClaimTemplate.

Se crei un ResourceClaim e poi lo referenzi in più pod, tutti questi pod possono accedere ai dispositivi allocati da Kubernetes per quel ResourceClaim. Ad esempio, questo accesso condiviso potrebbe verificarsi se fai riferimento a un ResourceClaim specifico in un manifest di deployment con più repliche. Tuttavia, se i dispositivi allocati non sono configurati per essere condivisi da più processi, questo accesso ai dispositivi condivisi tra i pod potrebbe comportare un comportamento imprevisto.

Per allocare dispositivi separati ai pod, puoi utilizzare un ResourceClaimTemplate, ovvero un modello utilizzato da Kubernetes per creare automaticamente singoli ResourceClaim. Ad esempio, se fai riferimento a un ResourceClaimTemplate in un Deployment con più repliche, Kubernetes crea un ResourceClaim separato per ogni pod replicato. Di conseguenza, ogni pod riceve il proprio dispositivo allocato, anziché condividere l'accesso al dispositivo con altri pod. Queste ResourceClaim generate automaticamente sono associate alla durata del pod corrispondente e vengono eliminate quando il pod termina. Se hai pod indipendenti che devono accedere a configurazioni di dispositivi simili, utilizza un ResourceClaimTemplate per allocare i dispositivi a ciascun pod separatamente.

La tabella seguente descrive alcune differenze tra la creazione manuale di ResourceClaim e la creazione di ResourceClaim da parte di Kubernetes da un ResourceClaimTemplate:

Confronto tra ResourceClaim e ResourceClaimTemplate
ResourceClaim creati manualmente ResourceClaim creati automaticamente
Gestito da te Gestiti da Kubernetes
Fornisce l'accesso agli stessi dispositivi da più pod Fornisce l'accesso ai dispositivi da un singolo pod
Esiste nel cluster indipendentemente dai pod Vincolati al ciclo di vita del pod corrispondente
Ideale per più workload che devono condividere un dispositivo specifico Ideale per più workload che richiedono l'accesso indipendente ai dispositivi

Confronto tra DRA e allocazione manuale dei dispositivi

DRA rende l'allocazione dei dispositivi collegati un'esperienza simile al provisioning dinamico dei PersistentVolume. Kubernetes supporta anche l'allocazione di dispositivi utilizzando i plug-in dei dispositivi. Questo metodo prevede i seguenti passaggi:

  1. Un amministratore del cluster crea nodi con dispositivi collegati, come le GPU.
  2. L'amministratore del cluster comunica agli operatori dei workload le informazioni su nodi specifici e sui dispositivi collegati.
  3. Un operatore del workload richiede i dispositivi nel manifest del workload come segue:
    • Seleziona un nodo con la configurazione dispositivo richiesta, ad esempio il modello di GPU, utilizzando un campo nodeSelector.
    • Specifica il numero esatto di dispositivi che i container devono utilizzare utilizzando il campo resources nella specifica del pod.

Questo metodo di allocazione manuale richiede che gli Application Operator e gli amministratori dei cluster comunichino quali nodi o node pool specifici hanno determinate configurazioni dispositivo. Devono coordinare le richieste di workload in modo che corrispondano ai dispositivi sui nodi, altrimenti il deployment non va a buon fine. In confronto, DRA ti consente di utilizzare espressioni per filtrare in modo flessibile i dispositivi in base agli attributi e non richiede agli operatori dei workload di conoscere la configurazione esatta dei nodi nel cluster.

La seguente tabella mette a confronto la DRA con i plug-in dei dispositivi:

Confronto tra DRA e allocazione manuale dei dispositivi
DRA Allocazione manuale
Selezione flessibile dei dispositivi utilizzando le espressioni CEL Selezione di nodi specifici utilizzando selettori e richieste di risorse
Decisioni di pianificazione prese da Kubernetes Decisioni di pianificazione prese dall'operatore utilizzando i selettori di nodi
Il filtro dei dispositivi è separato dalla creazione dei workload Il filtro dei dispositivi deve essere eseguito nel manifest del workload
Filtro centralizzato dei dispositivi e corsi basati sulle esigenze, gestiti dagli amministratori della piattaforma Filtro dei dispositivi isolati da parte degli operatori delle applicazioni
Gli operatori delle app non hanno bisogno di conoscere la capacità dei nodi, le informazioni sulle etichette dei nodi o i modelli di dispositivi collegati per ogni nodo Gli operatori delle app devono sapere quali nodi hanno modelli e quantità specifici di determinati dispositivi collegati.

DRA e scalabilità automatica dell'infrastruttura

Per regolare automaticamente il numero di nodi all'interno di un node pool in modalità Standard, utilizza il gestore della scalabilità automatica dei cluster. Puoi attivare il gestore della scalabilità automatica dei cluster in qualsiasi pool di nodi creato manualmente, inclusi i pool di nodi con driver DRA.

Per i node pool che utilizzano DRA, l'utilizzo dei dispositivi influisce sul modo in cui il gestore della scalabilità automatica dei cluster aggiunge e rimuove i nodi in un pool di nodi. Per calcolare l'utilizzo dei dispositivi in un pool di nodi, il gestore della scalabilità automatica dei cluster prende in considerazione i seguenti fattori:

  • Tutti i dispositivi di un pool di risorse devono essere locali per un nodo specifico. Se un ResourceSlice ha un pool di dispositivi collegati a più nodi, il gestore della scalabilità automatica del cluster ignora questi dispositivi.
  • Tutti i dispositivi nel pool di nodi sono ugualmente importanti e identici.
  • I dispositivi DRA hanno una priorità più alta rispetto alla CPU o alla memoria. Nei pool di nodi DRA, il gestore della scalabilità automatica dei cluster ignora l'utilizzo di CPU e memoria.

Questi fattori potrebbero comportare un comportamento di scale down diverso nei pool di nodi DRA rispetto ad altri pool di nodi.

Dispositivi GKE supportati per DRA

La tabella seguente descrive i dispositivi che puoi allocare ai workload con DRA in GKE:

Dispositivi supportati per DRA in GKE
Tipo di dispositivo Descrizione
GPU Qualsiasi tipo di GPU disponibile nella tua località. Per saperne di più, consulta Località delle GPU.
Interfacce di rete Più tipi di interfacce di rete, ad esempio interfacce compatibili con RDMA, installando il driver DRANET gestito. Per saperne di più, consulta Alloca le risorse di rete utilizzando DRANET gestito da GKE.

Limitazioni

Quando utilizzi l'allocazione dinamica delle risorse, si applicano le seguenti limitazioni:

  • Modalità operativa: DRA è disponibile solo nei cluster in modalità Standard.

  • Tipo di acceleratore: DRA in GKE supporta solo GPU.

  • GPU:

  • Interfacce di rete: consulta Limitazioni in "Assegna risorse di rete utilizzando DRANET gestito da GKE".

  • Scalabilità automatica:

    • Per i driver DRA di terze parti che installi, il gestore della scalabilità automatica dei cluster richiede che i node pool abbiano almeno un nodo. Per evitare che i node pool che utilizzano driver di terze parti vengano scalati a zero nodi, imposta il numero minimo di nodi su almeno 1.
    • Il gestore della scalabilità automatica dei cluster potrebbe non funzionare correttamente con i driver DRA di terze parti. Se utilizzi driver di terze parti, verifica che pubblichino informazioni solo per i dispositivi locali di nodi specifici.
    • Per i DaemonSet nei pool di nodi con scalabilità automatica che utilizzano un ResourceClaim statico per condividere l'accesso ai dispositivi tra i pod, la scalabilità automatica supporta fino a 128 pod DaemonSet. Per evitare questo limite, procedi in uno dei seguenti modi:
    • Se i tuoi pod fanno riferimento a ResourceClaims e hanno una PriorityClass che imposta la policy di prerilascio su PreemptLowerPriority, la latenza della scalabilità automatica potrebbe aumentare. PreemptLowerPriority è la policy di prerilascio predefinita per PriorityClass, quindi assicurati che le tue PriorityClass impostino esplicitamente il campo preemptionPolicy su Never. Per ulteriori informazioni, consulta PriorityClass non prerilasciabile.

Questa sezione fornisce consigli per gli amministratori della piattaforma o gli operatori di app che vogliono utilizzare la DRA per allocare i dispositivi ai workload. DRA modifica in modo significativo il metodo con cui richiedi i dispositivi collegati, sia in GKE che in Kubernetes. Per sfruttare casi d'uso più avanzati, come il fallback cross-device o il filtro e la selezione dei dispositivi più granulari, tieni presente le seguenti indicazioni:

Passaggi successivi