Informazioni sulla scalabilità automatica dei cluster GKE

Questa pagina spiega come Google Kubernetes Engine (GKE) ridimensiona automaticamente i pool di nodi del cluster Standard in base alle esigenze dei tuoi workload. Quando la domanda è elevata, il gestore della scalabilità automatica dei cluster aggiunge nodi al pool di nodi. Per scoprire come configurare il gestore della scalabilità automatica dei cluster, consulta Scalabilità automatica di un cluster.

Questa pagina è rivolta ad amministratori, architetti e operatori che pianificano le esigenze di capacità e infrastruttura e ottimizzano l'architettura e le risorse dei sistemi per ottenere il costo totale di proprietà più basso per la propria azienda o unità aziendale. Per scoprire di più sui ruoli comuni e sulle attività di esempio a cui facciamo riferimento nei contenuti di Google Cloud , consulta Ruoli e attività comuni degli utenti GKE.

Con i cluster Autopilot, non devi preoccuparti di eseguire il provisioning dei nodi o di gestire i node pool, perché il provisioning dei node pool viene eseguito automaticamente tramite il provisioning automatico dei nodi e la scalabilità automatica viene eseguita automaticamente per soddisfare i requisiti dei tuoi workload.

Prima di leggere questa pagina, assicurati di avere familiarità con i concetti di base di Kubernetes e con il funzionamento delle richieste di risorse e dei limiti.

Best practice:

Pianifica e progetta la configurazione del cluster con gli amministratori e gli architetti, gli sviluppatori o un altro team della tua organizzazione responsabile dell'implementazione e della manutenzione dell'applicazione.

Perché utilizzare il gestore della scalabilità automatica dei cluster

Il gestore della scalabilità automatica dei cluster di GKE ridimensiona automaticamente il numero di nodi in un determinato pool di nodi, in base alle esigenze dei tuoi workload. Quando la domanda è bassa, il gestore della scalabilità automatica dei cluster riduce le dimensioni fino a un valore minimo che hai designato. In questo modo, puoi aumentare la disponibilità dei tuoi workload quando ne hai bisogno, tenendo sotto controllo i costi. Non è necessario aggiungere o rimuovere manualmente i nodi o eseguire l'overprovisioning dei node pool. Devi invece specificare una dimensione minima e una massima per il pool di nodi, il resto è automatico.

Se le risorse vengono eliminate o spostate durante la scalabilità automatica del cluster, i workload potrebbero subire interruzioni temporanee. Ad esempio, se il tuo workload è costituito da un controller con una singola replica, il pod di quella replica potrebbe essere ripianificato su un nodo diverso se il nodo corrente viene eliminato. Prima di attivare il gestore della scalabilità automatica dei cluster, progetta i tuoi workload in modo che tollerino potenziali interruzioni o assicurati che i pod critici non vengano interrotti.

Best practice:

Per aumentare la tolleranza del workload alle interruzioni, esegui il deployment del workload utilizzando un controller con più repliche, ad esempio un deployment.

Puoi aumentare le prestazioni del gestore della scalabilità automatica dei cluster con lo streaming di immagini, che trasmette in remoto i dati delle immagini richiesti dalle immagini container idonee e contemporaneamente memorizza l'immagine nella cache locale per consentire ai workload sui nuovi nodi di avviarsi più velocemente.

Come funziona il gestore della scalabilità automatica dei cluster

Il gestore della scalabilità automatica dei cluster funziona per pool di nodi. Quando configuri un pool di nodi con il gestore della scalabilità automatica dei cluster, specifichi una dimensione minima e massima per il pool di nodi.

Il gestore della scalabilità automatica dei cluster aumenta o riduce automaticamente le dimensioni del pool di nodi aggiungendo o rimuovendo istanze di macchine virtuali (VM) nel gruppo di istanze gestite (MIG) di Compute Engine sottostante per il pool di nodi. Il gestore della scalabilità automatica dei cluster prende queste decisioni di scalabilità in base alle richieste di risorse (anziché all'utilizzo effettivo delle risorse) dei pod in esecuzione sui nodi del pool di nodi. Controlla periodicamente lo stato dei pod e dei nodi e interviene:

  • Se non è possibile pianificare i pod su uno dei nodi attuali, il gestore della scalabilità automatica del cluster aggiunge nodi fino alle dimensioni massime del pool di nodi. Per saperne di più su quando il gestore della scalabilità automatica dei cluster modifica le dimensioni di un cluster, consulta Quando il gestore della scalabilità automatica dei cluster modifica le dimensioni di un cluster?
  • Se GKE decide di aggiungere nuovi nodi al pool di nodi, il gestore della scalabilità automatica dei cluster aggiunge il numero di nodi necessario, fino ai limiti per node pool o per cluster.
  • Il gestore della scalabilità automatica dei cluster non attende che un nodo venga avviato prima di creare il successivo. Una volta che GKE ha deciso quanti nodi creare, la creazione dei nodi avviene in parallelo. L'obiettivo è ridurre al minimo il tempo necessario affinché i pod non pianificabili diventino Active.
  • Se alcuni nodi non vengono creati a causa dell'esaurimento della quota, il gestore della scalabilità automatica dei cluster attende finché non è possibile pianificare correttamente le risorse.
  • Se i nodi sono sottoutilizzati e tutti i pod possono essere pianificati anche con un numero inferiore di nodi nel pool di nodi, il gestore della scalabilità automatica dei cluster rimuove i nodi fino alle dimensioni minime del pool di nodi.
  • Se su un nodo sono presenti pod che non possono essere spostati in altri nodi del cluster, il gestore della scalabilità automatica dei cluster non tenta di fare lo scale down del nodo.
  • Se i pod possono essere spostati in altri nodi, ma non è possibile svuotare il nodo correttamente dopo un periodo di timeout, il nodo viene terminato forzatamente. Questo periodo di timeout è di un'ora per GKE 1.32.7-gke.1079000 o versioni successive e di 10 minuti per le versioni precedenti di GKE. Il periodo di tolleranza massimo rispettato non è configurabile per i cluster GKE. Per ulteriori informazioni sul funzionamento dello fare lo scale down, consulta How does scale-down work? nelle domande frequenti sul gestore della scalabilità automatica dei cluster nella documentazione open source.

La frequenza con cui il gestore della scalabilità automatica dei cluster ispeziona un cluster alla ricerca di pod non pianificabili dipende in gran parte dalle dimensioni del cluster. In cluster di piccole dimensioni, l'ispezione potrebbe avvenire ogni pochi secondi. Non è possibile definire un periodo di tempo esatto necessario per questa ispezione.

Se i nodi presentano carenze perché i pod hanno richiesto o utilizzato per impostazione predefinita risorse insufficienti, il gestore della scalabilità automatica dei cluster non corregge la situazione. Puoi contribuire a garantire che il gestore della scalabilità automatica dei cluster funzioni nel modo più accurato possibile effettuando richieste di risorse esplicite per tutti i tuoi workload.

Non attivare la scalabilità automatica di Compute Engine per i gruppi di istanze gestite per i nodi del cluster. Il gestore della scalabilità automatica dei cluster di GKE è separato dalla scalabilità automatica di Compute Engine. Ciò può causare errori di scale up o fare lo scale down dei node pool, perché il gestore della scalabilità automatica di Compute Engine entrerà in conflitto con il gestore della scalabilità automatica dei cluster di GKE.

Criteri operativi

Quando ridimensiona un pool di nodi, il gestore della scalabilità automatica dei cluster fa le seguenti ipotesi:

  • Tutti i pod replicati possono essere riavviati su un altro nodo, il che potrebbe causare una breve interruzione.
  • Gli utenti o gli amministratori non gestiscono manualmente i nodi. Il gestore della scalabilità automatica dei cluster può eseguire l'override di qualsiasi operazione di gestione manuale dei nodi che esegui.
  • Tutti i nodi di un singolo pool di nodi hanno lo stesso insieme di etichette.
  • Il gestore della scalabilità automatica dei cluster considera il costo relativo dei tipi di istanza nei vari pool e tenta di espandere il pool di nodi meno costoso possibile. Tuttavia, a questo comportamento del gestore della scalabilità automatica dei cluster si applicano le seguenti condizioni:
    • Il gestore della scalabilità automatica dei cluster tiene conto del costo ridotto dei pool di nodi che contengono VM spot, che sono preemptible. Tuttavia, il gestore della scalabilità automatica dei cluster considera anche la disponibilità delle risorse in ogni zona e potrebbe scegliere la risorsa più costosa, ma disponibile.
    • Quando più pool di nodi utilizzano VM spot, il gestore della scalabilità automatica dei cluster non seleziona automaticamente l'opzione con il costo più basso. Per ottimizzare l'utilizzo conveniente delle VM spot ed evitare questo scenario, ti consigliamo di utilizzare classi di computing personalizzate.
  • Il gestore della scalabilità automatica dei cluster prende in considerazione le richieste dei container init prima di pianificare i pod. Le richieste dei container init possono utilizzare qualsiasi risorsa non allocata disponibile sui nodi, il che potrebbe impedire la pianificazione dei pod. Il gestore della scalabilità automatica dei cluster segue le stesse regole di calcolo delle richieste utilizzate da Kubernetes. Per saperne di più, consulta la documentazione di Kubernetes sull'utilizzo dei container init.
  • Le etichette aggiunte manualmente dopo la creazione iniziale del cluster o del pool di nodi non vengono monitorate. Ai nodi creati dal gestore della scalabilità automatica dei cluster vengono assegnate le etichette specificate con --node-labels al momento della creazione del pool di nodi.
  • In GKE versione 1.21 o precedenti, il gestore della scalabilità automatica dei cluster considera le informazioni sui taint dei nodi esistenti di un pool di nodi per rappresentare l'intero pool di nodi. A partire dalla versione 1.22 di GKE, il gestore della scalabilità automatica dei cluster combina le informazioni dei nodi esistenti nel cluster e nel pool di nodi. Il gestore della scalabilità automatica dei cluster rileva anche le modifiche manuali apportate al nodo e al pool di nodi.
Best practice:

Non attivare il gestore della scalabilità automatica dei cluster se le tue applicazioni non sono tolleranti alle interruzioni.

Bilanciamento tra zone

Se il pool di nodi contiene più gruppi di istanze gestite con lo stesso tipo di istanza, il gestore della scalabilità automatica dei cluster tenta di mantenere bilanciate le dimensioni di questi gruppo di istanze gestite durante lo scale up. In questo modo, si evita una distribuzione non uniforme dei nodi tra i gruppi di istanze gestite in più zone di un pool di nodi. GKE non tiene conto della policy di scalabilità automatica durante lo scale down.

Il gestore della scalabilità automatica dei cluster esegue il bilanciamento tra le zone solo durante un evento di scale up. Il gestore della scalabilità automatica dei cluster fa lo scale down dei nodi sottoutilizzati indipendentemente dalle dimensioni relative dei gruppi di istanze gestite sottostanti in un pool di nodi, il che può causare una distribuzione non uniforme dei nodi tra le zone.

Policy di posizione

A partire dalla versione 1.24.1-gke.800 di GKE, puoi modificare la policy di località del gestore della scalabilità automatica dei cluster. Puoi controllare la policy di distribuzione del gestore della scalabilità automatica dei cluster specificando il flag location_policy con uno dei seguenti valori:

  • BALANCED: questa policy indica al gestore della scalabilità automatica dei cluster di distribuire le risorse pool di nodi tra le zone selezionate nel modo più uniforme possibile, secondo il principio del "best effort", tenendo conto dei requisiti dei pod (come l'affinità) e della disponibilità delle risorse. Questa è la policy di località predefinita per i pool di nodi che utilizzano prenotazioni o nodi on demand, ma puoi utilizzarla anche per le VM spot. BALANCED non è supportato per i pool di nodi in modalità di provisioning con avvio flessibile.
  • ANY: questa policy indica al gestore della scalabilità automatica dei cluster di cercare la capacità richiesta in tutte le zone specificate. Il gestore della scalabilità automatica dei cluster dà la priorità alle prenotazioni inutilizzate e alle zone con capacità sufficiente, il che può portare alla concentrazione delle risorse del pool di nodi. È la policy di località predefinita per la modalità di provisioning con avvio flessibile e i pool di nodi che utilizzano VM spot, ma puoi utilizzarla anche per i pool di nodi che utilizzano prenotazioni o nodi on demand. Affinché questa policy funzioni, la scalabilità automatica deve essere abilitata e il numero iniziale di nodi deve essere impostato su 0, in modo che il gestore della scalabilità automatica sia responsabile del provisioning di tutti i nodi.
Best practice:

Utilizza la policy BALANCED se i tuoi workload utilizzano solo risorse di acceleratore facilmente disponibili e traggono vantaggio dalla distribuzione tra zone (ad esempio, per una migliore tolleranza di errore). Utilizza la policy ANY per dare la priorità all'utilizzo delle prenotazioni inutilizzate e aumentare la flessibilità, l'efficienza e la disponibilità della capacità di calcolo delle risorse di calcolo scarse (come gli acceleratori).

Prenotazioni

A partire dalla versione 1.27 di GKE, il gestore della scalabilità automatica dei cluster prende sempre in considerazione le prenotazioni quando prende decisioni di scale up. I node pool con prenotazioni inutilizzate corrispondenti hanno la priorità quando si sceglie il pool di nodi per lo scale up, anche se il pool di nodi non è il più efficiente. Inoltre, le prenotazioni non utilizzate hanno sempre la priorità durante il bilanciamento degli scale up multizona.

Tuttavia, il gestore della scalabilità automatica dei cluster controlla le prenotazioni solo nel proprio progetto. Di conseguenza, se nel progetto del cluster è disponibile un'opzione di nodo meno costosa, il gestore della scalabilità automatica potrebbe selezionare questa opzione anziché la prenotazione condivisa. Se devi condividere le prenotazioni tra progetti, valuta l'utilizzo di classi di computing personalizzate, che ti consentono di configurare la priorità utilizzata dal gestore della scalabilità automatica dei cluster per scalare i nodi, incluse le prenotazioni condivise.

Valori predefiniti

Per i node pool di VM spot, la policy di distribuzione predefinita del gestore della scalabilità automatica dei cluster è ANY. In questa policy, le VM spot hanno un rischio inferiore di essere prerilasciate.

Per i node pool non preemptible, la policy di distribuzione predefinita del gestore della scalabilità automatica dei cluster è BALANCED.

Dimensione minima e massima del node pool

Quando crei un nuovo pool di nodi, puoi specificare le dimensioni minime e massime per ogni pool di nodi nel cluster e il gestore della scalabilità automatica del cluster prende decisioni di ridimensionamento entro questi vincoli di scalabilità. Per aggiornare la dimensione minima, ridimensiona manualmente il cluster in modo che rientri nei nuovi vincoli dopo aver specificato il nuovo valore minimo. Il gestore della scalabilità automatica dei cluster prende quindi le decisioni di scalabilità in base ai nuovi vincoli.

Dimensioni attuali del pool di nodi Azione del gestore della scalabilità automatica dei cluster Vincoli di scalabilità
Inferiore al minimo specificato Il gestore della scalabilità automatica dei cluster esegue lo scale up per eseguire il provisioning dei pod in attesa. Lo scale down è disabilitato. Il pool di nodi non esegue fare lo scale down al di sotto del valore specificato.
Rientrano nelle dimensioni minime e massime specificate Il gestore della scalabilità automatica dei cluster esegue lo scale up o lo scale down in base alla domanda. Il pool di nodi rimane entro i limiti di dimensioni specificati.
Superiore al valore massimo specificato Il gestore della scalabilità automatica dei cluster fa lo scale down solo dei nodi che possono essere rimossi in sicurezza. Lo scale up è disabilitato. Il pool di nodi non scala oltre il valore specificato.

Per impostazione predefinita, il gestore della scalabilità automatica dei cluster non fa fare lo scale down automatico dei cluster Standard a zero nodi. In GKE versione 1.37.1-gke.3020000 e successive, puoi configurare il gestore della scalabilità automatica dei cluster in modo da fare lo scale down di un cluster Standard a zero nodi quando nel cluster non vengono eseguiti workload gestiti dagli utenti per un periodo di ritardo specificato. Per saperne di più, consulta Scalabilità di un cluster a zero nodi quando è inattivo. Quando esegui il deployment di un workload in un cluster con zero nodi, il gestore della scalabilità automatica dei cluster e la creazione automatica dei pool di nodi eseguono lo scale up del cluster per eseguire il workload.

Per scoprire di più sulle decisioni del gestore della scalabilità automatica, consulta le limitazioni del gestore della scalabilità automatica dei cluster.

In che modo GKE gestisce i vincoli di dimensione dei confini

Il gestore della scalabilità automatica dei cluster non forza in modo proattivo un pool di nodi a rimanere entro i limiti minimi e massimi se modifiche esterne o aggiornamenti della configurazione spingono le dimensioni del pool di nodi al di fuori di questi limiti. Si basa invece su controlli basati sulla domanda e sulla sicurezza per riconciliare le dimensioni nel tempo.

La tabella seguente spiega in che modo GKE gestisce queste condizioni limite:

Condizione limite Cosa non fa il gestore della scalabilità automatica Cosa fa il gestore della scalabilità automatica Scenario di attivazione comune
Le dimensioni attuali sono inferiori al minimo (ad esempio, attuale = 1, min = 3) Non esegue lo scale up automatico per raggiungere il valore minimo. Esegue lo scale up solo quando i pod non pianificabili (in attesa) richiedono risorse. Attivazione della scalabilità automatica quando il valore del campo --min-nodes è impostato su un valore superiore alle dimensioni attuali del pool di nodi.
La dimensione attuale è superiore al valore massimo (ad esempio, attuale = 10, massimo = 5) Non termina immediatamente i nodi per raggiungere forzatamente il numero massimo. Esegue lo scale down solo quando i nodi diventano sottoutilizzati e possono essere svuotati in sicurezza. Attivazione della scalabilità automatica quando il valore del campo --max-nodes è inferiore alle dimensioni attuali del pool di nodi.

Se devi forzare immediatamente un pool di nodi in modo che sia conforme ai nuovi limiti minimi o massimi, devi ridimensionare manualmente il pool di nodi in modo che rientri nei nuovi vincoli.

Limiti di scalabilità automatica

Puoi impostare il numero minimo e massimo di nodi che il gestore della scalabilità automatica dei cluster deve utilizzare durante la scalabilità di un pool di nodi. Utilizza i flag --min-nodes e --max-nodes per impostare il numero minimo e massimo di nodi per zona.

A partire dalla versione 1.24 di GKE, puoi utilizzare i flag --total-min-nodes e --total-max-nodes per i nuovi cluster. Questi flag impostano il numero minimo e massimo di nodi totali nel pool di nodi in tutte le zone.

Inoltre, puoi definire i limiti per la CPU, la memoria o il numero di nodi totali massimi per le risorse che corrispondono a un selettore di etichette utilizzando la risorsa personalizzata CapacityQuota. Per saperne di più, consulta Configura limiti delle risorse granulari.

Esempio di numero minimo e massimo di nodi

Il comando seguente crea un cluster multizona con scalabilità automatica con sei nodi in tre zone inizialmente, con un minimo di un nodo per zona e un massimo di quattro nodi per zona:

gcloud container clusters create example-cluster \
    --num-nodes=2 \
    --location=us-central1-a \
    --node-locations=us-central1-a,us-central1-b,us-central1-f \
    --enable-autoscaling --min-nodes=1 --max-nodes=4

In questo esempio, la dimensione totale del cluster può essere compresa tra tre e dodici nodi, distribuiti nelle tre zone. Se una delle zone non funziona, la dimensione totale del cluster può essere compresa tra due e otto nodi.

Esempio di nodi totali

Il seguente comando, disponibile in GKE 1.24 o versioni successive, crea un cluster multizona con scalabilità automatica con sei nodi in tre zone inizialmente, con un minimo di tre nodi e un massimo di dodici nodi nel pool di nodi in tutte le zone:

gcloud container clusters create example-cluster \
    --num-nodes=2 \
    --location=us-central1-a \
    --node-locations=us-central1-a,us-central1-b,us-central1-f \
    --enable-autoscaling --total-min-nodes=3 --total-max-nodes=12

In questo esempio, la dimensione totale del cluster può essere compresa tra tre e dodici nodi, indipendentemente dalla distribuzione tra le zone.

Profili di scalabilità automatica

La decisione di quando rimuovere un nodo è un compromesso tra l'ottimizzazione dell'utilizzo o la disponibilità delle risorse. La rimozione dei nodi sottoutilizzati migliora l'utilizzo del cluster, ma i nuovi workload potrebbero dover attendere il nuovo provisioning delle risorse prima di poter essere eseguiti.

Puoi specificare quale profilo di scalabilità automatica utilizzare per prendere queste decisioni. I profili disponibili sono:

  • balanced: il profilo predefinito che dà la priorità alla disponibilità di più risorse per i pod in entrata, riducendo così il tempo necessario per attivarli per i cluster Standard. Il profilo balanced non è disponibile per i cluster Autopilot.
  • optimize-utilization: dai la priorità all'ottimizzazione dell'utilizzo rispetto alla conservazione di risorse di riserva nel cluster. Quando attivi questo profilo, il gestore della scalabilità automatica dei cluster esegue lo scale down del cluster in modo più aggressivo. GKE può rimuovere più nodi e farlo più rapidamente. GKE preferisce pianificare i pod in nodi che hanno già un'allocazione elevata di CPU, memoria o GPU. Tuttavia, altri fattori influenzano la pianificazione, ad esempio la distribuzione dei pod appartenenti allo stesso deployment, StatefulSet o servizio tra i nodi.

Il profilo di scalabilità automatica optimize-utilization aiuta il gestore della scalabilità automatica dei cluster a identificare e rimuovere i nodi sottoutilizzati. Per ottenere questa ottimizzazione, GKE imposta il nome dello scheduler nella specifica del pod su gke.io/optimize-utilization-scheduler. I pod che specificano uno scheduler personalizzato non sono interessati.

Il seguente comando attiva il profilo di scalabilità automatica optimize-utilization in un cluster esistente:

gcloud container clusters update CLUSTER_NAME \
    --autoscaling-profile optimize-utilization

Considerazioni sulla pianificazione e sull'interruzione dei pod

Quando esegue lo scale down, il gestore della scalabilità automatica dei cluster rispetta le regole di pianificazione ed espulsione impostate sui pod. Queste limitazioni possono impedire l'eliminazione di un nodo da parte del gestore della scalabilità automatica. L'eliminazione di un nodo potrebbe essere impedita se contiene un pod con una di queste condizioni:

  • Le regole di affinità o anti-affinità del pod impediscono la riprogrammazione.
  • Il pod non è gestito da un controller come un deployment, un set di repliche, un job o un set di repliche.
  • Il pod ha uno spazio di archiviazione locale e la versione del control plane GKE è precedente alla 1.22. Nei cluster GKE con control plane versione 1.22 o successive, i pod con spazio di archiviazione locale non bloccano più lo scale down.
  • Il pod ha l'annotazione "cluster-autoscaler.kubernetes.io/safe-to-evict": "false".
  • L'eliminazione del nodo supererebbe il PodDisruptionBudget configurato.

Per saperne di più sul gestore della scalabilità automatica dei cluster e su come prevenire le interruzioni, consulta le seguenti domande nelle domande frequenti sul gestore della scalabilità automatica dei cluster:

Ordine di espulsione dei pod durante lo scale down

Durante un'operazione di scale down dei nodi, il gestore della scalabilità automatica dei cluster raggruppa i pod in due livelli di priorità in base al valore PriorityClass. GKE rimuove i pod all'interno di ogni livello in parallelo, nel seguente ordine:

  1. Livello di priorità inferiore (valore inferiore a 1000000000): il gestore della scalabilità automatica dei cluster elimina per primi questi pod e attende fino a un'ora per il completamento delle eliminazioni.
  2. Livello di priorità più alta (valore maggiore o uguale a 1000000000): il gestore della scalabilità automatica dei cluster espelle questi pod solo dopo che tutti i pod con priorità più bassa sono stati terminati, attendendo fino a 10 minuti per il completamento delle espulsioni. In GKE, 1000000000 è il valore più alto che puoi assegnare a un PriorityClass personalizzato. I valori superiori a 1000000000 sono riservati alle classi di priorità di sistema integrate.

Poiché le espulsioni all'interno di ogni livello vengono eseguite in parallelo, non puoi modificare l'ordine di espulsione dei pod all'interno dello stesso livello. Se hai workload critici che devono essere eseguiti fino alla terminazione di tutti gli altri pod dell'applicazione, come proxy di sistema o DaemonSet personalizzati, assegna una priorità value esattamente pari a 1000000000 al relativo PriorityClass.

Ritarda l'eliminazione dei nodi utilizzando le annotazioni dei nodi

Per impostazione predefinita, durante lo scale down, il gestore della scalabilità automatica dei cluster rimuove i pod da un nodo e poi elimina il nodo. Potresti dover ritardare questa eliminazione per completare ulteriori operazioni di pulizia, svuotamento della connessione o sincronizzazione dello stato.

Per mettere temporaneamente in pausa l'eliminazione dei nodi, aggiungi al nodo una o più annotazioni con il prefisso delay-deletion.cluster-autoscaler.kubernetes.io/. Quando il gestore della scalabilità automatica dei cluster sceglie un nodo per lo scale down, lo contamina e avvia il processo di svuotamento. Se il gestore della scalabilità automatica dei cluster rileva un'annotazione con il prefisso delay-deletion.cluster-autoscaler.kubernetes.io/ sul nodo, mette in pausa il passaggio finale di eliminazione della VM. L'eliminazione rimane in pausa finché non rimuovi dal nodo tutte le annotazioni con questo prefisso.

Questo approccio presenta i seguenti requisiti e limitazioni:

  • Chiave: la chiave di annotazione deve iniziare con il prefisso delay-deletion.cluster-autoscaler.kubernetes.io/. Puoi aggiungere qualsiasi stringa per definire una chiave descrittiva univoca, ad esempio delay-deletion.cluster-autoscaler.kubernetes.io/ingress.
  • Valore: il gestore della scalabilità automatica dei cluster non valuta il valore dell'annotazione. Tuttavia, il valore in genere rappresenta l'attore specifico (ad esempio un controller) che ha applicato l'annotazione. Questo approccio funziona in modo simile ai finalizzatori di Kubernetes, in cui più attori indipendenti possono applicare annotazioni e il gestore della scalabilità automatica dei cluster attende che vengano rimosse tutte.
  • Timeout: per evitare blocchi di scalabilità indefiniti, il gestore della scalabilità automatica dei cluster mette in pausa l'eliminazione dei nodi solo per un timeout massimo di 2 minuti (120 secondi). Questo timeout non è configurabile.

Scalabilità automatica delle TPU in GKE

GKE supporta le Tensor Processing Unit (TPU) per accelerare i workload di machine learning. Sia il node pool di sezioni TPU single-host sia il node pool di sezioni TPU multi-host supportano la scalabilità automatica e il provisioning automatico.

Con il flag --enable-autoprovisioning su un cluster GKE, GKE crea o elimina i pool di nodi di sezioni TPU a host singolo o multi-host con una versione e una topologia TPU che soddisfano i requisiti dei workload in attesa.

Quando utilizzi --enable-autoscaling, GKE scala il pool di nodi in base al tipo, come segue:

  • Pool di nodi sezioni TPU single-host: GKE aggiunge o rimuove i nodi TPU nel pool di nodi esistente. Il pool di nodi può contenere un numero qualsiasi di nodi TPU compreso tra zero e la dimensione massima del pool di nodi, come determinato dai flag --max-nodes e --total-max-nodes. Quando il pool di nodi viene scalato, tutti i nodi TPU nel pool di nodi hanno lo stesso tipo di macchina e la stessa topologia. Per scoprire di più su come creare un pool di nodi di slice TPU single-host, consulta Crea un node pool.

  • Node pool di sezioni TPU multi-host: GKE scala automaticamente il pool di nodi da zero al numero di nodi richiesto per soddisfare la topologia TPU. Ad esempio, con un pool di nodi TPU con un tipo di macchina ct5lp-hightpu-4t e una topologia 16x16, il pool di nodi contiene 64 nodi. Il gestore della scalabilità automatica di GKE aiuta a garantire che questo pool di nodi abbia esattamente 0 o 64 nodi. Quando esegue lo scale down, GKE espelle tutti i pod pianificati e svuota l'intero pool di nodi fino a zero. Per scoprire di più su come creare un pool di nodi di sezioni TPU multi-host, consulta Crea un node pool.

VM spot e gestore della scalabilità automatica dei cluster

Poiché il gestore della scalabilità automatica dei cluster preferisce espandere i node pool meno costosi, quando i workload e la disponibilità delle risorse lo consentono, il gestore della scalabilità automatica dei cluster aggiunge VM spot durante lo scale up.

Tuttavia, anche se il gestore della scalabilità automatica dei cluster preferisce aggiungere VM spot, questa preferenza non garantisce che la maggior parte dei pod venga eseguita su questi tipi di VM. Le VM spot possono essere prerilasciate. A causa di questo prerilascio, i pod sulle VM spot hanno maggiori probabilità di essere espulsi. Quando vengono espulse, hanno solo 15 secondi per terminare.

Ad esempio, immagina uno scenario in cui hai 10 pod e una combinazione di VM on demand e VM spot:

  • Inizialmente, hai 10 pod in esecuzione su VM on demand perché le VM spot non erano disponibili.
  • Non hai bisogno di tutti e 10 i pod, quindi il gestore della scalabilità automatica dei cluster rimuove due pod e arresta le VM on demand aggiuntive.
  • Quando hai di nuovo bisogno di 10 pod, il gestore della scalabilità automatica dei cluster aggiunge VM spot (perché sono più economiche) e pianifica due pod su queste VM. Gli altri otto pod rimangono sulle VM on demand.
  • Se il gestore della scalabilità automatica dei cluster deve fare nuovamente lo scale down, è probabile che le VM spot vengano prerilasciate per prime, lasciando la maggior parte dei pod in esecuzione su VM on demand.

Per dare la priorità alle VM spot ed evitare lo scenario precedente, ti consigliamo di utilizzare le classi di computing personalizzate. Le classi di computing personalizzate ti consentono di creare regole di priorità che favoriscono le VM spot durante lo scale up assegnando loro una priorità più alta rispetto ai nodi on demand. Per massimizzare ulteriormente la probabilità che i tuoi pod vengano eseguiti su nodi supportati da VM spot, configura la migrazione attiva.

L'esempio seguente mostra un modo per utilizzare le classi di computing personalizzate per dare priorità alle VM spot. Per scoprire di più sui parametri di ComputeClass, consulta la documentazione della CRD ComputeClass:

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: prefer-l4-spot
spec:
  # Defines a prioritized list of machine types and configurations for node provisioning.
  priorities:
  - machineType: g2-standard-24
    # Specifically requests Spot VMs for this configuration. GKE will try to provision these VMs first.
    spot: true
    gpu:
      type: nvidia-l4
      count: 2
  # If GKE can't satisfy the preceding rule, request on-demand nodes with the same configuration
  - machineType: g2-standard-24
    spot: false
    gpu:
      type: nvidia-l4
      count: 2
  nodePoolAutoCreation:
    enabled: true
  # Configures active migration behavior for workloads using this ComputeClass.
  activeMigration:
    optimizeRulePriority: true
    # Enables Cluster Autoscaler to attempt to migrate workloads to Spot VMs
    # if Spot capacity becomes available and the workload is currently
    # running on an on-demand VM (based on the priority rules in this example).

Nell'esempio precedente, la regola di priorità dichiara una preferenza per la creazione di nodi con il tipo di macchina g2-standard-24 e VM spot. Se le VM spot non sono disponibili, GKE utilizza le VM on demand come opzione di riserva. Questa classe di computing attiva anche activeMigration, consentendo al gestore della scalabilità automatica dei cluster di eseguire la migrazione dei workload alle VM spot quando la capacità diventa disponibile.

Se non puoi utilizzare classi di computing personalizzate, aggiungi un'affinità, un taint o una tolleranza dei nodi. Ad esempio, la seguente regola di affinità dei nodi dichiara una preferenza per la pianificazione dei pod sui nodi supportati da VM spot (GKE aggiunge automaticamente l'etichetta cloud.google.com/gke-spot=true a questi tipi di nodi):

affinity:
  nodeAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      preference:
        matchExpressions:
        # set to "true". GKE automatically applies this label to Spot VMs.
        - key: cloud.google.com/gke-spot
          operator: Equal
          values:
          - true

Per scoprire di più sull'utilizzo di affinità dei nodi, taints e tolleranze per pianificare le VM spot, consulta il blog Esecuzione di un'applicazione GKE su nodi spot con nodi on demand come fallback.

CRD ProvisioningRequest

Una ProvisioningRequest è una risorsa personalizzata con spazio dei nomi che consente agli utenti di richiedere al gestore della scalabilità automatica dei cluster la capacità per un gruppo di pod. Questo è particolarmente utile per le applicazioni con pod interconnessi che devono essere pianificati insieme come un'unica unità.

Classi di provisioning supportate

Esistono tre ProvisioningClasses supportate:

  • queued-provisioning.gke.io: questa classe specifica di GKE si integra con Dynamic Workload Scheduler, consentendoti di mettere in coda le richieste e di soddisfarle quando le risorse diventano disponibili. Questa opzione è ideale per job batch o workload con tolleranza ai ritardi. Consulta Esegui il deployment delle GPU per i workload batch e AI con Dynamic Workload Scheduler per scoprire come utilizzare il provisioning in coda in GKE. Supportato dalla versione GKE 1.28.3-gke.1098000 nei cluster Standard e dalla versione GKE 1.30.3-gke.1451000 nei cluster Autopilot.

  • check-capacity.autoscaling.x-k8s.io: questa classe open source verifica la disponibilità delle risorse prima di tentare di pianificare i pod. Supportato dalla versione GKE 1.30.2-gke.1468000.

  • best-effort-atomic.autoscaling.x-k8s.io: questa classe open source tenta di eseguire il provisioning delle risorse per tutti i pod della richiesta contemporaneamente. Se non è possibile eseguire il provisioning di risorse sufficienti per tutti i pod, non verrà eseguito il provisioning di alcuna risorsa e l'intera richiesta non andrà a buon fine. Supportato dalla versione 1.31.27 di GKE.

Per scoprire di più sulle classi CheckCapacity e BestEffortAtomicScaleUp, consulta la documentazione open source.

Limitazioni relative all'utilizzo di ProvisioningRequest

  • Il gestore della scalabilità automatica dei cluster GKE supporta un solo PodTemplate per ProvisioningRequest.
  • Il gestore della scalabilità automatica dei cluster GKE può fare lo scale up di un solo pool di nodi alla volta. Se la tua ProvisioningRequest richiede risorse da più pool di nodi, devi creare ProvisioningRequest separate per ogni pool di nodi.

Best practice per l'utilizzo di ProvisioningRequest

  • Utilizza total-max-nodes: invece di limitare il numero massimo di nodi (--max-nodes), utilizza --total-max-nodes per limitare le risorse totali consumate dalla tua applicazione.
  • Utilizza location-policy=ANY: questa impostazione consente di pianificare i pod in qualsiasi località disponibile, il che può accelerare il provisioning e ottimizzare l'utilizzo delle risorse.
  • (Facoltativo) Integrazione con Kueue: Kueue può automatizzare la creazione di ProvisioningRequest, semplificando il workflow. Per saperne di più, consulta la documentazione di Kueue.

Periodi di backoff

Un'operazione di scale up può non riuscire a causa di errori di creazione dei nodi, ad esempio per quota insufficiente o esaurimento degli indirizzi IP. Quando si verificano questi errori, il gruppo di istanze gestite (MIG) sottostante riprova l'operazione dopo un backoff iniziale di cinque minuti. Se gli errori continuano, questo periodo di backoff aumenta in modo esponenziale fino a un massimo di 30 minuti. Durante questo periodo, il gestore della scalabilità automatica dei cluster può comunque fare lo scale up di altri pool di nodi nel cluster che non presentano errori.

Informazioni aggiuntive

Puoi trovare ulteriori informazioni sul gestore della scalabilità automatica dei cluster nelle domande frequenti sulla scalabilità automatica nel progetto Kubernetes open source.

Osservazione del gestore della scalabilità automatica dei cluster

Per comprendere il comportamento e le decisioni del gestore della scalabilità automatica dei cluster, GKE fornisce diversi strumenti di osservabilità:

  • Eventi di visibilità: il gestore della scalabilità automatica dei cluster genera eventi che descrivono in dettaglio lo scale up, lo scale down e altre decisioni importanti. Questi eventi sono disponibili come voci di log in Cloud Logging. Per saperne di più, consulta Visualizza gli eventi del gestore della scalabilità automatica dei cluster.

  • Eventi Kubernetes: il gestore della scalabilità automatica dei cluster genera eventi Kubernetes standard sui pod (come TriggeredScaleUp o NotTriggeredScaleUp) e sui nodi (come ScaleDown). Il gestore della scalabilità automatica dei cluster genera anche aggiornamenti di stato su ConfigMap cluster-autoscaler-status nello spazio dei nomi kube-system. Puoi visualizzare questi eventi utilizzando il comando kubectl get events -n kube-system o ispezionando risorse specifiche.

  • Metrica dei pod in attesa: disponibile in GKE 1.37 e versioni successive, la metrica kubernetes.io/autoscaler/cluster_pending_pods_per_ccc in Cloud Monitoring offre una visualizzazione in tempo reale del numero di pod che il gestore della scalabilità automatica dei cluster sta elaborando. Questa metrica ti aiuta a valutare la domanda di scalabilità e a diagnosticare i problemi. Più nello specifico, questa metrica è associata alla risorsa k8s_entity e può essere suddivisa per ComputeClass, per il motivo per cui il pod è in attesa dal punto di vista del gestore della scalabilità automatica dei cluster e per tipo di pod. L'etichetta resource.labels.entity_name indica il nome della classe ComputeClass; una stringa vuota ("") indica che non è associata alcuna classe ComputeClass specifica. Per saperne di più, consulta Monitora lo stato dei pod in attesa con Cloud Monitoring.

  • Metrica degli errori di provisioning dei nodi: disponibile in GKE versione 1.37 e successive, la metrica kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc monitora i tentativi non riusciti di aggiungere nodi, classificati in base a motivi specifici. Questa metrica può aiutarti a identificare il motivo per cui un cluster non viene scalato come previsto. Per saperne di più, consulta Monitora gli errori di provisioning dei nodi.

  • Metrica dei tentativi di provisioning dei nodi: disponibile in GKE versione 1.37 e successive, la metrica kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_ccc fornisce un conteggio di ogni volta che il gestore della scalabilità automatica avvia uno scale up. Questa metrica ti aiuta a verificare che il gestore della scalabilità automatica risponda alla domanda. Per saperne di più, consulta Monitora i tentativi di provisioning dei nodi.

Limitazioni

Il gestore della scalabilità automatica dei cluster presenta le seguenti limitazioni:

  • I PersistentVolume locali non sono supportati dal gestore della scalabilità automatica dei cluster.
  • Nella versione del control plane GKE precedente alla 1.24.5-gke.600, quando i pod richiedono l'archiviazione temporanea, il gestore della scalabilità automatica dei cluster non supporta lo scale up di un pool di nodi con zero nodi che utilizza SSD locali come archiviazione temporanea.
  • Limitazioni delle dimensioni dei cluster: fino a 15.000 nodi. Tieni conto di altri limiti dei cluster e delle nostre best practice quando esegui cluster di queste dimensioni.
  • Durante lo scale down, il gestore della scalabilità automatica dei cluster rispetta un periodo di terminazione normale di un'ora per ripianificare i pod del nodo su un nodo diverso prima di forzare la terminazione del nodo.
  • In alcuni casi, il gestore della scalabilità automatica dei cluster non può fare lo scale down completamente e, dopo lo scale down, esiste un nodo aggiuntivo. Questo può accadere quando i pod di sistema richiesti vengono pianificati su nodi diversi, perché non esiste un trigger per lo spostamento di uno di questi pod su un nodo diverso. Consulta Ho un paio di nodi con un utilizzo ridotto, ma non è stato eseguito lo scale down. Perché?. Per ovviare a questo limite, puoi configurare un budget di interruzione dei pod.
  • La pianificazione personalizzata con filtri modificati non è supportata.
  • Il gestore della scalabilità automatica dei cluster considera il comportamento predefinito di kube-scheduler quando decide di eseguire il provisioning di nuovi nodi per i pod in attesa. L'utilizzo di scheduler personalizzati non è supportato e potrebbe comportare un comportamento di scalabilità imprevisto.
  • Non verrà eseguito lo scale up dei nodi se i pod hanno un valore PriorityClass inferiore a -10. Scopri di più in In che modo il gestore della scalabilità automatica dei cluster funziona con la priorità e il prerilascio dei pod?
  • Il gestore della scalabilità automatica dei cluster potrebbe non avere spazio di indirizzi IP non allocato sufficiente da utilizzare per aggiungere nuovi nodi o pod, il che comporta errori di scale up, indicati da eventi eventResult con il motivo scale.up.error.ip.space.exhausted. Puoi aggiungere altri indirizzi IP per i nodi espandendo la subnet principale o aggiungere nuovi indirizzi IP per i pod utilizzando il CIDR multi-pod non contiguo. Per saperne di più, consulta Spazio IP libero insufficiente per i pod.
  • Il gestore della scalabilità automatica dei cluster GKE è diverso dal gestore della scalabilità automatica dei cluster del progetto Kubernetes open source. I parametri del gestore della scalabilità automatica dei cluster GKE dipendono dalla configurazione del cluster e sono soggetti a modifiche. Se hai bisogno di un maggiore controllo sul comportamento della scalabilità automatica, disattiva il gestore della scalabilità automatica dei cluster GKE ed esegui il gestore della scalabilità automatica dei cluster di Kubernetes open source. Tuttavia, Kubernetes open source non offre Google Cloud alcun supporto.
  • Quando elimini un pool di nodi GKE con la scalabilità automatica abilitata, ai nodi viene impostato il flag NoSchedule e tutti i pod su questi nodi vengono rimossi immediatamente. Per mitigare l'improvvisa diminuzione delle risorse disponibili, il gestore della scalabilità automatica del pool di nodi potrebbe eseguire il provisioning di nuovi nodi all'interno dello stesso pool di nodi. Questi nodi appena creati diventano disponibili per la pianificazione e i pod rimossi vengono ripianificati su di essi. Infine, l'intero pool di nodi, inclusi i nodi di cui è stato appena eseguito il provisioning e i relativi pod, viene eliminato, il che può causare potenziali interruzioni del servizio. Come soluzione alternativa, per impedire al gestore della scalabilità automatica di eseguire il provisioning di nuovi nodi durante l'eliminazione, disattiva la scalabilità automatica sul node pool prima di avviare l'eliminazione.
  • Il gestore della scalabilità automatica dei cluster deve prevedere la quantità di risorse disponibili sui nuovi nodi per prendere decisioni di scalabilità. Sono inclusi i pod DaemonSet, il che riduce le risorse disponibili. Le previsioni non sono accurate al 100% e la quantità di risorse disponibili può variare tra le versioni di GKE. Per questo motivo, sconsigliamo di dimensionare e limitare i workload per adattarli a un tipo di istanza specifico. Valuta la possibilità di utilizzare classi di computing personalizzate. Se un workload deve avere come target un tipo di istanza specifico, assicurati di dimensionarlo in modo da lasciare un buffer di risorse allocabili sui nodi. In questo caso, devi anche assicurarti che tutti i pod DaemonSet pertinenti possano essere inseriti nei nodi insieme ai pod del workload.
  • Il gestore della scalabilità automatica dei cluster non supporta vincoli di distribuzione della topologia dei pod rigidi quando il campo whenUnsatisfiable è impostato sul valore DoNotSchedule. Puoi attenuare i requisiti di distribuzione impostando il campo whenUnsatisfiable sul valore ScheduleAnyway.

Problemi noti

  • Nella versione del control plane di GKE precedente alla 1.22, il gestore della scalabilità automatica dei cluster GKE interrompe lo scale up di tutti i node pool sui cluster vuoti (zero nodi). Questo comportamento non si verifica in GKE versione 1.22 e successive.

Risoluzione dei problemi

Per consigli sulla risoluzione dei problemi, consulta le seguenti pagine:

Passaggi successivi