Google Distributed Cloud software only per VMware funziona con le funzionalità di disponibilità di vSphere per aiutarti a proteggere i workload da errori di host ESXi, datastore e data center. I nodi del control plane ridondanti, le regole di anti-affinità delle VM e il failover del bilanciatore del carico contribuiscono a mantenere i cluster in esecuzione. I deployment multi-cluster nei data center supportano il ripristino di emergenza.
Funzionalità di base
Un'installazione di Google Distributed Cloud solo software per VMware include un cluster di amministrazione e uno o più cluster utente.
Il cluster di amministrazione gestisce il ciclo di vita dei cluster utente, tra cui la creazione, gli aggiornamenti, gli upgrade e l'eliminazione dei cluster utente. Nel cluster di amministrazione, il master di amministrazione gestisce i nodi worker di amministrazione, che includono i master utente (nodi che eseguono il control plane dei cluster utente gestiti) e i nodi aggiuntivi (nodi che eseguono i componenti aggiuntivi che supportano la funzionalità del cluster di amministrazione).
Per ogni cluster utente, il cluster di amministrazione ha un nodo non ad alta disponibilità o tre nodi ad alta disponibilità che eseguono il control plane. Il control plane include il server API Kubernetes, lo scheduler Kubernetes, il controller manager Kubernetes e diversi controller critici per il cluster utente.
La disponibilità del control plane del cluster utente è fondamentale per le operazioni dei workload, come la creazione, lo scale up e lo scale down e la terminazione dei workload. In altre parole, un'interruzione del control plane non interferisce con i workload in esecuzione, ma i workload esistenti perdono le funzionalità di gestione dal server API Kubernetes se il control plane è assente.
Il deployment dei workload e dei servizi containerizzati viene eseguito nei nodi worker del cluster utente. Nessun singolo nodo worker deve essere fondamentale per la disponibilità dell'applicazione, purché il deployment dell'applicazione venga eseguito con pod ridondanti pianificati su più nodi worker.
Abilitazione dell'alta affidabilità
vSphere e Google Distributed Cloud offrono una serie di funzionalità che contribuiscono all'alta affidabilità (HA).
vSphere HA e vMotion
Ti consigliamo di attivare le seguenti due funzionalità nel cluster vCenter che ospita i cluster Google Distributed Cloud (solo software) per VMware:
Queste funzionalità migliorano la disponibilità e il ripristino in caso di errore di un host ESXi.
vCenter HA utilizza più host ESXi configurati come cluster per fornire un rapido recupero dalle interruzioni e un'alta affidabilità (HA) conveniente per le applicazioni in esecuzione nelle macchine virtuali. Ti consigliamo di eseguire il provisioning del cluster vCenter con host aggiuntivi e di attivare il monitoraggio degli host vSphere HA con Host Failure Response impostato su Restart VMs. Le VM possono quindi essere riavviate automaticamente su altri host disponibili in caso di errore dell'host ESXi.
vMotion consente la migrazione live senza tempi di inattività delle VM da un host ESXi a un altro. Per la manutenzione pianificata dell'host, puoi utilizzare la migrazione live di vMotion per evitare completamente i tempi di inattività delle applicazioni e garantire la continuità operativa.
Cluster di amministrazione
Google Distributed Cloud (solo software) per VMware supporta la creazione di cluster di amministrazione ad alta affidabilità (HA). Un cluster di amministrazione ad alta affidabilità ha tre nodi che eseguono i componenti del control plane. Per informazioni su requisiti e limitazioni, consulta Cluster di amministrazione ad alta affidabilità.
Tieni presente che la mancata disponibilità del control plane del cluster di amministrazione non influisce sulla funzionalità del cluster utente esistente o sui workload in esecuzione nei cluster utente.
In un cluster di amministrazione sono presenti due nodi aggiuntivi. Se uno non è disponibile, l'altro può comunque gestire le operazioni del cluster di amministrazione. Per la ridondanza, il software Google Distributed Cloud solo per VMware distribuisce i servizi aggiuntivi critici, come kube-dns, su entrambi i nodi dei componenti aggiuntivi.
Se imposti antiAffinityGroups.enabled su true nel file di configurazione del cluster di amministrazione, Google Distributed Cloud solo software per VMware crea automaticamente regole anti-affinità vSphere DRS per i nodi aggiuntivi, in modo che vengano distribuiti su due host fisici per l'alta affidabilità.
Cluster utente
Puoi abilitare l'alta affidabilità per un cluster utente impostando masterNode.replicas su 3 nel file di configurazione del cluster utente. Se nel cluster utente è abilitato
Controlplane V2
(consigliato), i tre nodi del control plane vengono eseguiti nel cluster utente.
I cluster utente ad alta affidabilità legacy che non hanno il control plane V2 abilitato eseguono i tre nodi del control plane nel cluster di amministrazione. Ogni nodo del control plane esegue anche una replica etcd. Il cluster utente continua a funzionare finché è in esecuzione un control plane e un quorum etcd. Un quorum etcd richiede che due delle tre repliche etcd siano funzionanti.
Se imposti antiAffinityGroups.enabled su true nel file di configurazione del cluster di amministrazione, Google Distributed Cloud solo software per VMware crea automaticamente regole anti-affinità DRS di vSphere per i tre nodi che eseguono il control plane del cluster utente.
In questo modo, le VM vengono distribuite su tre host fisici.
Il software Google Distributed Cloud solo per VMware crea anche regole anti-affinità DRS di vSphere per i nodi worker nel cluster utente, in modo che questi nodi vengano distribuiti su almeno tre host fisici. Vengono utilizzate più regole di anti-affinità DRS per pool di nodi del cluster utente in base al numero di nodi. In questo modo, i nodi worker possono trovare host su cui essere eseguiti, anche se il numero di host è inferiore al numero di VM nel pool di nodi del cluster utente. Ti consigliamo di includere host fisici aggiuntivi nel cluster vCenter. Configura inoltre DRS in modo che sia completamente automatizzato, in modo che, se un host non è disponibile, DRS possa riavviare automaticamente le VM su altri host disponibili senza violare le regole anti-affinità delle VM.
Google Distributed Cloud (solo software) per VMware mantiene un'etichetta del nodo speciale,
onprem.gke.io/failure-domain-name, il cui valore è impostato sul nome host ESXi
sottostante. Le applicazioni utente che richiedono l'alta affidabilità possono configurare regole podAntiAffinity con questa etichetta come topologyKey per garantire che i pod dell'applicazione siano distribuiti su VM e host fisici diversi.
Puoi anche configurare più node pool per un cluster utente con datastore diversi ed etichette dei nodi speciali. Analogamente, puoi configurare regole podAntiAffinity con questa etichetta del nodo speciale come topologyKey per ottenere una maggiore disponibilità in caso di errori del datastore.
Per garantire l'alta affidabilità dei workload utente, assicurati che il cluster utente abbia un numero sufficiente di repliche in nodePools.replicas, in modo da garantire il numero desiderato di nodi worker del cluster utente in esecuzione.
Puoi utilizzare datastore separati per i cluster di amministrazione e i cluster utente per isolare i relativi errori.
Bilanciatore del carico
Esistono due tipi di bilanciatori del carico che puoi utilizzare per l'alta affidabilità.
Bilanciatore del carico MetalLB integrato
Per il bilanciatore del carico MetalLB integrato, ottieni l'alta affidabilità avendo più di un nodo con enableLoadBalancer: true.
MetalLB distribuisce i servizi sui nodi del bilanciatore del carico, ma per un singolo servizio esiste un solo nodo leader che gestisce tutto il traffico per quel servizio.
Durante l'upgrade del cluster, si verifica un tempo di inattività quando viene eseguito l'upgrade dei nodi del bilanciatore del carico. La durata dell'interruzione del failover di MetalLB aumenta con l'aumentare del numero di nodi del bilanciatore del carico. Con meno di cinque nodi, l'interruzione è di 10 secondi.
Bilanciamento manuale del carico
Con il bilanciamento manuale del carico, configuri Google Distributed Cloud (solo software) per VMware in modo che utilizzi un bilanciatore del carico di tua scelta, ad esempio F5 BIG-IP o Citrix. Configura l'alta affidabilità sul bilanciatore del carico, non nel software Google Distributed Cloud solo per VMware.
Utilizzo di più cluster per il ripristino di emergenza
Il deployment delle applicazioni in più cluster su più server vCenter può fornire una maggiore disponibilità globale e limitare il raggio d'azione durante le interruzioni.
Questa configurazione utilizza il cluster esistente nel data center secondario per il ripristino di emergenza anziché configurare un nuovo cluster. Di seguito è riportato un riepilogo generale per raggiungere questo obiettivo:
Crea un altro cluster di amministrazione e un altro cluster utente nel data center secondario. In questa architettura multi-cluster, gli utenti devono avere due cluster di amministrazione in ogni data center e ogni cluster di amministrazione esegue un cluster utente.
Il cluster utente secondario ha un numero minimo di nodi worker (tre) ed è un hot standby (sempre in esecuzione).
Puoi replicare i deployment delle applicazioni nei due vCenter utilizzando una toolchain DevOps dell'applicazione esistente (CI/CD, Spinnaker), che è l'approccio preferito, o utilizzando Config Sync.
In caso di emergenza, il cluster utente può essere ridimensionato in base al numero di nodi richiesto.
Inoltre, è necessario un cambio DNS per indirizzare il traffico al cluster nel data center secondario.