Questo documento descrive le best practice per la configurazione delle opzioni di networking per i cluster Google Kubernetes Engine (GKE). È pensata come una guida alla pianificazione dell'architettura per cloud architect e network engineer, con suggerimenti per la configurazione dei cluster applicabili alla maggior parte dei cluster GKE. Prima di creare i cluster GKE, ti consigliamo di esaminare tutte le sezioni di questa pagina per comprendere le opzioni di networking supportate da GKE e le relative implicazioni.
Le opzioni di networking che scegli influiscono sull'architettura dei tuoi cluster GKE. Alcune di queste opzioni non possono essere modificate una volta configurate senza ricreare il cluster.
Prima di leggere questa pagina, assicurati di avere familiarità con i concetti e la terminologia del networking di Kubernetes, con alcuni concetti generali di networking e con il networking di Kubernetes. Per saperne di più, consulta la panoramica della rete GKE.
Durante l'esame di queste best practice, tieni presente quanto segue:
- Come prevedi di esporre i workload internamente alla tua rete Virtual Private Cloud (VPC), ad altri workload nel cluster, ad altri cluster GKE o esternamente a internet.
- Come prevedi di scalare i tuoi workload.
- Quali tipi di servizi Google vuoi utilizzare.
Per un elenco di controllo riepilogativo di tutte le best practice, consulta il Riepilogo dell'elenco di controllo.
Per una panoramica consolidata di tutte le best practice di GKE, consulta Best practice per GKE.Best practice per la progettazione di VPC
La sezione seguente fornisce alcuni suggerimenti specifici per GKE per la progettazione di reti VPC.
Utilizza cluster nativi di VPC
Ti consigliamo di utilizzare cluster nativi di VPC. Nei cluster IPv4 e dual-stack, i cluster nativi di VPC utilizzano intervalli di indirizzi IP alias sui nodi GKE; i cluster IPv6 single-stack allocano gli intervalli secondari di nodi e pod direttamente dalla subnet senza intervalli di indirizzi IP alias. I cluster nativi di VPC sono obbligatori per i cluster basati sul peering di rete VPC, per i cluster su VPC condivisi e offrono molti altri vantaggi. Per i cluster creati in modalità Autopilot, la modalità VPC nativo è sempre attiva e non può essere disattivata.
I cluster nativi di VPC scalano più facilmente rispetto ai cluster basati su route senza consumare route Google Cloud , quindi sono meno soggetti a raggiungere i limiti di routing.
I vantaggi dell'utilizzo dei cluster nativi di VPC vanno di pari passo con il supporto degli IP alias. Ad esempio, i gruppi di endpoint di rete (NEG) possono essere utilizzati solo con indirizzi IP secondari, pertanto sono supportati solo sui cluster nativi di VPC.
Utilizza reti VPC condivise
I cluster GKE richiedono un'attenta pianificazione degli indirizzi IP. La maggior parte delle organizzazioni ha una struttura di gestione centralizzata con un team di amministrazione di rete che può allocare lo spazio degli indirizzi IP per i cluster e un amministratore della piattaforma per la gestione dei cluster. Questo tipo di struttura organizzativa funziona bene con l'architettura di rete VPC condiviso di Google Cloud. Nell'architettura di rete VPC condiviso, un amministratore di rete può creare subnet e condividerle con i VPC. Puoi creare cluster GKE in un progetto di servizio e utilizzare le subnet condivise dal VPC condiviso nel progetto host. Il componente dell'indirizzo IP rimane nel progetto host, mentre gli altri componenti del cluster si trovano nel progetto di servizio.
In generale, una rete VPC condiviso è un'architettura utilizzata di frequente, adatta alla maggior parte delle organizzazioni con un team di gestione centralizzato. Ti consigliamo di utilizzare le reti VPC condiviso per creare le subnet per i tuoi cluster GKE ed evitare conflitti di indirizzi IP nella tua organizzazione. Potresti anche voler utilizzare i VPC condivisi per la governance delle funzioni operative. Ad esempio, puoi avere un team di rete che lavora solo sui componenti e sull'affidabilità della rete e un altro team che lavora su GKE.
Strategie di gestione degli indirizzi IP
Tutti i cluster Kubernetes, inclusi i cluster GKE, richiedono un indirizzo IP univoco per ogni pod. Per scoprire di più, consulta il modello di networking GKE.
In GKE, tutti questi indirizzi IP sono instradabili in tutta la rete VPC. Pertanto, è necessaria la pianificazione degli indirizzi IP perché gli indirizzi non possono sovrapporsi allo spazio degli indirizzi IP interni utilizzato on-premise o in altri ambienti connessi. Le sezioni seguenti suggeriscono strategie per la gestione degli indirizzi IP con GKE.
Best practice:
Pianifica l'allocazione degli indirizzi IP richiesti.Se necessario, utilizza lo spazio non RFC 1918.
Utilizza la modalità subnet personalizzata.
Pianifica la densità dei pod per nodo.
Evita sovrapposizioni con gli indirizzi IP utilizzati in altri ambienti.
Crea una subnet del bilanciatore del carico.
Prenota spazio di indirizzi IP sufficiente per il gestore della scalabilità automatica dei cluster.
Condividi gli indirizzi IP tra i cluster.
Condividi gli indirizzi IP per i servizi LoadBalancer interni.
Pianifica l'assegnazione degli indirizzi IP richiesti
Ti consigliamo di utilizzare cluster nativi di VPC con Private Service Connect (PSC). I cluster che utilizzano il peering di rete VPC devono essere cluster nativi di VPC.
I cluster nativi di VPC richiedono i seguenti intervalli di indirizzi IP:
- Intervallo di indirizzi IP del control plane: utilizza una subnet /28 all'interno degli intervalli privati di indirizzi IP inclusi in RFC 1918. Devi assicurarti che questa subnet non si sovrapponga a nessun altro blocco CIDR (Classless Inter-Domain Routing) nella rete VPC.
- Subnet dei nodi: la subnet con l'intervallo di indirizzi IP principale che vuoi allocare per tutti i nodi del cluster. Anche i servizi con il tipo
LoadBalancerche utilizzano l'annotazionecloud.google.com/load-balancer-type: "Internal"utilizzano questa subnet per impostazione predefinita. Puoi anche utilizzare una subnet dedicata per i bilanciatori del carico interni. - Intervallo di indirizzi IP dei pod: l'intervallo IP che allochi per tutti i pod nel tuo cluster. GKE esegue il provisioning di questo intervallo come alias della subnet. Per saperne di più, consulta Intervalli di indirizzi IP per i cluster nativi di VPC.
- Intervallo di indirizzi IP dei servizi: l'intervallo di indirizzi IP che assegni a tutti i servizi nel cluster. GKE esegue il provisioning di questo intervallo come alias della subnet.
Quando configuri il networking del cluster, devi definire una subnet del nodo, un intervallo di indirizzi IP dei pod e un intervallo di indirizzi IP dei servizi.
Se vuoi utilizzare lo spazio degli indirizzi IP in modo più efficiente, consulta Riduci l'utilizzo degli indirizzi IP interni in GKE.
L'intervallo di indirizzi IP del control plane è dedicato al control plane gestito da GKE che si trova in un progetto tenant gestito da Google in peering con il tuo VPC. Questo intervallo di indirizzi IP non deve sovrapporsi ad alcun indirizzo IP nel tuo gruppo di peering VPC, perché GKE importa questa route nel tuo progetto. Ciò significa che se nel tuo progetto sono presenti route allo stesso CIDR, potresti riscontrare problemi di routing.
Quando crei un cluster, la subnet ha un intervallo principale per i nodi del cluster, che deve esistere prima della creazione del cluster. La subnet deve contenere il numero massimo di nodi che prevedi nel cluster e gli indirizzi IP del bilanciatore del carico interno nel cluster che utilizza la subnet.
Puoi utilizzare il gestore della scalabilità automatica dei cluster per limitare il numero massimo di nodi.
Gli intervalli di indirizzi IP di pod e servizi sono rappresentati come intervalli secondari distinti della subnet, implementati come indirizzi IP alias nei cluster nativi di VPC.
Scegli intervalli di indirizzi IP sufficientemente ampi da poter ospitare tutti i nodi, i pod e i servizi per il cluster.
Tieni presente le seguenti limitazioni:
- Puoi espandere gli intervalli di indirizzi IP principali, ma non puoi ridurli. Questi intervalli di indirizzi IP non possono essere non contigui.
- Puoi espandere l'intervallo di pod aggiungendo altri intervalli di pod al cluster o creando nuovi node pool con altri intervalli di pod secondari.
- L'intervallo di indirizzi IP secondario per i servizi non può essere espanso o modificato per tutta la durata del cluster.
- Esamina le limitazioni per l'intervallo di indirizzi IP secondario per pod e servizi.
Utilizza più indirizzi IP RFC 1918 privati
In alcuni ambienti, lo spazio RFC 1918 in blocchi CIDR contigui di grandi dimensioni potrebbe essere già allocato in un'organizzazione. Puoi utilizzare lo spazio non RFC 1918 per CIDR aggiuntivi per i cluster GKE, purché non si sovrappongano agli indirizzi IP pubblici di proprietà di Google. Ti consigliamo di utilizzare la parte 100.64.0.0/10 dello spazio di indirizzi RFC perché lo spazio di indirizzi di classe E può presentare problemi di interoperabilità con l'hardware on-premise. Puoi utilizzare IP pubblici riutilizzati privatamente (PUPI).
Quando utilizzi indirizzi IP pubblici utilizzati privatamente, fai attenzione e valuta la possibilità di controllare gli annunci di route nelle reti on-premise verso internet quando scegli questa opzione.
Non devi utilizzare la Network Address Translation di origine (SNAT) in un cluster con traffico da pod a pod e da pod a servizio. Questo interrompe il modello di networking di Kubernetes.
Kubernetes presuppone che tutti gli indirizzi IP non RFC 1918 siano indirizzi IP pubblici riutilizzati privatamente e utilizza SNAT per tutto il traffico proveniente da questi indirizzi.
Se utilizzi un indirizzo IP non RFC 1918 per il tuo cluster GKE, per i cluster Standard dovrai disattivare esplicitamente SNAT o configurare l'agente di IP masquerading per escludere da SNAT gli indirizzi IP dei pod del cluster e gli intervalli di indirizzi IP secondari per i servizi. Per i cluster Autopilot, non sono necessari passaggi aggiuntivi.
Utilizza la modalità subnet personalizzata
Quando configuri la rete, selezioni anche la modalità subnet: auto (predefinita) o custom (consigliata). La modalità auto lascia l'allocazione della subnet a Google ed è una buona opzione per iniziare senza pianificare gli indirizzi IP. Tuttavia, ti consigliamo di selezionare la modalità custom perché ti consente di scegliere intervalli di indirizzi IP che non si sovrappongono ad altri intervalli nel tuo ambiente. Se utilizzi un VPC condiviso, un amministratore dell'organizzazione o un amministratore di rete può selezionare questa modalità.
L'esempio seguente crea una rete denominata my-net-1 con modalità subnet personalizzata:
gcloud compute networks create my-net-1 --subnet-mode custom
Pianifica la densità dei pod per nodo
Per impostazione predefinita, i cluster Standard riservano un intervallo /24 per ogni nodo dello spazio degli indirizzi dei pod nella subnet e consentono fino a 110 pod per nodo. Tuttavia, puoi configurare un cluster Standard in modo che supporti fino a 512 pod per nodo, con un intervallo /22 riservato per ogni nodo. A seconda delle dimensioni dei nodi e del profilo dell'applicazione dei pod, potresti eseguire un numero di pod notevolmente inferiore su ciascun nodo.
Se non prevedi di eseguire più di 64 pod per nodo, ti consigliamo di regolare il numero massimo di pod per nodo per preservare lo spazio degli indirizzi IP nella subnet dei pod.
Se prevedi di eseguire più dei 110 pod predefiniti per nodo, puoi aumentare il numero massimo di pod per nodo fino a 512, con /22 riservato per ogni nodo. Con questo tipo di configurazione ad alta densità di pod, ti consigliamo di utilizzare istanze con almeno 16 core CPU per garantire la scalabilità e le prestazioni del cluster.
Per i cluster Autopilot, il numero massimo di pod per nodo viene impostato dinamicamente su 256 (prenotando un intervallo fino a /23 per nodo). Non puoi configurare questa impostazione nei cluster Autopilot.
Evita sovrapposizioni con gli indirizzi IP utilizzati in altri ambienti
Puoi connettere la tua rete VPC a un ambiente on-premise o ad altri provider di servizi cloud tramite Cloud VPN o Cloud Interconnect. Questi ambienti possono condividere le route, il che rende lo schema di gestione degli indirizzi IP on-premise importante nella pianificazione degli indirizzi IP per GKE. Ti consigliamo di assicurarti che gli indirizzi IP non si sovrappongano a quelli utilizzati in altri ambienti.
Crea una subnet del bilanciatore del carico
Crea una subnet del bilanciatore del carico separata per esporre i servizi con il bilanciamento del carico TCP/UDP interno. Se non viene utilizzata una subnet del bilanciatore del carico separata, questi servizi vengono esposti utilizzando un indirizzo IP della subnet del nodo, il che può portare all'utilizzo di tutto lo spazio allocato in quella subnet prima del previsto e può impedirti di scalare il cluster GKE al numero di nodi previsto.
L'utilizzo di una subnet del bilanciatore del carico separata consente inoltre di filtrare il traffico da e verso i nodi GKE separatamente dai servizi esposti dal bilanciamento del carico TCP/UDP interno, il che consente di impostare limiti di sicurezza più rigidi.
Prenota spazio di indirizzi IP sufficiente per il gestore della scalabilità automatica dei cluster
Puoi utilizzare il gestore della scalabilità automatica dei cluster per aggiungere e rimuovere dinamicamente i nodi nel cluster in modo da controllare i costi e migliorare l'utilizzo. Tuttavia, quando utilizzi il gestore della scalabilità automatica dei cluster, assicurati che la pianificazione degli indirizzi IP tenga conto della dimensione massima di tutti i node pool. Ogni nuovo nodo richiede un proprio indirizzo IP, nonché un proprio insieme allocabile di indirizzi IP dei pod in base ai pod per nodo configurati. Il numero di pod per nodo può essere configurato in modo diverso rispetto a quello configurato a livello di cluster. Non puoi modificare il numero di pod per nodo dopo aver creato il cluster o il pool di nodi. Per un'allocazione ottimale degli indirizzi IP, devi considerare i tipi di workload e assegnarli a pool di nodi distinti.
Valuta la possibilità di utilizzare il provisioning automatico dei nodi con il gestore della scalabilità automatica dei cluster, in particolare se utilizzi cluster nativi di VPC. Per saperne di più, consulta Intervalli di limitazione dei nodi.
Condividi gli indirizzi IP tra i cluster
Potresti dover condividere gli indirizzi IP tra i cluster se hai un team centralizzato che gestisce l'infrastruttura per i cluster. Per condividere gli indirizzi IP tra i cluster GKE, consulta Condivisione di intervalli di indirizzi IP tra i cluster GKE. Puoi ridurre l'esaurimento degli IP creando tre intervalli per pod, servizi e nodi e riutilizzandoli o condividendoli, soprattutto in un modello di VPC condiviso. Questa configurazione può anche semplificare la gestione degli indirizzi IP da parte degli amministratori di rete, in quanto non richiede la creazione di subnet specifiche per ogni cluster.
Considera quanto segue:
- Come best practice, utilizza subnet e intervalli di indirizzi IP separati per tutti i cluster.
- Puoi condividere l'intervallo di indirizzi IP dei pod secondari, ma non è consigliabile perché un cluster potrebbe utilizzare tutti gli indirizzi IP.
- Puoi condividere intervalli di indirizzi IP di servizi secondari, ma questa funzionalità non funziona con Cloud DNS per GKE con ambito VPC.
Se esaurisci gli indirizzi IP, puoi creare intervalli di indirizzi IP dei pod aggiuntivi utilizzando il CIDR multi-pod non contiguo.
Condividi gli indirizzi IP per i servizi LoadBalancer interni
Puoi condividere un singolo indirizzo IP con un massimo di 50 backend utilizzando porte diverse. In questo modo puoi ridurre il numero di indirizzi IP necessari per i servizi LoadBalancer interni.
Per saperne di più, consulta IP condiviso.
Best practice per la sicurezza di rete
In questa sezione vengono descritti alcuni consigli chiave per l'isolamento dei cluster. La sicurezza di rete per i cluster GKE è una responsabilità condivisa tra Google e gli amministratori del cluster.
Best practice:
Utilizza GKE Dataplane V2.Riduci al minimo l'esposizione dei nodi.
Riduci al minimo l'esposizione del control plane del cluster.
Autorizza l'accesso al control plane.
Consenti la connettività del control plane.
Esegui il deployment dei proxy per l'accesso al control plane dalle reti in peering.
Limita il traffico del cluster utilizzando le policy di rete.
Abilita le policy di sicurezza di Google Cloud Armor per Ingress.
Utilizza Identity-Aware Proxy per fornire l'autenticazione per le applicazioni con utenti IAM.
Utilizza i vincoli delle policy dell'organizzazione per migliorare ulteriormente la sicurezza.
Utilizza GKE Dataplane V2
GKE Dataplane V2 si basa su eBPF e offre un'esperienza integrata di sicurezza e visibilità della rete. Quando crei un cluster utilizzando GKE Dataplane V2, non devi abilitare esplicitamente le policy di rete perché GKE Dataplane V2 gestisce il routing dei servizi, l'applicazione delle policy di rete e il logging. Abilita il nuovo piano dati con l'opzione --enable-dataplane-v2 di Google Cloud CLI durante la creazione di un cluster. Dopo aver configurato le policy di rete, è possibile configurare un oggetto CRD NetworkLogging predefinito per registrare le connessioni di rete consentite e negate. Ti consigliamo di creare cluster con GKE Dataplane V2 per sfruttare appieno le funzionalità integrate, come il logging delle policy di rete.
Riduci al minimo l'esposizione dei nodi
In un cluster con soli nodi privati, i pod sono isolati dalle comunicazioni in entrata e in uscita (il perimetro del cluster). Puoi controllare questi flussi direzionali esponendo i servizi tramite il bilanciamento del carico e Cloud NAT, descritti nella sezione Connettività del cluster di questo documento. Il seguente diagramma mostra questo tipo di configurazione:
Questo diagramma mostra come può comunicare un cluster con nodi privati. I client on-premise possono connettersi al cluster con il client kubectl. L'accesso ai servizi Google viene fornito tramite l'accesso privato Google e la comunicazione con internet è disponibile solo utilizzando Cloud NAT.
Riduci al minimo l'esposizione del control plane del cluster
Il control plane ha due tipi di endpoint per l'accesso al cluster:
- Endpoint basato su DNS
- Endpoint basati su IP
Utilizza solo l'endpoint basato su DNS per accedere al control plane per una configurazione semplificata e un livello di sicurezza flessibile e basato su policy.
L'endpoint DNS è accessibile da qualsiasi rete raggiungibile dalle API Google Cloud , incluse le reti on-premise o di altri cloud. Per abilitare l'endpoint basato su DNS, utilizza il flag --enable-dns-access.
Il server API GKE può anche essere esposto come endpoint pubblico o privato basato su IP. Puoi decidere quale endpoint utilizzare quando crei il cluster. Puoi controllare l'accesso con le reti autorizzate, in cui sia gli endpoint pubblici che quelli privati consentono per impostazione predefinita tutte le comunicazioni tra gli indirizzi IP dei pod e dei nodi nel cluster. Per abilitare un endpoint privato quando crei un cluster, utilizza il flag --enable-private-endpoint.
Autorizza l'accesso al control plane
Le reti autorizzate possono aiutare a stabilire quali subnet di indirizzi IP possono accedere ai nodi del control plane GKE. Dopo aver attivato queste reti, puoi limitare l'accesso a intervalli di indirizzi IP di origine specifici. Se l'endpoint pubblico è disabilitato, questi intervalli di indirizzi IP di origine devono essere privati. Se è abilitato un endpoint pubblico, puoi consentire intervalli di indirizzi IP pubblici o interni.
Configura gli annunci di route personalizzate per consentire la raggiungibilità dell'endpoint privato del control plane del cluster da un ambiente on-premise. Puoi rendere l'endpoint API GKE privato raggiungibile a livello globale utilizzando l'opzione --enable-master-global-access quando crei un cluster.
Il seguente diagramma mostra la connettività tipica del control plane utilizzando le reti autorizzate:
Questo diagramma mostra che gli utenti attendibili possono comunicare con il control plane GKE tramite l'endpoint pubblico perché fanno parte di reti autorizzate, mentre l'accesso da parte di attori non attendibili è bloccato. La comunicazione da e verso il cluster GKE avviene tramite l'endpoint privato del control plane.
Consenti la connettività del control plane
Alcuni pod di sistema su ogni nodo worker dovranno raggiungere servizi come il server API Kubernetes (kube-apiserver), le API di Google o il server dei metadati.
kube-apiserver deve anche comunicare con alcuni pod di sistema, ad esempio event-exporter. Questa comunicazione è consentita per impostazione predefinita. Se esegui il deployment delle regole firewall VPC all'interno dei progetti (maggiori dettagli nella sezione Limita il traffico del cluster), assicurati che i pod possano continuare a comunicare con kube-apiserver e con le API di Google.
Esegui il deployment dei proxy per l'accesso al control plane dalle reti in peering
Se il tuo cluster utilizza il peering di rete VPC, non puoi accedere al control plane del cluster da un'altra rete in peering.
Se vuoi l'accesso diretto da un'altra rete in peering o on-premise quando utilizzi un'architettura hub and spoke, esegui il deployment dei proxy per il traffico del control plane.
Limita il traffico del cluster utilizzando le policy di rete
Per i workload dei cluster sono possibili più livelli di sicurezza di rete che possono essere combinati: regole firewall VPC, policy del firewall gerarchiche e policy di rete Kubernetes. Le regole firewall VPC e le policy del firewall gerarchiche si applicano a livello di macchina virtuale (VM), ovvero ai nodi worker su cui risiedono i pod del cluster GKE. Le policy di rete di Kubernetes vengono applicate a livello di pod per applicare i percorsi di traffico da pod a pod.
Se implementi i firewall VPC, la comunicazione predefinita e obbligatoria del control plane potrebbe interrompersi, ad esempio la comunicazione di kubelet con il control plane. GKE crea regole firewall obbligatorie per impostazione predefinita, ma possono essere sovrascritte. Alcuni deployment potrebbero richiedere che il control plane raggiunga il cluster sul servizio. Puoi utilizzare i firewall VPC per configurare una policy in entrata che renda accessibile il servizio.
Le policy di rete GKE vengono configurate tramite l'API Kubernetes Network Policy per applicare la comunicazione dei pod di un cluster. Puoi attivare le policy di rete quando crei un cluster utilizzando l'opzione gcloud container
clusters create --enable-network-policy. Per limitare il traffico utilizzando le policy di rete, puoi seguire la guida all'implementazione del progetto Anthos per la limitazione del traffico.
Abilita le policy di sicurezza di Google Cloud Armor per Ingress
Utilizzando le policy di sicurezza di Google Cloud Armor, puoi proteggere le applicazioni che utilizzano bilanciatori del carico delle applicazioni esterni da attacchi DDoS e altri attacchi basati sul web bloccando questo traffico sul perimetro della rete. In GKE, abilita le policy di sicurezza di Google Cloud Armor per le applicazioni utilizzando Ingress per i bilanciatori del carico delle applicazioni esterni e aggiungendo una policy di sicurezza a BackendConfig collegata all'oggetto Ingress.
Utilizza Identity-Aware Proxy per fornire l'autenticazione per le applicazioni con utenti IAM
Se vuoi eseguire il deployment di servizi a cui possono accedere solo gli utenti della tua organizzazione, senza richiedere che siano connessi alla rete aziendale, puoi utilizzare Identity-Aware Proxy per creare un livello di autenticazione per queste applicazioni. Per abilitare Identity-Aware Proxy per GKE, segui i passaggi di configurazione per aggiungere Identity-Aware Proxy come parte di BackendConfig per l'Ingress del tuo servizio. Identity-Aware Proxy può essere combinato con Google Cloud Armor.
Utilizza i vincoli delle policy dell'organizzazione per migliorare ulteriormente la sicurezza
Utilizzando i vincoli delle policy dell'organizzazione, puoi impostare policy per migliorare ulteriormente la tua security posture. Ad esempio, puoi utilizzare i vincoli per limitare la creazione del bilanciatore del carico a determinati tipi, ad esempio solo ai bilanciatori del carico interni.
Scalabilità della connettività del cluster
Questa sezione illustra le opzioni scalabili per il DNS e la connettività in uscita dai tuoi cluster verso internet e i servizi Google.
Best practice:
Utilizza Cloud DNS per GKE.Abilita NodeLocal DNSCache.
Utilizza Cloud NAT per l'accesso a internet dai cluster.
Utilizza l'accesso privato Google per accedere ai servizi Google.
Utilizza Cloud DNS per GKE
Puoi utilizzare Cloud DNS per GKE per fornire la risoluzione DNS di pod e servizi con DNS gestito senza un provider DNS ospitato nel cluster. Cloud DNS elimina l'overhead di gestione di un server DNS ospitato su cluster e non richiede la scalabilità, il monitoraggio o la gestione delle istanze DNS perché è un servizio Google ospitato.
Abilita NodeLocal DNSCache
GKE utilizza kube-dns per fornire il servizio DNS locale del cluster come componente aggiuntivo predefinito del cluster. kube-dns viene replicato nel cluster in base al numero totale di core e nodi nel cluster.
Puoi migliorare le prestazioni del DNS con NodeLocal DNSCache. NodeLocal DNSCache è un componente aggiuntivo di cui viene eseguito il deployment come DaemonSet e non richiede modifiche alla configurazione dei pod. Le ricerche DNS nel servizio pod locale non creano connessioni aperte che devono essere monitorate sul nodo, il che consente una maggiore scalabilità. Le ricerche di nomi host esterni vengono inoltrate a Cloud DNS, mentre tutte le altre query DNS vengono inviate a kube-dns.
Abilita NodeLocal DNSCache per tempi di ricerca delle query DNS più coerenti e una migliore scalabilità del cluster. Per i cluster Autopilot, NodeLocal DNSCache è abilitato per impostazione predefinita e non può essere sostituito.
La seguente opzione di Google Cloud CLI attiva NodeLocal DNSCache quando crei un cluster: --addons NodeLocalDNS.
Se hai il controllo sul nome che le applicazioni stanno cercando di risolvere, esistono modi per migliorare la scalabilità del DNS. Ad esempio, utilizza un FQDN (termina il nome host con un punto) o disattiva l'espansione del percorso di ricerca tramite l'opzione del manifest Pod.dnsConfig.
Utilizza Cloud NAT per l'accesso a internet dai cluster
Per impostazione predefinita, i cluster con nodi privati abilitati non hanno accesso a internet. Per consentire ai pod di accedere a internet, attiva Cloud NAT per ogni regione. Come minimo, abilita Cloud NAT per gli intervalli primari e secondari nella subnet GKE. Assicurati di allocare un numero sufficiente di indirizzi IP per Cloud NAT e di porte per VM.
Quando utilizzi Cloud NAT per i cluster, segui queste best practice per la configurazione del gateway Cloud NAT:
- Quando crei il gateway Cloud NAT, attivalo solo per gli intervalli di subnet utilizzati dai tuoi cluster. Contando tutti i nodi in tutti i cluster, puoi determinare quante VM consumer NAT hai nel progetto.
Utilizza l'allocazione dinamica delle porte per distribuire numeri diversi di porte per VM in base all'utilizzo della VM. Inizia con un numero minimo di porte pari a 64 e un numero massimo di porte pari a 2048.
Se devi gestire molte connessioni simultanee alla stessa tupla di destinazione, riduci il timeout TCP
TIME_WAITdal valore predefinito di120sa5s. Per saperne di più, consulta Modifica i timeout NAT.Abilita il logging degli errori di Cloud NAT per controllare i log correlati.
Controlla i log del gateway Cloud NAT dopo averlo configurato. Per ridurre i problemi relativi allo stato di allocazione non riuscita, potrebbe essere necessario aumentare il numero massimo di porte per VM.
Devi evitare il doppio SNAT per il traffico dei pod (SNAT prima sul nodo GKE e poi di nuovo con Cloud NAT). A meno che tu non abbia bisogno di SNAT per nascondere gli indirizzi IP dei pod verso le reti on-premise connesse tramite Cloud VPN o Cloud Interconnect, disable-default-snat e scarica il monitoraggio SNAT su Cloud NAT per la scalabilità. Questa soluzione funziona per tutti gli intervalli IP di subnet principali e secondari. Utilizza le policy di rete per limitare il traffico esterno dopo aver attivato Cloud NAT. Cloud NAT non è necessario per accedere ai servizi Google.
Utilizza l'accesso privato Google per accedere ai servizi Google
Nei cluster con nodi privati, i pod non hanno indirizzi IP pubblici per raggiungere i servizi pubblici, incluse le API di Google e i servizi. L'accesso privato Google consente alle risorse privateGoogle Cloud di raggiungere i servizi Google.
L'accesso privato Google è abilitato per impostazione predefinita nei cluster con nodi privati, ad eccezione dei cluster VPC condiviso.
Best practice per lo scale up e lo scale down delle applicazioni
Quando crei applicazioni raggiungibili dall'esterno o dall'interno della tua organizzazione, assicurati di utilizzare il tipo e le opzioni di bilanciatore del carico corretti. Questa sezione fornisce suggerimenti sull'esposizione e sulla scalabilità delle applicazioni con Cloud Load Balancing.
Best practice:
Utilizza il bilanciamento del carico nativo del container.Scegli la risorsa GKE corretta per esporre la tua applicazione.
Crea controlli di integrità basati su BackendConfig.
Utilizza la policy del traffico locale per conservare gli indirizzi IP originali.
Utilizza Private Service Connect.
Utilizza il bilanciamento del carico nativo del container
Utilizza il bilanciamento del carico nativo del container quando esponi i servizi utilizzando HTTP(S) esternamente. Il bilanciamento del carico nativo del container riduce gli hop di rete, abbassa la latenza e fornisce una distribuzione del traffico più precisa. Inoltre, aumenta la visibilità del tempo di round trip e ti consente di utilizzare funzionalità di bilanciamento del carico come Google Cloud Armor.
Scegli la risorsa GKE corretta per esporre la tua applicazione
A seconda dell'ambito dei tuoi client (interno, esterno o anche interno al cluster), della regionalità della tua applicazione e dei protocolli che utilizzi, esistono diverse risorse GKE che puoi scegliere di utilizzare per esporre la tua applicazione. La panoramica del networking dei servizi spiega queste opzioni e può aiutarti a scegliere la risorsa migliore per esporre ogni parte della tua applicazione utilizzando le opzioni di bilanciamento del carico di Google Cloud .
Crea controlli di integrità basati su BackendConfig
Se utilizzi un Ingress per esporre i servizi, utilizza una configurazione del controllo di integrità in un CRD BackendConfig per utilizzare la funzionalità di controllo di integrità del bilanciatore del carico delle applicazioni esterno. Puoi indirizzare il controllo di integrità all'endpoint appropriato e impostare le tue soglie. Senza una CRD BackendConfig, i controlli di integrità vengono dedotti dai parametri del probe di idoneità o utilizzano parametri predefiniti.
Utilizza la policy di traffico locale per conservare gli indirizzi IP originali
Quando utilizzi un bilanciatore del carico di rete passthrough interno con GKE, imposta l'opzione externalTrafficPolicy su Local per conservare l'indirizzo IP di origine delle richieste. Utilizza questa opzione se la tua applicazione richiede l'indirizzo IP di origine originale. Tuttavia, l'opzione externalTrafficPolicy local può portare a una distribuzione del carico meno ottimale, quindi utilizza questa funzionalità solo se necessario. Per i servizi HTTP(S), puoi utilizzare i controller Ingress e ottenere l'indirizzo IP originale leggendo l'intestazione X-Forwarded-For nella richiesta HTTP.
Utilizza Private Service Connect
Puoi utilizzare Private Service Connect per condividere i servizi del bilanciatore del carico di rete passthrough interno con altre reti VPC. Questo è utile per i servizi ospitati su cluster GKE, ma che servono clienti che operano in progetti e VPC diversi.
Puoi utilizzare Private Service Connect per ridurre il consumo di indirizzi IP fornendo connettività tra VPC con indirizzi IP sovrapposti.
Best practice operative
Best practice:
Utilizza IAM per le autorizzazioni GKE per controllare le policy nelle VPC condiviso condivise.Utilizza i cluster a livello di regione e distribuisci i workload per l'alta affidabilità.
Utilizza Cloud Logging e Cloud Monitoring e abilita il logging delle policy di rete.
Le sezioni seguenti contengono best practice operative che ti aiutano a garantire opzioni di autorizzazione granulari per i tuoi workload. Per evitare di creare regole firewall manuali, segui le best practice operative riportate in questa sezione. Include anche suggerimenti per la distribuzione dei workload e per il monitoraggio e il logging in GKE.
Utilizza IAM per le autorizzazioni GKE per controllare le policy nelle reti VPC condiviso
Quando utilizzi reti VPC condivise, le regole firewall per i bilanciatori del carico vengono create automaticamente nel progetto host.
Per evitare di dover creare manualmente le regole firewall, assegna un ruolo personalizzato con privilegi minimi al account di servizio GKE nel progetto host denominato service-HOST_PROJECT_NUMBER@container-engine-robot..
Sostituisci HOST_PROJECT_NUMBER con il numero di progetto del progetto host per il VPC condiviso.
Il ruolo personalizzato che crei deve disporre delle seguenti autorizzazioni:
compute.firewalls.createcompute.firewalls.getcompute.firewalls.listcompute.firewalls.delete
Inoltre, le regole firewall create da GKE hanno sempre la priorità predefinita di 1000, quindi puoi impedire il flusso di traffico specifico creando regole firewall con una priorità più alta.
Se vuoi limitare la creazione di determinati tipi di bilanciatori del carico, utilizza le policy dell'organizzazione per limitare la creazione dei bilanciatori del carico.
Utilizza i cluster a livello di regione e distribuisci i workload per l'alta affidabilità
I cluster regionali possono aumentare la disponibilità delle applicazioni in un cluster perché il control plane e i nodi del cluster sono distribuiti in più zone.
Tuttavia, per offrire la migliore esperienza utente possibile in caso di errore di una zona, utilizza il gestore della scalabilità automatica dei cluster per assicurarti che il tuo cluster possa gestire il carico richiesto in qualsiasi momento.
Puoi anche utilizzare l'anti-affinità dei pod per assicurarti che i pod di un determinato servizio siano pianificati in più zone.
Utilizza Cloud Logging e Cloud Monitoring e abilita il logging delle policy di rete
Sebbene ogni organizzazione abbia requisiti diversi per la visibilità e l'audit, consigliamo di abilitare il logging delle policy di rete. Questa funzionalità è disponibile solo con GKE Dataplane V2. Il logging delle policy di rete offre visibilità sull'applicazione delle policy e sui pattern di traffico dei pod. Tieni presente che il logging delle policy di rete comporta dei costi.
Per i cluster GKE che utilizzano la versione 1.14 o successive, Logging e Monitoring sono entrambi abilitati per impostazione predefinita. Monitoring fornisce una dashboard per i tuoi cluster GKE. Logging abilita anche le annotazioni GKE per i log di flusso VPC. Per impostazione predefinita, Logging raccoglie i log per tutti i workload di cui è stato eseguito il deployment nel cluster, ma esiste anche un'opzione per i log solo di sistema. Utilizza la dashboard GKE per osservare e impostare gli avvisi. Per i cluster creati in modalità Autopilot, il monitoraggio e il logging vengono abilitati automaticamente e non possono essere configurati.
Best practice per la distribuzione uniforme del traffico
Questa sezione fornisce le pratiche consigliate per una distribuzione uniforme del traffico. Prima di implementarle, assicurati di disporre di un monitoraggio appropriato (ad esempio utilizzando Prometheus, Cloud Monitoring o i servizi di monitoraggio del tuo cloud provider) per identificare e confermare i pattern di distribuzione non uniforme.
Disattiva o configura attentamente l'affinità sessione
Per risolvere il problema, disattiva l'affinità sessione, a meno che non sia assolutamente necessaria. Imposta sessionAffinity: None nel manifest del servizio. Se devi utilizzare l'affinità di sessione, valuta attentamente le implicazioni e monitora il carico dei pod. L'affinità di sessione garantisce che un utente rimanga connesso allo stesso backend per tutta la durata di una sessione.
Utilizza il bilanciamento del carico ponderato
Per implementare questa pratica, configura il servizio in modo che utilizzi il bilanciamento del carico ponderato. Il bilanciamento del carico ponderato distribuisce il traffico in base al numero di pod integri per nodo. Il bilanciatore del carico invia nuove connessioni a un nodo GKE in proporzione al numero di pod integri in quel nodo. Per un bilanciatore del carico di rete passthrough esterno in GKE, il bilanciamento del carico ponderato consente ai nodi con più pod di gestione di ricevere una percentuale maggiore di nuove connessioni.
Per attivare il bilanciamento del carico ponderato, devi soddisfare i seguenti requisiti e configurare il servizio con annotazioni specifiche:
- Versione del cluster GKE: il cluster GKE deve utilizzare la versione 1.31.0-gke.1506000 o successiva.
- Componente aggiuntivo Bilanciamento del carico HTTP: il componente aggiuntivo
HttpLoadBalancingdeve essere abilitato per il tuo cluster (è abilitato per impostazione predefinita). Se il tuo cluster utilizza la versione 1.36 o successive, questo componente aggiuntivo non è un prerequisito per i servizi di backend. - Bilanciatore del carico basato su un servizio di backend: imposta il campo
spec.loadBalancerClasssunetworking.gke.io/l4-regional-externalnel manifest del Service per assicurarti che GKE crei un bilanciatore del carico di rete passthrough esterno basato su un servizio di backend. Questo campo richiede GKE 1.33.1-gke.1779000 o versioni successive. I bilanciatori del carico basati su pool di destinazione non supportano il bilanciamento del carico ponderato. - Annotazione del bilanciamento del carico ponderato: includi l'annotazione
networking.gke.io/weighted-load-balancing: pods-per-nodenel manifest del servizio. - Policy del traffico esterno: il manifest del Service deve utilizzare
externalTrafficPolicy: Local. SebbeneexternalTrafficPolicy: Clustersia consentito, disabilita di fatto il bilanciamento del carico ponderato, poiché i pacchetti potrebbero essere instradati a un nodo diverso dopo la distribuzione iniziale del bilanciatore del carico.
- Salva il seguente manifest di esempio come
weighted-lb-service.yaml:
apiVersion: v1
kind: Service
metadata:
name: my-weighted-service
annotations:
networking.gke.io/weighted-load-balancing: pods-per-node
spec:
type: LoadBalancer
loadBalancerClass: networking.gke.io/l4-regional-external
externalTrafficPolicy: Local
selector:
app: my-app
ports:
- protocol: TCP
port: 80
targetPort: 8080
Applica il manifest al tuo cluster:
kubectl apply -f weighted-lb-service.yaml
Questa configurazione evita di sovraccaricare le istanze di backend distribuendo le nuove connessioni in modo proporzionale al numero di pod su ciascun nodo. Inoltre, conserva l'affinità dell'indirizzo IP client e l'indirizzo IP di origine originale del client per l'applicazione grazie a externalTrafficPolicy: Local.
Garantisci una distribuzione uniforme dei pod tra i nodi
Utilizza l'anti-affinità dei pod per impedire la pianificazione dei pod dello stesso servizio sullo stesso nodo. Definisci le regole di anti-affinità dei pod nei manifest di deployment.
L'esempio seguente mostra un manifest di deployment con anti-affinità tra pod:
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-app
spec:
replicas: 6
template:
metadata:
labels:
app: my-app
spec:
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- my-app
topologyKey: "kubernetes.io/hostname"
Esamina la policy del traffico esterno
Utilizza Cluster come externalTrafficPolicy per consentire al bilanciatore del carico di distribuire il traffico a qualsiasi nodo del cluster. Imposta externalTrafficPolicy:
Cluster nel manifest del servizio. Utilizza questa impostazione se devi distribuire il traffico in modo uniforme su tutti i nodi.
Se utilizzi Local, assicurati di distribuire i pod in modo uniforme tra i nodi.
Disabilita l'affinità dei nodi
Rimuovi le configurazioni di affinità dai tuoi deployment se riscontri hotspot.
Utilizza i probe di idoneità
Configura i probe di idoneità sui pod. Definisci i probe di idoneità nei manifest dei pod. In questo modo, il bilanciatore del carico invia il traffico solo ai pod pronti a gestire le richieste.
L'esempio seguente mostra un manifest di pod con un probe di idoneità:
apiVersion: v1
kind: Pod
metadata:
name: my-pod
spec:
containers:
- name: my-container
image: my-image
readinessProbe:
httpGet:
path: /healthz
port: 8080
initialDelaySeconds: 5
periodSeconds: 10
Utilizza il bilanciamento del carico nativo del container
Se possibile, utilizza il bilanciamento del carico nativo del container. Il bilanciatore del carico distribuisce il traffico direttamente ai pod, anziché ai nodi. In questo modo, la distribuzione del traffico migliora e la latenza si riduce. Per saperne di più, consulta Informazioni sul bilanciamento del carico in GKE.
Prendi in considerazione il routing sensibile alla topologia
Valuta la possibilità di utilizzare il routing sensibile alla topologia. Questa funzionalità mira a mantenere il traffico all'interno della zona di origine, migliorando le prestazioni e riducendo i costi. Questa funzionalità funziona al meglio quando il traffico in entrata è distribuito in modo uniforme e i servizi Kubernetes hanno tre o più endpoint per zona. Per saperne di più, consulta Risoluzione dei problemi relativi alla distribuzione del traffico.
Cloud Service Mesh
Per un controllo più granulare sulla distribuzione del traffico, sulle policy di routing avanzate e sull'osservabilità, valuta la possibilità di implementare un Cloud Service Mesh come Istio. Cloud Service Mesh opera a livello di applicazione e fornisce funzionalità sofisticate di gestione del traffico.