Questa pagina spiega come funziona l'IP masquerading in Google Kubernetes Engine (GKE) e fornisce opzioni di configurazione per diversi scenari.
Questa pagina presuppone che tu conosca l'IP masquerading in Kubernetes.
IP masquerading GKE
GKE può utilizzare l'IP masquerading per modificare gli indirizzi IP di origine dei pacchetti inviati dai pod. Quando l'IP masquerading viene applicato a un pacchetto emesso da un pod, GKE modifica l'indirizzo IP di origine del pacchetto dall'indirizzo IP del pod all'indirizzo IP del nodo sottostante. Il mascheramento dell'indirizzo IP di origine di un pacchetto è utile quando un destinatario è configurato per ricevere pacchetti solo dagli indirizzi IP dei nodi del cluster.
Sui nodi Linux, GKE configura le regole iptables.
GKE utilizza il DaemonSet ip-masq-agent per configurare il piano dati appropriato.
La funzionalità ip-masq-agent non è supportata sui node pool Windows Server. Tuttavia,
i nodi Windows eseguono l'IP masquerading (Source Network Address Translation o
SNAT) per i pacchetti inviati a destinazioni esterne al cluster
riscrivendo l'indirizzo IP del pod di origine nell'indirizzo IP del nodo. SNAT viene ignorato per i pacchetti inviati agli indirizzi IP dei pod o dei nodi all'interno dello stesso cluster. Questo comportamento sui nodi Windows non è configurabile dall'utente.
IP masquerading per i cluster Standard
Nei cluster Standard, il comportamento di IP masquerading del cluster è regolato da tre fattori:
- Se hai eseguito il deployment o se GKE ha eseguito automaticamente il deployment del
DaemonSet
ip-masq-agentnel cluster. Per scoprire gli scenari in cui GKE esegue automaticamente il deployment del DaemonSetip-masq-agent, consulta Quando viene eseguito automaticamente il deployment diip-masq-agent. - Se hai creato un elenco
nonMasqueradeCIDRspersonalizzato nelip-masq-agentconfigMap. - Se nel cluster non è stato eseguito il deployment di alcun DaemonSet
ip-masq-agent, verifica se hai creato il cluster con il flag--disable-default-snat. Per saperne di più su questo flag, consulta Effetto del flag--disable-default-snat.
La tabella seguente riassume le configurazioni di IP masquerading per i cluster GKE Standard:
| Configurazione cluster | Comportamento SNAT risultante |
|---|---|
Il DaemonSet |
GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni specificate nell'elenco GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni non specificate nell'elenco |
IL |
GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a un insieme di destinazioni non mascherate predefinite. GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni esterne alle destinazioni non mascherate predefinite. |
Il DaemonSet |
GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a un insieme di destinazioni non mascherate predefinite. GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni esterne alle destinazioni non mascherate predefinite. |
Il DaemonSet |
GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati a tutte le destinazioni. Consulta Conservazione delle origini degli indirizzi IPv4 dei pod per le destinazioni internet per importanti considerazioni sul routing quando conservi gli indirizzi di origine IPv4 dei pod e devi instradare i pacchetti verso internet. |
IP masquerading per i cluster Autopilot
Nei cluster Autopilot, GKE esegue sempre il deployment di un DaemonSet ip-masq-agent. Ad eccezione dei pacchetti inviati dai pod agli intervalli di nodi, pod o servizi del cluster, puoi controllare il comportamento di IP masquerading utilizzando un EgressNATPolicy. Per utilizzare un EgressNATPolicy, il tuo cluster Autopilot deve soddisfare entrambi i seguenti requisiti:
- Il cluster deve utilizzare GKE versione 1.23.4-gke.1600 o successive oppure 1.22.7-gke.1500 o successive.
- Il cluster deve essere stato creato con GKE Dataplane V2 abilitato.
La tabella seguente riassume le configurazioni di IP masquerading per i cluster GKE Autopilot:
| Configurazione del cluster Autopilot | Comportamento SNAT risultante |
|---|---|
|
Il cluster include un |
GKE conserva gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni specificate in GKE modifica gli indirizzi IP dei pod di origine in indirizzi IP dei nodi di origine per i pacchetti inviati a destinazioni non specificate in |
|
Il cluster non include un |
Si applicano sia la policy predefinita
|
Esempi di configurazione
Espandi le sezioni seguenti per visualizzare esempi di IP masquerading e configurazione in base al tipo di cluster.
Riferimento per la configurazione avanzata
Quando il ip-masq-agent viene eseguito automaticamente
Nei cluster in modalità Autopilot, GKE esegue sempre il deployment di un DaemonSet ip-masq-agent.
Nei cluster Standard, GKE esegue il deployment di un DaemonSet ip-masq-agent quando il flag --disable-default-snat non è impostato e il cluster utilizza una delle seguenti combinazioni di configurazione:
Il cluster non utilizza GKE Dataplane V2 e l'applicazione delle policy di rete è abilitata.
Il cluster utilizza un intervallo di indirizzi IP dei pod che non rientra in
10.0.0.0/8.
Affinché il DaemonSet ip-masq-agent sia efficace, devi anche
specificare l'elenco nonMasqueradeCIDRs
in ip-masq-agent ConfigMap. Per saperne di più, consulta come configurare un agente di IP masquerading.
Quando un DaemonSet ip-masq-agent è presente in un cluster, GKE aggiorna e riconcilia un pod di distribuzione su ogni nodo del cluster.
Destinazioni non mascherate predefinite
Le destinazioni non mascherate predefinite sono:
10.0.0.0/8172.16.0.0/12192.168.0.0/16100.64.0.0/10192.0.0.0/24192.0.2.0/24192.88.99.0/24198.18.0.0/15198.51.100.0/24203.0.113.0/24240.0.0.0/4
Le destinazioni non mascherate predefinite sono applicabili ai cluster con le seguenti configurazioni:
Il tuo cluster ha un DaemonSet
ip-masq-agent, ma nessun elencononMasqueradeCIDRsspecificato nel relativo ConfigMapip-masq-agent. Questo include il caso in cui il tuo cluster ha un DaemonSetip-masq-agent, ma non ha un ConfigMapip-masq-agent.Il tuo cluster non ha un DaemonSet
ip-masq-agent, e il flag--disable-default-snatnon è impostato.
Le destinazioni non mascherate predefinite non sono applicabili ai cluster con le seguenti configurazioni:
Il tuo cluster ha un DaemonSet
ip-masq-agente hai un elencononMasqueradeCIDRspersonalizzato specificato in ConfigMapip-masq-agent. Un elencononMasqueradeCIDRspersonalizzato sostituisce sempre le destinazioni non-masquerade predefinite quando il cluster ha un DaemonSetip-masq-agent.Il cluster non ha un DaemonSet
ip-masq-agent, ma il flag--disable-default-snatè impostato. Per ulteriori dettagli su questa configurazione, consulta Effetto del flag--disable-default-snat.
Effetto del flag --disable-default-snat
Il flag --disable-default-snat modifica il comportamento SNAT predefinito di GKE in modo che gli indirizzi IP dei pod di origine vengano conservati per i pacchetti inviati a tutte le destinazioni.
GKE implementa il comportamento SNAT predefinito non eseguendo il deployment di alcun DaemonSet ip-masq-agent nel cluster.
Il flag --disable-default-snat non ha alcun effetto quando un cluster include un DaemonSet ip-masq-agent:
Poiché i cluster Autopilot includono sempre un DaemonSet
ip-masq-agent, il flag--disable-default-snatnon ha alcun effetto sui cluster Autopilot.Per i cluster Standard: se esegui il deployment di un DaemonSet
ip-masq-agento se GKE esegue automaticamente il deployment di un DaemonSetip-masq-agent, il flag--disable-default-snatnon ha alcun significato per il cluster, anche se--disable-default-snatè impostato. Quando nel cluster è presente un DaemonSetip-masq-agent, le destinazioni non-masquerade vengono specificate esplicitamente in un elencononMasqueradeCIDRsdi ConfigMapip-masq-agento dalle destinazioni non-masquerade predefinite quando non è definito un elencononMasqueradeCIDRs.
Puoi impostare il flag --disable-default-snat aggiornando un cluster dopo che è stato creato. Se nel cluster non è stato eseguito il deployment di DaemonSet ip-masq-agent, la disattivazione della SNAT predefinita diventa effettiva dopo che il cluster ha sostituito tutti i suoi nodi, a volte ore dopo. Questo perché GKE rispetta i periodi di manutenzione configurati quando sostituisce i nodi nel cluster. Se non hai configurato un periodo di manutenzione, devi eseguire manualmente il ciclo dei nodi nel cluster prima che il flag --disable-default-snat abbia effetto.
Mascheramento link-local
L'intervallo 169.254.0.0/16 viene utilizzato per gli indirizzi IP link-local. Il mascheramento link-local si riferisce alla modifica di un indirizzo IP del pod di origine in un indirizzo IP del nodo di origine per i pacchetti inviati alle destinazioni 169.254.0.0/16.
I cluster Autopilot conservano sempre gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni 169.254.0.0/16.
Per impostazione predefinita, i cluster Standard conservano anche gli indirizzi IP dei pod di origine per i pacchetti inviati alle destinazioni 169.254.0.0/16.
Puoi attivare l'IP masquerading link-local in un cluster Standard eseguendo entrambe le seguenti operazioni:
- Assicurati che il parametro
masqLinkLocalesista e sia impostato suTruenel configMapip-masq-agent. Quando il parametromasqLinkLocalnon è presente inip-masq-agentconfigMap, il valore predefinito èFalse. Per indicazioni, consulta Controlla il ConfigMapip-masq-agent, Crea il ConfigMapip-masq-agente Modifica un ConfigMapip-masq-agentesistente. - Assicurati che nel cluster sia stato eseguito il deployment del DaemonSet
ip-masq-agent. Per indicazioni, consulta Controllo del DaemonSetip-masq-agente Deployment del DaemonSetip-masq-agent.
Esegui la diagnostica di container e pod con hostNetwork: true
A meno che non specifichi un indirizzo IP di origine personalizzato per i pacchetti, i pod in esecuzione con hostNetwork: true e i container di diagnostica inviano pacchetti con origini corrispondenti all'indirizzo IP del nodo. Per i pod in esecuzione con hostNetwork: true, GKE assegna al pod l'indirizzo IP del nodo. GKE non gestisce gli indirizzi IP per i container di diagnostica, inclusi i container per il debug dei problemi dei nodi utilizzando toolbox.
I cluster Autopilot non supportano l'esecuzione di pod con spec.hostNetwork: true. Poiché i nodi di un cluster Autopilot non sono accessibili tramite SSH, non puoi eseguire container diagnostici su di essi.
Conservazione delle origini degli indirizzi IPv4 dei pod per le destinazioni internet
Se la configurazione di IP masquerading del cluster è una delle seguenti, GKE conserva le origini degli indirizzi IP dei pod per i pacchetti inviati a tutte le destinazioni, incluse quelle internet:
- Nei cluster Standard con un DaemonSet
ip-masq-agent, se hai impostatononMasqueradeCIDRssu0.0.0.0in ConfigMapip-masq-agent. - Nei cluster Standard senza un DaemonSet
ip-masq-agent, se hai impostato il flag--disable-default-snat. - Nei cluster Autopilot, se modifichi l'oggetto EgressNATPolicy predefinito in modo che
spec.actionsiaNoSNATespec.destinationscontengaCidr: 0.0.0.0/0.
Le origini IPv4 dei pod sono indirizzi IPv4 interni, il che significa che non sono instradabili su internet. Di conseguenza, quando conservi gli indirizzi IPv4 dei pod di origine per i pacchetti inviati a internet, devi utilizzare una tecnica come una delle seguenti per instradare i pacchetti dopo che hanno lasciato i nodi del cluster:
- Assicurati che la tua rete VPC abbia una route predefinita con l'hop successivo del gateway internet predefinito e configura un gateway Cloud NAT per fornire servizi Public NAT almeno agli intervalli di indirizzi IPv4 secondari della subnet utilizzati dai pod nel cluster. Per maggiori dettagli, consulta Interazione con GKE nella panoramica di Cloud NAT.
- Configura la tua rete VPC in modo che utilizzi una route predefinita personalizzata il cui hop successivo sia un'istanza VM o un bilanciatore del carico di rete passthrough interno, in cui la VM o i backend del bilanciatore del carico siano stati configurati per instradare i pacchetti a internet per conto dei pod.
Ripristino del comportamento SNAT predefinito
Per ripristinare il comportamento SNAT predefinito quando un DaemonSet ip-masq-agent è presente in un cluster, elimina il ConfigMap ip-masq-agent associato. Il DaemonSet ip-masq-agent ripristina il comportamento di IP masquerading predefinito sui nodi che gestisce.
Per ripristinare il comportamento SNAT predefinito quando un DaemonSet ip-masq-agent non è presente in un cluster, devi eseguire l'upgrade del node pool (assicurati che --disable-default-snat non sia impostato sul cluster).
Effetto della policy NAT in uscita nei cluster Autopilot
La policy NAT in uscita di GKE consente di configurare l'IP masquerading sui cluster Autopilot. Puoi utilizzare la definizione di risorsa personalizzata (CRD) della policy NAT in uscita di GKE per modificare gli indirizzi IP di origine dei pacchetti inviati dai pod.
Per motivi di sicurezza o di esaurimento degli indirizzi IP, puoi mascherare gli indirizzi IP dall'intervallo di indirizzi IP da pod a nodo per il traffico in uscita verso le reti on-premise. Ad esempio, puoi utilizzare un intervallo non RFC-1918 per i cluster Autopilot e un intervallo RFC-1918 per i nodi. Tuttavia, se i pod devono comunicare con reti on-premise che utilizzano anche un intervallo non RFC-1918, gli indirizzi IP possono sovrapporsi. Per evitare la perdita di traffico, puoi configurare una policy NAT in uscita in modo da non annunciare gli intervalli non RFC-1918 dei pod alle reti on-premise. La policy NAT in uscita maschera l'intervallo non RFC-1918 dei pod per utilizzare l'intervallo RFC-1918 del nodo. Assicurati che un intervallo di nodi non si sovrapponga a un intervallo on-premise, altrimenti potrebbe verificarsi un loop del traffico.
GKE applica il comportamento di IP masquerading per i cluster Autopilot tramite il seguente processo:
- GKE esegue il deployment del controller NAT in uscita e di
ip-masq-agent. - Crei la policy NAT in uscita.
- Il controller GKE traduce la policy nel ConfigMap
ip-masq-agent. - Il DaemonSet
ip-masq-agentlegge il ConfigMap e GKE applica il comportamento di IP masquerading.
Policy generate automaticamente
GKE supporta le seguenti due policy NAT in uscita generate automaticamente:
- Predefinito: queste policy sono modificabili.
- Gestite da GKE: queste policy sono fisse e non sono modificabili.
Policy predefinita
GKE predefinisce un insieme di intervalli di indirizzi IP predefiniti. Quando i pacchetti vengono inviati a queste destinazioni, il cluster non maschera le origini degli indirizzi IP e conserva gli indirizzi IP dei pod di origine. Per modificare questi intervalli di indirizzi IP predefiniti, consulta Modifica ed esegui il deployment della policy NAT in uscita.
Il seguente manifest descrive una policy NAT in uscita predefinita:
Name: default
Namespace:
Labels: <none>
Annotations: <none>
API Version: networking.gke.io/v1
Kind: EgressNATPolicy
Metadata:
Creation Timestamp: 2022-03-16T21:05:45Z
Generation: 2
Managed Fields:
API Version: networking.gke.io/v1
Fields Type: FieldsV1
fieldsV1:
f:spec:
.:
f:action:
f:status:
Manager: egress-nat-controller
Operation: Update
Time: 2022-03-16T21:05:45Z
API Version: networking.gke.io/v1
Fields Type: FieldsV1
fieldsV1:
f:spec:
f:destinations:
Manager: kubectl
Operation: Update
Time: 2022-03-17T01:58:13Z
Resource Version: 189346
UID: 06acbb5a-23ba-4c2a-bb34-9b6ed8c4a87f
Spec:
Action: NoSNAT
Destinations:
Cidr: 10.0.0.0/8
Cidr: 172.16.0.0/12
Cidr: 192.168.0.0/16
Cidr: 240.0.0.0/4
Cidr: 192.0.2.0/24
Cidr: 198.51.100.0/24
Cidr: 203.0.113.0/24
Cidr: 100.64.0.0/10
Cidr: 198.18.0.0/15
Cidr: 192.0.0.0/24
Cidr: 192.88.99.0/24
Status:
Events: <none>
Gli intervalli CIDR sono gli stessi degli intervalli di destinazione non mascherati predefiniti.
Gestita dalla policy GKE
La policy NAT in uscita di GKE prenota un intervallo statico di indirizzi IP necessari per preservare il funzionamento del cluster. Questo intervallo statico contiene gli intervalli di indirizzi IP di pod, servizi e nodi del cluster e potrebbe sovrapporsi alla policy predefinita.
Puoi identificare questa policy tramite un hash dinamico di 8 byte (gke-{CLUSTER_SHORT_HASH}) assegnato da GKE. Non puoi modificare questa policy.
Il seguente manifest descrive una policy gestita da GKE denominata gke-bbfa6c0e-1:
Name: gke-bbfa6c0e-1
Namespace:
Labels: <none>
Annotations: <none>
API Version: networking.gke.io/v1
Kind: EgressNATPolicy
Metadata:
Creation Timestamp: 2022-03-16T21:05:46Z
Generation: 1
Managed Fields:
API Version: networking.gke.io/v1
Fields Type: FieldsV1
fieldsV1:
f:spec:
.:
f:action:
f:destinations:
f:status:
Manager: egress-nat-controller
Operation: Update
Time: 2022-03-16T21:05:46Z
Resource Version: 11699
UID: 0201b5de-a6f6-4926-822b-31ed7cdee2c6
Spec:
Action: NoSNAT
Destinations:
Cidr: 10.119.128.0/17
Cidr: 10.120.0.0/22
Cidr: 10.128.0.0/20
Status:
Events: <none>
Passaggi successivi
- Scopri come utilizzare la policy NAT in uscita per configurare l'IP masquerading nei cluster Autopilot.
- Scopri come configurare un agente di IP masquerading nei cluster Standard.
- Leggi la panoramica della rete GKE.
- Scopri di più sulla configurazione delle reti autorizzate.