Proxy e regole firewall

I cluster Google Distributed Cloud (solo software) per VMware richiedono l'accesso in uscita ai servizi Google Cloud e ai registry dei container e scambiano traffico con vCenter Server, i bilanciatori del carico e tra loro. Questo documento elenca gli indirizzi da inserire nella lista consentita nel tuo server proxy e le regole firewall da creare per i cluster di amministrazione, i cluster utente e altri componenti in modo che il proxy e i firewall consentano questo traffico.

Inserimento nella lista consentita degli indirizzi per il proxy

Se la tua organizzazione richiede che il traffico in uscita passi attraverso un server proxy, inserisci i seguenti indirizzi nella lista consentita del server proxy. Tieni presente che è necessario www.googleapis.com, anziché googleapis.com:

  • dl.google.com 1
  • gcr.io
  • us.gcr.io
  • www.googleapis.com
  • accounts.google.com
  • anthos.googleapis.com
  • anthosgke.googleapis.com
  • cloudresourcemanager.googleapis.com
  • compute.googleapis.com
  • connectgateway.googleapis.com
  • container.googleapis.com
  • gkeconnect.googleapis.com 2
  • gkehub.googleapis.com
  • gkeonprem.googleapis.com
  • gkeonprem.mtls.googleapis.com
  • iam.googleapis.com
  • iamcredentials.googleapis.com
  • kubernetesmetadata.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • oauth2.googleapis.com
  • opsconfigmonitoring.googleapis.com
  • securetoken.googleapis.com
  • servicecontrol.googleapis.com
  • serviceusage.googleapis.com
  • storage.googleapis.com
  • sts.googleapis.com
  • releases.hashicorp.com (facoltativo) 3

Note:

1 dl.google.com è richiesto dal programma di installazione dell'SDK Google Cloud.

2 Se il cluster è stato registrato nel parco risorse utilizzando una regione Google Cloud , devi inserire nella lista consentita REGION-gkeconnect.googleapis.com (ad esempio, us-central1-gkeconnect.googleapis.com). Se non hai specificato una regione, il cluster utilizza l'istanza del servizio Connect globale e inserisci nella lista consentita gkeconnect.googleapis.com. Se devi trovare la posizione dell'appartenenza al parco risorse del tuo cluster, esegui gcloud container fleet memberships list. Per saperne di più, consulta gkeConnect.location.

3 Se non utilizzi il client Terraform sulla tua workstation di amministrazione per eseguire comandi come terraform apply, non è necessario inserire releases.hashicorp.com nella lista consentita. Se utilizzi il client Terraform sulla tua workstation di amministrazione, puoi facoltativamente inserire releases.hashicorp.com nella lista consentita per verificare se la versione del client Terraform che stai utilizzando è l'ultima eseguendo il comando terraform version.

Inoltre, se il tuo server vCenter ha un indirizzo IP esterno, inseriscilo nella lista consentita nel tuo server proxy.

Regole firewall per i cluster di amministrazione

Gli indirizzi IP del cluster di amministrazione dipendono dall'abilitazione o meno di Controlplane V2 sul cluster utente e dalla versione in cui è stato creato il cluster.

  • Quando il control plane v2 è abilitato, il control plane per un cluster utente viene eseguito sul cluster utente stesso. Quando Controlplane V2 non è abilitato, il control plane di un cluster utente viene eseguito su uno o più nodi nel cluster di amministrazione, un modello noto come kubeception.

  • Nella versione 1.28 e successive, i nuovi cluster di amministrazione HA non hanno nodi aggiuntivi.

Gli indirizzi IP dei nodi dei componenti aggiuntivi del cluster di amministrazione (se esistenti) e dei nodi del control plane del cluster utente kubeception sono elencati nel file del blocco IP del cluster di amministrazione. I nodi del control plane del cluster di amministrazione sono configurati nella sezione network.controlPlaneIPBlock.ips del file di configurazione del cluster di amministrazione.

Poiché gli indirizzi IP nel file del blocco IP del cluster di amministrazione non sono assegnati a nodi specifici, devi assicurarti che tutte le regole firewall elencate nella tabella seguente si applichino a tutti gli indirizzi IP disponibili per il cluster di amministrazione.

Configura le regole firewall per consentire il traffico seguente.

Da

Porta di origine

A

Porta

Protocollo

Descrizione

Nodo del control plane del cluster di amministrazione

1024 - 65535

API vCenter Server

443

TCP/https

Ridimensionamento del cluster.

Nodi dei componenti aggiuntivi del cluster di amministrazione

1024 - 65535

API vCenter Server

443

TCP/https

Gestione del ciclo di vita dei cluster utente.

Nodi dei componenti aggiuntivi del cluster di amministrazione

32768 - 60999

VIP del server API Kubernetes del cluster di amministrazione

VIP dei server API Kubernetes dei cluster utente

443

TCP/https

Creazione del cluster utente.

Aggiornamento del cluster utente.

Upgrade del cluster utente.

Eliminazione del cluster utente.

Nodi del control plane del cluster di amministrazione

32768 - 60999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per i cluster di amministrazione o utente
VIP dei server API Kubernetes dei cluster utente
VIP del server API Kubernetes del cluster di amministrazione
API vCenter Server
API F5 BIG-IP del cluster di amministrazione
API F5 BIG-IP del cluster utente
Server NTP del cluster di amministrazione
Server NTP del cluster utente
Server DNS del cluster di amministrazione
Server DNS del cluster utente

443

TCP/https

Controlli preflight (convalida).

Quando crei, aggiorni o esegui l'upgrade dei cluster utente.

Quando crei, aggiorni o esegui l'upgrade del cluster di amministrazione.

Nodi del control plane del cluster di amministrazione

32768 - 60999

Registro Docker locale on-premise del cluster utente

Dipende dal registro

TCP/https

Controlli preflight (convalida).

Obbligatorio se un cluster utente è configurato per utilizzare un registry Docker privato locale anziché gcr.io.

Quando crei o esegui l'upgrade dei cluster utente.

Quando crei o esegui l'upgrade del cluster di amministrazione.

Nodi del control plane del cluster di amministrazione

32768 - 60999

Nodi del cluster di amministrazione
Nodi del cluster utente
VIP del bilanciatore del carico del cluster di amministrazione
VIP del bilanciatore del carico del cluster utente

icmp

Controlli preflight (convalida).

Quando crei, aggiorni o esegui l'upgrade dei cluster utente.

Quando crei, aggiorni o esegui l'upgrade del cluster di amministrazione.

Nodi del control plane del cluster di amministrazione

32768 - 60999

Nodi worker del cluster utente

22

ssh

Controlli preflight (convalida).

Quando esegui l'upgrade dei cluster utente.

Quando esegui l'upgrade del cluster di amministrazione.

Nodo del control plane del cluster utente (solo kubeception)

1024 - 65535

API vCenter Server

443

TCP/https

Ridimensionamento del cluster.

Nodo del control plane del cluster utente (solo kubeception)

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

L'accesso è necessario per la registrazione del parco risorse. Consulta la nota 2 dopo l'elenco degli URL da inserire nella lista consentita.

Nodo del control plane del cluster utente (solo kubeception)

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nodo del control plane del cluster utente (solo kubeception)

1024 - 65535

Registro Docker locale on-premise

Dipende dal registro

TCP/https

Obbligatorio se Google Distributed Cloud è configurato per utilizzare un registry Docker privato locale anziché gcr.io.

Nodo del control plane del cluster utente (solo kubeception)

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione
443

TCP/https

Scaricare immagini da registri Docker pubblici.

Non è obbligatorio se utilizzi un registro Docker privato.

Cloud Logging Collector, che viene eseguito su un nodo del componente aggiuntivo del cluster di amministrazione

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Cloud Metadata Collector, che viene eseguito su un nodo del componente aggiuntivo del cluster di amministrazione

1024 - 65535

opsconfigmonitoring.googleapis.com

443

TCP/https

Cloud Monitoring Collector, che viene eseguito su un nodo del componente aggiuntivo del cluster di amministrazione

1024 - 65535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Nodo del control plane del cluster di amministrazione

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nodo del control plane del cluster di amministrazione

1024 - 65535

Registro Docker locale on-premise

Dipende dal registro

TCP/https

Obbligatorio se Google Distributed Cloud è configurato per utilizzare un registry Docker privato locale anziché gcr.io.

Nodo del control plane del cluster di amministrazione

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione

443

TCP/https

Scaricare immagini da registri Docker pubblici.

Non è obbligatorio se utilizzi un registro Docker privato.

Nodi worker del cluster di amministrazione

1024 - 65535

Nodi worker del cluster di amministrazione

Tutti

179 - bgp

443 - https

5473 - Calico/Typha

9443 - Metriche Envoy

10250 - porta del nodo kubelet

Tutti i nodi worker devono essere adiacenti al livello 2 e senza firewall.

Nodi del cluster di amministrazione

1024 - 65535

CIDR pod del cluster di amministrazione

tutti

qualsiasi

Il traffico esterno viene sottoposto a SNAT sul primo nodo e inviato all'IP del pod.

Nodi worker del cluster di amministrazione

tutti

Nodi del cluster utente

22

ssh

Obbligatorio per kubeception. Comunicazione tra il server API e kubelet tramite un tunnel SSH. Questo passaggio deve essere saltato per Controlplane V2.

Nodi del cluster di amministrazione

1024 - 65535

IP delle VM del bilanciatore del carico Seesaw del cluster di amministrazione

20255,20257

TCP/http

Push della configurazione del bilanciatore del carico e monitoraggio delle metriche. Obbligatorio solo se utilizzi Seesaw LB in bundle.

Nodi del cluster di amministrazione

1024 - 65535

Nodi del cluster di amministrazione

7946

TCP/UDP

Controllo di integrità di MetalLB. Obbligatorio solo se utilizzi MetalLB con bilanciatore del carico integrato.

Nodi del cluster di amministrazione

Tutti

VIP del control plane del cluster utente

443

https

Obbligatorio per Controlplane V2. Consenti ai nodi e ai pod nel cluster di amministrazione di comunicare con il server API Kubernetes del cluster utente.

Nodi del cluster di amministrazione

Tutti

Nodi del control plane del cluster utente

443

https

Obbligatorio per Controlplane V2. Consenti ai nodi e ai pod nel cluster di amministrazione di comunicare con il server API Kubernetes del cluster utente utilizzando l'indirizzo IP di un nodo del control plane del cluster utente.

Regole firewall per i nodi del cluster utente

Gli indirizzi IP dei nodi del cluster utente sono elencati nel file del blocco IP.

Come per i nodi del cluster di amministrazione, non sai quale indirizzo IP verrà utilizzato per quale nodo. Pertanto, tutte le regole nei nodi del cluster utente si applicano a ciascun nodo del cluster utente.

Da

Porta di origine

A

Porta

Protocollo

Descrizione

Nodo del control plane del cluster utente (solo Controlplane V2)

1024 - 65535

API vCenter Server

443

TCP/https

Ridimensionamento del cluster.

Nodo del control plane del cluster utente (solo Controlplane V2)

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com
gkehub.googleapis.com

443

TCP/https

L'accesso è necessario per la registrazione del parco risorse. Consulta la nota 2 dopo l'elenco degli URL da inserire nella lista consentita.

Nodo del control plane del cluster utente (solo Controlplane V2)

1024 - 65535

Registro Docker locale on-premise

Dipende dal registro

TCP/https

Obbligatorio se Google Distributed Cloud è configurato per utilizzare un registry Docker privato locale anziché gcr.io.

Nodo del control plane del cluster utente (solo Controlplane V2)

1024 - 65535

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per il cluster di amministrazione
443

TCP/https

Scaricare immagini da registri Docker pubblici.

Non è obbligatorio se utilizzi un registro Docker privato.

Nodo del control plane del cluster utente (solo Controlplane V2)

1024 - 65535

API F5 BIG-IP

443

TCP/https

Nodo del control plane del cluster utente (solo Controlplane V2) 1024 - 65535 Nodi del cluster utente 14443 TCP Servizio webhook ANG. Obbligatorio se advancedNetworking è abilitato. kube-apiserver comunica con ang-controller-manager per i controlli di ammissione.

Nodi worker del cluster utente

tutti

gcr.io
oauth2.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per questo cluster

443

TCP/https

Scaricare immagini da registri Docker pubblici.

Non è obbligatorio se utilizzi un registro Docker privato.

Nodi worker del cluster utente

tutti

API F5 BIG-IP

443

TCP/https

Nodi worker del cluster utente

tutti

VIP del server pushprox, che viene eseguito nel cluster di amministrazione.

8443

TCP/https

Traffico di Prometheus.

Nodi worker del cluster utente

tutti

Nodi worker del cluster utente

tutti

22 - ssh

179 - bgp

443 - https

5473 - calico-typha

9443 - metriche envoy

10250 - porta del nodo kubelet

Tutti i nodi worker devono essere adiacenti al livello 2 e senza firewall.

Nodi worker del cluster utente

tutti

VIP del control plane utente

443

TCP/https

Nodi worker del cluster utente

Tutti

VIP del control plane utente

8132

GRPC

Obbligatorio per kubeception. Connessione Konnectivity. Questo passaggio deve essere saltato per Controlplane V2.

Nodi del cluster di amministrazione

Tutti

vCenter Server del cluster utente

443

https

Consenti al cluster di amministrazione di gestire il ciclo di vita del cluster utente. Obbligatorio se i cluster di amministrazione e utente hanno server vCenter diversi.

Nodi del cluster di amministrazione 1024 - 65535 Nodi del cluster utente 14443 TCP Servizio webhook ANG. Obbligatorio se advancedNetworking è abilitato. kube-apiserver comunica con ang-controller-manager per i controlli di ammissione.

Nodi del cluster utente

1024 - 65535

CIDR pod del cluster utente

tutti

qualsiasi

Il traffico esterno viene sottoposto a SNAT sul primo nodo e inviato all'IP del pod.

Cloud Logging Collector, che viene eseguito su un nodo worker del cluster utente casuale

1024 - 65535

oauth2.googleapis.com
logging.googleapis.com
servicecontrol.googleapis.com
www.googleapis.com

443

TCP/https

Agente Connect, che viene eseguito su un nodo worker casuale del cluster utente.

1024 - 65535

cloudresourcemanager.googleapis.com
gkeconnect.googleapis.com o REGION-gkeconnect.googleapis.com
gkehub.googleapis.com
www.googleapis.com
iam.googleapis.com
iamcredentials.googleapis.com
oauth2.googleapis.com
securetoken.googleapis.com
sts.googleapis.com
accounts.google.com

443

TCP/https

Traffico Connect. Consulta la nota 2 dopo l'elenco degli URL da inserire nella lista consentita.

Cloud Metadata Collector, che viene eseguito su un nodo worker del cluster utente casuale

1024 - 65535

opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com

443

TCP/https

Cloud Monitoring Collector, che viene eseguito su un nodo worker del cluster utente casuale

1024 - 65535

oauth2.googleapis.com
monitoring.googleapis.com

443

TCP/https

Nodi del cluster utente

1024 - 65535

IP delle VM del bilanciatore del carico Seesaw del cluster utente

20255,20257

TCP/http

Push della configurazione del bilanciatore del carico e monitoraggio delle metriche. Obbligatorio solo se utilizzi Seesaw LB in bundle.

Nodi del cluster utente con enableLoadBalancer=true

1024 - 65535

Nodi del cluster utente con enableLoadBalancer=true

7946

TCP/UDP

Controllo di integrità di MetalLB. Obbligatorio solo se utilizzi MetalLB con bilanciatore del carico integrato.

Rete del cluster utente

tutti

VIP del control plane del cluster utente

443

TCP/https

Regole firewall per i componenti rimanenti

Queste regole si applicano a tutti gli altri componenti non elencati nelle tabelle per i nodi del cluster di amministrazione e del cluster utente.

Da

Porta di origine

A

Porta

Protocollo

Descrizione

CIDR pod del cluster di amministrazione

1024 - 65535

CIDR pod del cluster di amministrazione

tutti

qualsiasi

Il traffico tra pod esegue il forwarding L2 direttamente utilizzando l'IP di origine e di destinazione all'interno del CIDR del pod.

CIDR pod del cluster di amministrazione

1024 - 65535

Nodi del cluster di amministrazione

tutti

qualsiasi

Traffico di ritorno del traffico esterno.

CIDR pod del cluster utente

1024 - 65535

CIDR pod del cluster utente

tutti

qualsiasi

Il traffico tra pod esegue il forwarding L2 direttamente utilizzando l'IP di origine e di destinazione all'interno del CIDR del pod.

CIDR pod del cluster utente

1024 - 65535

Nodi del cluster utente

tutti

qualsiasi

Traffico di ritorno del traffico esterno.

Clienti e utenti finali delle applicazioni

tutti

VIP di Istio Ingress

80, 443

TCP

Traffico degli utenti finali verso il servizio in entrata di un cluster utente.

Jump server per eseguire il deployment della workstation di amministrazione

intervallo di porte temporanee

API vCenter Server
IP VMkernel (mgt) ESXi degli host nel cluster di destinazione

443

TCP/https

Controlla l'intervallo di porte temporanee da "cat /proc/sys/net/ipv4/ip_local_port_range".

Workstation di amministrazione

32768 - 60999

gcr.io
cloudresourcemanager.googleapis.com
oauth2.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per questo cluster

443

TCP/https

Scaricare immagini Docker da registri Docker pubblici.

Workstation di amministrazione

32768 - 60999

gcr.io
cloudresourcemanager.googleapis.com
compute.googleapis.com
iam.googleapis.com
oauth2.googleapis.com
serviceusage.googleapis.com
storage.googleapis.com
Qualsiasi URL *.googleapis.com richiesto per i servizi abilitati per i cluster di amministrazione o utente
VIP dei server API Kubernetes dei cluster utente
VIP del server API Kubernetes del cluster di amministrazione
API vCenter Server
API F5 BIG-IP

443

TCP/https

Controlli preflight (convalida).

Quando crei, aggiorni, esegui l'upgrade o elimini i cluster utilizzando gkectl.

Workstation di amministrazione

32768 - 60999

API vCenter Server

API F5 BIG-IP

443

TCP/https

Creazione del cluster di amministrazione.

Creazione del cluster utente.

Workstation di amministrazione

32768 - 60999

IP VMkernel (mgt) ESXi degli host nel cluster di destinazione

443

TCP/https

La workstation di amministrazione carica l'OVA nel datastore tramite gli host ESXi.

Workstation di amministrazione

32768 - 60999

VIP del server API Kubernetes del cluster di amministrazione

VIP dei server API Kubernetes dei cluster utente

443

TCP/https

Creazione del cluster di amministrazione.

Aggiornamento del cluster di amministrazione.

Creazione del cluster utente.

Aggiornamento del cluster utente.

Eliminazione del cluster utente.

Workstation di amministrazione

32768 - 60999

Nodo del control plane e nodi worker del cluster di amministrazione

443

TCP/https

Creazione del cluster di amministrazione.

Upgrade del control plane.

Workstation di amministrazione

32768 - 60999

Tutti i nodi del cluster di amministrazione e tutti i nodi del cluster utente

443

TCP/https

Convalida della rete nell'ambito del comando gkectl check-config.

Workstation di amministrazione

32768 - 60999

VIP dell'Istio Ingress del cluster di amministrazione

VIP dell'Istio Ingress dei cluster utente

443

TCP/https

Convalida della rete nell'ambito del comando gkectl check-config.

Workstation di amministrazione

32768 - 60999

oauth2.googleapis.com
logging.googleapis.com
monitoring.googleapis.com
servicecontrol.googleapis.com
storage.googleapis.com
www.googleapis.com

443

TCP/https

Accesso a Cloud Logging e Cloud Monitoring.

Workstation di amministrazione

32768 - 60999

IP delle VM del bilanciatore del carico Seesaw nei cluster di amministrazione e utente

VIP del bilanciatore del carico Seesaw dei cluster di amministrazione e utente

20256,20258

TCP/http/gRPC

Controllo di integrità dei bilanciatori del carico. Necessario solo se utilizzi il bilanciatore del carico Seesaw in bundle.

Workstation di amministrazione

32768 - 60999

IP del nodo del control plane del cluster

22

TCP

Obbligatorio se hai bisogno dell'accesso SSH dalla workstation di amministrazione al control plane del cluster di amministrazione.

Workstation di amministrazione 32768 - 60999 releases.hashicorp.com 443 TCP/https Facoltativo. Consulta la nota 3 dopo l'elenco degli URL da inserire nella lista consentita.

IP VM LB

32768 - 60999

IP dei nodi del cluster corrispondente

10256: controllo di integrità del nodo
30000 - 32767: healthCheckNodePort

TCP/http

Controllo di integrità del nodo. healthCheckNodePort è per i servizi con externalTrafficPolicy impostato su Local. Necessario solo se utilizzi il bilanciatore del carico Seesaw in bundle.

IP autonomo F5

1024 - 65535

Tutti i nodi dei cluster di amministrazione e utente

30.000-32.767

qualsiasi

Per il traffico del piano dati che F5 BIG-IP bilancia tramite un VIP del server virtuale alle porte dei nodi sui nodi del cluster Kubernetes.

In genere, l'IP autonomo di F5 si trova nella stessa rete/subnet dei nodi del cluster Kubernetes.