Cluster Google Distributed Cloud software only for VMware memerlukan akses keluar ke layanan dan registry container Google Cloud , serta bertukar traffic dengan vCenter Server, load balancer, dan satu sama lain. Dokumen ini mencantumkan alamat yang akan diizinkan di server proxy Anda dan aturan firewall yang akan dibuat untuk cluster admin, cluster pengguna, dan komponen lainnya agar proxy dan firewall Anda mengizinkan traffic ini.
Memasukkan alamat ke daftar yang diizinkan untuk proxy Anda
Jika organisasi Anda mewajibkan traffic keluar melewati server proxy,
izinkan alamat berikut di server proxy Anda. Perhatikan bahwa
www.googleapis.com diperlukan, bukan googleapis.com:
- dl.google.com 1
- gcr.io
- us.gcr.io
- www.googleapis.com
- accounts.google.com
- anthos.googleapis.com
- anthosgke.googleapis.com
- cloudresourcemanager.googleapis.com
- compute.googleapis.com
- connectgateway.googleapis.com
- container.googleapis.com
- gkeconnect.googleapis.com 2
- gkehub.googleapis.com
- gkeonprem.googleapis.com
- gkeonprem.mtls.googleapis.com
- iam.googleapis.com
- iamcredentials.googleapis.com
- kubernetesmetadata.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- oauth2.googleapis.com
- opsconfigmonitoring.googleapis.com
- securetoken.googleapis.com
- servicecontrol.googleapis.com
- serviceusage.googleapis.com
- storage.googleapis.com
- sts.googleapis.com
- releases.hashicorp.com (Opsional) 3
Catatan:
1 dl.google.com diperlukan oleh penginstal SDK Google Cloud.
2 Jika cluster Anda didaftarkan ke fleet menggunakan region Google Cloud , Anda harus mengizinkan REGION-gkeconnect.googleapis.com (misalnya, us-central1-gkeconnect.googleapis.com). Jika Anda tidak menentukan region, cluster akan menggunakan instance layanan Connect global, dan Anda mengizinkan gkeconnect.googleapis.com. Jika Anda perlu menemukan lokasi keanggotaan fleet cluster, jalankan gcloud container fleet memberships list. Untuk
mengetahui informasi selengkapnya, lihat
gkeConnect.location.
3 Jika Anda tidak menggunakan klien Terraform di workstation admin untuk menjalankan perintah seperti terraform apply, Anda tidak perlu mengizinkan releases.hashicorp.com. Jika Anda menggunakan klien Terraform
di workstation admin, Anda dapat mengizinkan releases.hashicorp.com
agar dapat memeriksa apakah versi klien Terraform yang Anda gunakan adalah yang
terbaru dengan menjalankan
perintah
terraform version.
Selain itu, jika vCenter Server Anda memiliki alamat IP eksternal, izinkan alamatnya di server proxy Anda.
Aturan firewall untuk cluster admin
Alamat IP cluster admin bergantung pada apakah Controlplane V2 diaktifkan pada cluster pengguna dan versi pembuatan cluster.
Jika Controlplane V2 diaktifkan, bidang kontrol untuk cluster pengguna akan berjalan di cluster pengguna itu sendiri. Jika Controlplane V2 tidak diaktifkan, bidang kontrol untuk cluster pengguna akan berjalan di satu atau beberapa node dalam cluster admin, yang disebut sebagai kubeception.
Di versi 1.28 dan yang lebih baru, cluster admin dengan ketersediaan tinggi (HA) baru tidak memiliki node add-on.
Alamat IP node add-on cluster admin (jika ada) dan node bidang kontrol cluster pengguna kubeception tercantum dalam file blok IP cluster admin. Node bidang kontrol cluster admin dikonfigurasi di bagian network.controlPlaneIPBlock.ips dalam file konfigurasi cluster admin.
Karena alamat IP dalam file blok IP cluster admin tidak ditetapkan ke node tertentu, Anda harus memastikan bahwa semua aturan firewall yang tercantum dalam tabel berikut berlaku untuk semua alamat IP yang tersedia untuk cluster admin.
Siapkan aturan firewall Anda untuk mengizinkan traffic berikut.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node add-on cluster admin |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengelolaan siklus proses cluster pengguna. |
|
Node add-on cluster admin |
32768 - 60999 |
VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna |
443 |
TCP/https |
Pembuatan cluster pengguna. Update cluster pengguna. Upgrade cluster pengguna. Penghapusan cluster pengguna. |
|
Node bidang kontrol cluster admin |
32768 - 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Setiap URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin atau pengguna VIP server Kubernetes API cluster pengguna VIP server Kubernetes API cluster admin vCenter Server API API BIG-IP F5 cluster admin API BIG-IP F5 cluster pengguna Server NTP cluster admin Server NTP cluster pengguna Server DNS cluster admin Server DNS cluster pengguna |
443 |
TCP/https |
Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, mengupdate, atau mengupgrade cluster admin. |
|
Node bidang kontrol cluster admin |
32768 - 60999 |
Registry Docker lokal On-Premises cluster pengguna |
Bergantung pada registry Anda |
TCP/https |
Pemeriksaan preflight (validasi). Diperlukan jika cluster pengguna dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. Saat Anda membuat atau mengupgrade cluster pengguna. Saat Anda membuat atau mengupgrade cluster admin. |
|
Node bidang kontrol cluster admin |
32768 - 60999 |
Node cluster admin Node cluster pengguna VIP Load Balancer cluster admin VIP Load Balancer cluster pengguna |
icmp |
Pemeriksaan preflight (validasi). Saat Anda membuat, mengupdate, atau mengupgrade cluster pengguna. Saat Anda membuat, mengupdate, atau mengupgrade cluster admin. |
|
|
Node bidang kontrol cluster admin |
32768 - 60999 |
Worker node cluster pengguna |
22 |
ssh |
Pemeriksaan preflight (validasi). Saat Anda mengupgrade cluster pengguna. Saat Anda mengupgrade cluster admin. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
Registry Docker lokal di infrastruktur lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster pengguna (khusus kubeception) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Cloud Logging Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
|
Cloud Metadata Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
opsconfigmonitoring.googleapis.com |
443 |
TCP/https |
|
|
Cloud Monitoring Collector, yang berjalan di node add-on cluster admin |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Node bidang kontrol cluster admin |
1024 - 65535 |
Registry Docker lokal di infrastruktur lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster admin |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Worker node cluster admin |
1024 - 65535 |
Worker node cluster admin |
Semua |
179 - bgp 443 - https 5473 - Calico/Typha 9443 - Metrik Envoy 10250 - port node kubelet |
Semua worker node harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun. |
|
Node cluster admin |
1024 - 65535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic eksternal mendapatkan SNAT di node pertama dan dikirim ke IP pod. |
|
Worker node cluster admin |
semua |
Node cluster pengguna |
22 |
ssh |
Diperlukan untuk kubeception. Komunikasi server API ke kubelet melalui tunnel SSH. Langkah ini harus dilewati untuk Controlplane V2. |
|
Node cluster admin |
1024 - 65535 |
IP VM LB Seesaw dari cluster admin |
20255,20257 |
TCP/http |
Push konfigurasi LB dan pemantauan metrik. Hanya diperlukan jika Anda menggunakan LB Seesaw Paket. |
|
Node cluster admin |
1024 - 65535 |
Node cluster admin |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan MetalLB LB Paket. |
|
Node cluster admin |
Semua |
VIP bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Izinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API cluster pengguna. |
|
Node cluster admin |
Semua |
Node bidang kontrol cluster pengguna |
443 |
https |
Diperlukan untuk Controlplane V2. Mengizinkan node dan Pod di cluster admin untuk berkomunikasi dengan server Kubernetes API cluster pengguna menggunakan alamat IP node bidang kontrol cluster pengguna. |
Aturan firewall untuk node cluster pengguna
Alamat IP node cluster pengguna tercantum dalam file blok IP.
Seperti halnya node cluster admin, Anda tidak tahu alamat IP mana yang akan digunakan untuk node mana. Dengan demikian, semua aturan di node cluster pengguna berlaku untuk setiap node cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
vCenter Server API |
443 |
TCP/https |
Pengubahan ukuran cluster. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com |
443 |
TCP/https |
Akses diperlukan untuk pendaftaran fleet. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
Registry Docker lokal di infrastruktur lokal |
Bergantung pada registry Anda |
TCP/https |
Diperlukan jika Google Distributed Cloud dikonfigurasi untuk menggunakan registry Docker pribadi lokal, bukan gcr.io. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster admin |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Node bidang kontrol cluster pengguna (khusus Controlplane V2) |
1024 - 65535 |
F5 BIG-IP API |
443 |
TCP/https |
|
| Node bidang kontrol cluster pengguna (khusus Controlplane V2) | 1024 - 65535 | Node cluster pengguna | 14443 | TCP | Layanan Webhook ANG. Wajib jika advancedNetworking diaktifkan. kube-apiserver berkomunikasi dengan ang-controller-manager untuk pemeriksaan penerimaan. |
|
Worker node cluster pengguna |
semua |
gcr.io oauth2.googleapis.com storage.googleapis.com URL *.googleapis.com apa pun yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image dari registry Docker publik. Tidak diperlukan jika menggunakan registry Docker pribadi. |
|
Worker node cluster pengguna |
semua |
F5 BIG-IP API |
443 |
TCP/https |
|
|
Worker node cluster pengguna |
semua |
VIP server pushprox, yang berjalan di cluster Admin. |
8443 |
TCP/https |
Traffic Prometheus. |
|
Worker node cluster pengguna |
semua |
Worker node cluster pengguna |
semua |
22 - ssh 179 - bgp 443 - https 5473 - calico-typha 9443 - metrik envoy 10250 - port node kubelet |
Semua worker node harus berdekatan dengan lapisan 2 dan tanpa firewall apa pun. |
|
Worker node cluster pengguna |
semua |
VIP bidang kontrol pengguna |
443 |
TCP/https |
|
|
Worker node cluster pengguna |
Semua |
VIP bidang kontrol pengguna |
8132 |
GRPC |
Diperlukan untuk kubeception. Koneksi Konnectivity. Langkah ini harus dilewati untuk Controlplane V2. |
|
Node cluster admin |
Semua |
vCenter Server cluster pengguna |
443 |
https |
Mengizinkan cluster admin mengelola siklus proses cluster pengguna. Diperlukan jika cluster admin dan pengguna memiliki vCenter Server yang berbeda. |
| Node cluster admin | 1024 - 65535 | Node cluster pengguna | 14443 | TCP | Layanan Webhook ANG. Wajib jika advancedNetworking diaktifkan. kube-apiserver berkomunikasi dengan ang-controller-manager untuk pemeriksaan penerimaan. |
|
Node cluster pengguna |
1024 - 65535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic eksternal mendapatkan SNAT di node pertama dan dikirim ke IP pod. |
|
Cloud Logging Collector, yang berjalan di worker node cluster pengguna acak |
1024 - 65535 |
oauth2.googleapis.com logging.googleapis.com servicecontrol.googleapis.com www.googleapis.com |
443 |
TCP/https |
|
|
Agen Connect, yang berjalan pada worker node cluster pengguna acak. |
1024 - 65535 |
cloudresourcemanager.googleapis.com gkeconnect.googleapis.com atau REGION-gkeconnect.googleapis.com gkehub.googleapis.com www.googleapis.com iam.googleapis.com iamcredentials.googleapis.com oauth2.googleapis.com securetoken.googleapis.com sts.googleapis.com accounts.google.com |
443 |
TCP/https |
Hubungkan traffic. Lihat catatan 2 setelah daftar URL yang akan diizinkan. |
|
Cloud Metadata Collector, yang berjalan di worker node cluster pengguna acak |
1024 - 65535 |
opsconfigmonitoring.googleapis.com kubernetesmetadata.googleapis.com |
443 |
TCP/https |
|
|
Cloud Monitoring Collector, yang berjalan di worker node cluster pengguna acak |
1024 - 65535 |
oauth2.googleapis.com monitoring.googleapis.com |
443 |
TCP/https |
|
|
Node cluster pengguna |
1024 - 65535 |
IP VM LB Seesaw dari cluster pengguna |
20255,20257 |
TCP/http |
Push konfigurasi LB dan pemantauan metrik. Hanya diperlukan jika Anda menggunakan LB Seesaw Paket. |
|
Node cluster pengguna dengan enableLoadBalancer=true |
1024 - 65535 |
Node cluster pengguna dengan enableLoadBalancer=true |
7946 |
TCP/UDP |
Health check MetalLB. Hanya diperlukan jika Anda menggunakan MetalLB LB Paket. |
|
Jaringan cluster pengguna |
semua |
VIP bidang kontrol cluster pengguna |
443 |
TCP/https |
Aturan firewall untuk komponen lainnya
Aturan ini berlaku untuk semua komponen lain yang tidak tercantum dalam tabel untuk node cluster admin dan cluster pengguna.
Dari |
Port sumber |
Ke |
Port |
Protokol |
Deskripsi |
|---|---|---|---|---|---|
|
CIDR pod cluster admin |
1024 - 65535 |
CIDR pod cluster admin |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
|
CIDR pod cluster admin |
1024 - 65535 |
Node cluster admin |
semua |
apa pun |
Traffic kembali dari traffic eksternal. |
|
CIDR pod cluster pengguna |
1024 - 65535 |
CIDR pod cluster pengguna |
semua |
apa pun |
Traffic antar-pod melakukan penerusan L2 secara langsung menggunakan IP sumber dan tujuan dalam CIDR Pod. |
|
CIDR pod cluster pengguna |
1024 - 65535 |
Node cluster pengguna |
semua |
apa pun |
Traffic kembali dari traffic eksternal. |
|
Klien dan pengguna akhir aplikasi |
semua |
VIP ingress Istio |
80, 443 |
TCP |
Traffic pengguna akhir ke layanan ingress cluster pengguna. |
|
Server jump untuk men-deploy workstation admin |
rentang port sementara |
vCenter Server API IP VMkernel (mgt) ESXi dari host di cluster target |
443 |
TCP/https |
Periksa rentang port sementara dari `cat /proc/sys/net/ipv4/ip_local_port_range`. |
|
Workstation admin |
32768 - 60999 |
gcr.io cloudresourcemanager.googleapis.com oauth2.googleapis.com storage.googleapis.com Semua URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster ini |
443 |
TCP/https |
Mendownload image Docker dari registry Docker publik. |
|
Workstation admin |
32768 - 60999 |
gcr.io cloudresourcemanager.googleapis.com compute.googleapis.com iam.googleapis.com oauth2.googleapis.com serviceusage.googleapis.com storage.googleapis.com Setiap URL *.googleapis.com yang diperlukan untuk layanan yang diaktifkan untuk cluster admin atau pengguna VIP server Kubernetes API cluster pengguna VIP server Kubernetes API cluster admin vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
Pemeriksaan preflight (validasi). Saat Anda membuat, memperbarui, mengupgrade, atau menghapus cluster menggunakan |
|
Workstation admin |
32768 - 60999 |
vCenter Server API F5 BIG-IP API |
443 |
TCP/https |
Pembuatan cluster admin. Pembuatan cluster pengguna. |
|
Workstation admin |
32768 - 60999 |
IP VMkernel (mgt) ESXi host di cluster target |
443 |
TCP/https |
Workstation admin mengupload OVA ke datastore melalui host ESXi. |
|
Workstation admin |
32768 - 60999 |
VIP server Kubernetes API cluster admin VIP server Kubernetes API cluster pengguna |
443 |
TCP/https |
Pembuatan cluster admin. Update cluster admin. Pembuatan cluster pengguna. Update cluster pengguna. Penghapusan cluster pengguna. |
|
Workstation admin |
32768 - 60999 |
Node bidang kontrol dan worker node cluster admin |
443 |
TCP/https |
Pembuatan cluster admin. Upgrade bidang kontrol. |
|
Workstation admin |
32768 - 60999 |
Semua node cluster admin dan semua node cluster pengguna |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari perintah |
|
Workstation admin |
32768 - 60999 |
VIP ingress Istio cluster admin VIP ingress Istio cluster pengguna |
443 |
TCP/https |
Validasi jaringan sebagai bagian dari perintah |
|
Workstation admin |
32768 - 60999 |
oauth2.googleapis.com logging.googleapis.com monitoring.googleapis.com servicecontrol.googleapis.com storage.googleapis.com www.googleapis.com |
443 |
TCP/https |
Akses Cloud Logging dan pemantauan. |
|
Workstation admin |
32768 - 60999 |
IP VM LB Seesaw di cluster admin dan pengguna VIP LB Seesaw dari cluster admin dan pengguna |
20256,20258 |
TCP/http/gRPC |
Health check LB. Hanya diperlukan jika Anda menggunakan LB Seesaw Paket. |
|
Workstation admin |
32768 - 60999 |
IP node bidang kontrol cluster |
22 |
TCP |
Diperlukan jika Anda memerlukan akses SSH dari workstation admin ke bidang kontrol cluster admin. |
| Workstation admin | 32768 - 60999 | releases.hashicorp.com | 443 | TCP/https | Opsional. Lihat catatan 3 setelah daftar URL yang akan diizinkan. |
|
IP VM LB |
32768 - 60999 |
IP node cluster yang sesuai |
10256: health check node |
TCP/http |
Health check node. healthCheckNodePort ditujukan untuk layanan dengan externalTrafficPolicy yang ditetapkan ke Local. Hanya diperlukan jika Anda menggunakan LB Seesaw Paket. |
|
IP Mandiri F5 |
1024 - 65535 |
Semua node cluster admin dan semua node cluster pengguna |
30000 - 32767 |
apa pun |
Untuk traffic bidang data yang di-load balance oleh F5 BIG-IP melalui VIP server virtual ke port node di node cluster Kubernetes. Biasanya, self-IP F5 berada di jaringan/subnet yang sama dengan node cluster Kubernetes. |