本文說明如何使用 gkectl diagnose 指令建立診斷快照,以便排解使用 Google Distributed Cloud 軟體 (僅限 VMware) 建立的叢集問題 (未啟用進階叢集)。如果管理員叢集設定檔和使用者叢集設定檔中的 enableAdvancedClusters 設為 false,則不會啟用進階叢集。如果已啟用進階叢集,請參閱「在啟用進階叢集時建立快照」。
gkectl 工具提供兩個指令,可用於排解叢集問題:gkectl diagnose snapshot 和 gkectl diagnose cluster。這些指令適用於管理員和使用者叢集。
如要進一步瞭解如何使用 gkectl diagnose cluster 指令診斷叢集問題,請參閱「診斷叢集問題」。
gkectl diagnose snapshot
這個指令會將叢集的狀態、設定和記錄壓縮成 tar 檔案。執行 gkectl diagnose snapshot 時,指令會自動執行 gkectl diagnose cluster,並將輸出檔案放在快照中名為 /diagnose-report 的新資料夾。
預設快照
gkectl diagnose snapshot 指令的預設設定會擷取下列叢集相關資訊:
Kubernetes 版本。
kube-system 和 gke-system 命名空間中 Kubernetes 資源的狀態:叢集、機器、節點、Service、Endpoint、ConfigMap、ReplicaSet、CronJob、Pod,以及這些 Pod 的擁有者,包括 Deployment、DaemonSet 和 StatefulSet。
控制層的狀態。
各節點設定的詳細資料,包括 IP 位址、iptables 規則、掛接點、檔案系統、網路連線和執行中的程序。
Kubernetes API 伺服器無法使用時,管理員叢集控制層節點的容器記錄。
vSphere 資訊,包括 VM 物件和其依據資源集區產生的事件。此外,也會收集與 VM 相關聯的資料中心、叢集、網路和資料儲存庫物件資訊。
F5 BIG-IP 負載平衡器資訊,包括虛擬伺服器、虛擬位址、集區、節點和監控器。
gkectl diagnose snapshot指令的記錄。預檢工作的記錄。
依據情境,命名空間中容器的記錄。
快照檔案
/nodes/<admin_master_node_name>/sudo_kubeadm_certs_check-expiration中有關管理員叢集 Kubernetes 憑證到期日的資訊。快照中所有檔案的 HTML 索引檔案。
(選用) 使用
--config旗標,指定用於安裝及升級叢集的管理員叢集設定檔。
系統會在建立 tar 檔案前,先移除憑證 (包括 vSphere 和 F5 的憑證)。
輕量級快照
在 Google Distributed Cloud 1.29 以上版本中,管理員和使用者叢集都可使用輕量版 gkectl diagnose snapshot。輕量型快照會擷取較少的叢集資訊,因此可加快快照程序。在指令中加入 --scenario=lite 時,快照只會包含下列資訊:
kube-system 和 gke-system 命名空間中 Kubernetes 資源的狀態:叢集、機器、節點、Service、Endpoint、ConfigMap、ReplicaSet、CronJob、Pod,以及這些 Pod 的擁有者,包括 Deployment、DaemonSet 和 StatefulSet
gkectl diagnose snapshot指令的記錄
擷取叢集狀態
如果 gkectl diagnose cluster 指令發現錯誤,請擷取叢集狀態,並將資訊提供給 Cloud Customer Care。您可以使用 gkectl diagnose snapshot 指令擷取這項資訊。
gkectl diagnose snapshot 有 --config 的選用旗標。除了收集叢集相關資訊外,這個旗標也會收集用於建立或升級叢集的設定檔。
擷取管理員叢集狀態
如要擷取管理員叢集的狀態,請執行下列指令:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG --config
--config 參數為選用:
如果目標叢集中的虛擬 IP 位址 (VIP) 有問題,請使用 --config 旗標提供管理員叢集設定檔,以提供更多偵錯資訊。
在 1.29 以上版本中,如果您不需要預設快照中的所有資訊,可以加入 --scenario=lite。
輸出內容包含檔案清單和 tar 檔案名稱,如以下範例輸出所示:
Taking snapshot of admin cluster "[ADMIN_CLUSTER_NAME]"...
Using default snapshot configuration...
Setting up "[ADMIN_CLUSTER_NAME]" ssh key file...DONE
Taking snapshots...
commands/kubectl_get_pods_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
commands/kubectl_get_deployments_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_kube-system
...
nodes/[ADMIN_CLUSTER_NODE]/commands/journalctl_-u_kubelet
nodes/[ADMIN_CLUSTER_NODE]/files/var/log/startup.log
...
Snapshot succeeded. Output saved in [TAR_FILE_NAME].tar.gz.
如要將 tar 檔案擷取至目錄,請執行下列指令:
tar -zxf TAR_FILE_NAME --directory EXTRACTION_DIRECTORY_NAME
更改下列內容:
TAR_FILE_NAME:tar 檔案的名稱。EXTRACTION_DIRECTORY_NAME:要將 tar 檔案封存檔解壓縮至的目錄。
如要查看快照產生的檔案清單,請執行下列指令:
cd EXTRACTION_DIRECTORY_NAME/EXTRACTED_SNAPSHOT_DIRECTORY ls kubectlCommands ls nodes/NODE_NAME/commands ls nodes/NODE_NAME/files
將 NODE_NAME 替換為要查看檔案的節點名稱。
如要查看特定作業的詳細資料,請開啟其中一個檔案。
指定管理員叢集的安全殼層金鑰
取得管理員叢集的快照時,gkectl 會自動尋找管理員叢集的私人安全殼層金鑰。您也可以使用 --admin-ssh-key-path 參數明確指定索引鍵。
按照「使用 SSH 連線至叢集節點」的操作說明下載安全殼層金鑰。
在 gkectl diagnose snapshot 指令中,將 --admin-ssh-key-path 設為解碼的金鑰路徑:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--admin-ssh-key-path=PATH_TO_DECODED_KEY
擷取使用者叢集狀態
如要擷取使用者叢集的狀態,請執行下列指令:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME
下列輸出範例包含檔案清單和 tar 檔案名稱:
Taking snapshot of user cluster "[USER_CLUSTER_NAME]"...
Using default snapshot configuration...
Setting up "[USER_CLUSTER_NAME]" ssh key file...DONE
commands/kubectl_get_pods_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
commands/kubectl_get_deployments_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_...env.default.kubeconfig_--namespace_user
...
commands/kubectl_get_pods_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
commands/kubectl_get_deployments_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
commands/kubectl_get_daemonsets_-o_yaml_--kubeconfig_.tmp.user-kubeconfig-851213064_--namespace_kube-system
...
nodes/[USER_CLUSTER_NODE]/commands/journalctl_-u_kubelet
nodes/[USER_CLUSTER_NODE]/files/var/log/startup.log
...
Snapshot succeeded. Output saved in [FILENAME].tar.gz.
快照情境
快照情境可讓您控管快照中包含的資訊。如要指定情境,請使用 --scenario 旗標。可能的值如下:
system(預設):收集快照,並在支援的系統命名空間中記錄。all:收集所有命名空間 (包括使用者定義的命名空間) 的記錄快照。lite(1.29 以上版本):收集僅含 Kubernetes 資源和gkectl記錄的快照。系統會排除所有其他記錄,例如容器記錄和節點核心記錄。
可用的快照情境因 Google Distributed Cloud 版本而異。
1.13 以下版本:
system、system-with-logs、all和all-with-logs。1.13 至 1.28 版:
system和all。system情境與舊版system-with-logs情境相同。all情境與舊版all-with-logs情境相同。1.29 以上版本:
system、all和lite。
如要建立管理員叢集的快照,您不需要指定情境:
gkectl diagnose snapshot \
--kubeconfig=ADMIN_CLUSTER_KUBECONFIG
如要使用 system 情境建立使用者叢集的快照,請按照下列步驟操作:
gkectl diagnose snapshot \
--kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--scenario=system
如要使用 all 情境建立使用者叢集的快照,請按照下列步驟操作:
gkectl diagnose snapshot \
--kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--scenario=all
如要使用 lite 情境建立使用者叢集的快照,請按照下列步驟操作:
gkectl diagnose snapshot \
--kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--scenario=lite
使用 --log-since 限制快照
您可以使用 --log-since 旗標,將記錄收集範圍限制在最近的時間範圍內。例如,您可以只收集過去兩天或過去三小時的記錄。根據預設,diagnose snapshot 會收集所有記錄。
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=CLUSTER_NAME \
--scenario=system \
--log-since=DURATION
將 <var>DURATION</var> 替換為時間值,例如 120m 或 48h。
請注意以下事項:
--log-since旗標僅適用於kubectl和journalctl記錄。- 自訂快照設定中不得使用
--log-since等指令旗標。
對快照執行模擬測試
您可以使用 --dry-run 旗標,顯示要採取的動作和快照設定。
如要對管理員叢集執行模擬測試,請輸入下列指令:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=ADMIN_CLUSTER_NAME \
--dry-run
如要對使用者叢集執行模擬測試,請輸入下列指令:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--dry-run
使用快照設定
如果這兩種情境 (--scenario system 或 all) 不符合您的需求,您可以使用 --snapshot-config 旗標傳入快照設定檔,建立自訂快照:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--snapshot-config=SNAPSHOT_CONFIG_FILE
產生快照設定
您可以傳入 --scenario 和 --dry-run 旗標,為特定情境產生快照設定。舉例來說,如要查看使用者叢集預設情境 (system) 的快照設定,請輸入下列指令:
gkectl diagnose snapshot \
--kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name=USER_CLUSTER_NAME \
--scenario=system
--dry-run
輸出內容大致如下:
numOfParallelThreads: 10
excludeWords:
- password
kubectlCommands:
- commands:
- kubectl get clusters -o wide
- kubectl get machines -o wide
- kubectl get clusters -o yaml
- kubectl get machines -o yaml
- kubectl describe clusters
- kubectl describe machines
namespaces:
- default
- commands:
- kubectl version
- kubectl cluster-info
- kubectl get nodes -o wide
- kubectl get nodes -o yaml
- kubectl describe nodes
namespaces: []
- commands:
- kubectl get pods -o wide
- kubectl get deployments -o wide
- kubectl get daemonsets -o wide
- kubectl get statefulsets -o wide
- kubectl get replicasets -o wide
- kubectl get services -o wide
- kubectl get jobs -o wide
- kubectl get cronjobs -o wide
- kubectl get endpoints -o wide
- kubectl get configmaps -o wide
- kubectl get pods -o yaml
- kubectl get deployments -o yaml
- kubectl get daemonsets -o yaml
- kubectl get statefulsets -o yaml
- kubectl get replicasets -o yaml
- kubectl get services -o yaml
- kubectl get jobs -o yaml
- kubectl get cronjobs -o yaml
- kubectl get endpoints -o yaml
- kubectl get configmaps -o yaml
- kubectl describe pods
- kubectl describe deployments
- kubectl describe daemonsets
- kubectl describe statefulsets
- kubectl describe replicasets
- kubectl describe services
- kubectl describe jobs
- kubectl describe cronjobs
- kubectl describe endpoints
- kubectl describe configmaps
namespaces:
- kube-system
- gke-system
- gke-connect.*
prometheusRequests: []
nodeCommands:
- nodes: []
commands:
- uptime
- df --all --inodes
- ip addr
- sudo iptables-save --counters
- mount
- ip route list table all
- top -bn1
- sudo docker ps -a
- ps -edF
- ps -eo pid,tid,ppid,class,rtprio,ni,pri,psr,pcpu,stat,wchan:14,comm,args,cgroup
- sudo conntrack --count
nodeFiles:
- nodes: []
files:
- /proc/sys/fs/file-nr
- /proc/sys/net/nf_conntrack_max
seesawCommands: []
seesawFiles: []
nodeCollectors:
- nodes: []
f5:
enabled: true
vCenter:
enabled: true
輸出內容會顯示下列資訊:
numOfParallelThreads:用於建立快照的平行執行緒數量。excludeWords:要從快照中排除的字詞清單 (不區分大小寫)。系統會從快照結果中移除含有這些字詞的行。 無論是否指定,「password」一律會排除。kubectlCommands:要執行的 kubectl 指令清單。系統會儲存結果。指令會針對對應的命名空間執行。如果是kubectl logs指令,系統會自動新增對應命名空間中的所有 Pod 和容器。指定命名空間時,可使用規則運算式。如未指定命名空間,系統會假設您使用的是default命名空間。nodeCommands:要在對應節點上執行的指令清單。系統會儲存結果。如未指定節點,系統會考量目標叢集中的所有節點。nodeFiles:要從對應節點收集的檔案清單。系統會儲存檔案。如未指定節點,系統會考量目標叢集中的所有節點。seesawCommands:執行指令清單,收集 Seesaw 負載平衡器資訊。如果叢集使用 Seesaw 負載平衡器,系統會儲存結果。seesawFiles:要為 Seesaw 負載平衡器收集的檔案清單。nodeCollectors:在 Cilium 節點上執行的收集器,用於收集 eBPF 資訊。f5:啟用收集 F5 BIG-IP 負載平衡器相關資訊的旗標。vCenter:啟用收集 vCenter 相關資訊的旗標。prometheusRequests:Prometheus 要求清單。系統會儲存結果。
將快照上傳至 Cloud Storage bucket
為方便記錄、分析及儲存,您可以將特定叢集的所有快照上傳至 Cloud Storage bucket。如需 Cloud Customer Care 協助,這項功能特別實用。
將快照上傳至 Cloud Storage bucket 前,請先詳閱並完成下列初始需求:
在機群主專案中啟用
storage.googleapis.com。雖然您可以使用其他專案,但建議使用機群主專案。gcloud services enable --project=FLEET_HOST_PROJECT_ID storage.googleapis.com
將
roles/storage.admin授予上層專案的服務帳戶,並使用--service-account-key-file參數傳入服務帳戶 JSON 金鑰檔案。您可以使用任何服務帳戶,但建議使用連結註冊服務帳戶。詳情請參閱「服務帳戶」。gcloud projects add-iam-policy-binding FLEET_HOST_PROJECT_ID \ --member "serviceAccount:CONNECT_REGISTER_SERVICE_ACCOUNT" \ --role "roles/storage.admin"
將
CONNECT_REGISTER_SERVICE_ACCOUNT替換為連線註冊服務帳戶。
滿足這些需求後,您現在可以將快照上傳至 Cloud Storage bucket:
gkectl diagnose snapshot --kubeconfig=ADMIN_CLUSTER_KUBECONFIG \
--cluster-name CLUSTER_NAME \
--upload \
--share-with GOOGLE_SUPPORT_SERVICE_ACCOUNT
--share-with 旗標可接受服務帳戶名稱清單。將 GOOGLE_SUPPORT_SERVICE_ACCOUNT 替換為 Cloud Customer Care 提供的 Cloud Customer Care 服務帳戶,以及 Cloud Customer Care 提供的任何其他服務帳戶。
使用 --upload 旗標時,指令會在專案中搜尋名稱開頭為「anthos-snapshot-」的 Storage bucket。如果找到這類 bucket,指令就會將快照上傳至該 bucket。如果指令找不到名稱相符的 bucket,就會建立名稱為 anthos-snapshot-UUID 的新 bucket,其中 UUID 是 32 位數的通用專屬 ID。
使用 --share-with 旗標時,您不需要手動與 Cloud Customer Care 共用 bucket 存取權。
將快照上傳至 Cloud Storage bucket 時,系統會顯示下列輸出範例:
Using "system" snapshot configuration...
Taking snapshot of user cluster <var>CLUSTER_NAME</var>...
Setting up <var>CLUSTER_NAME</var> ssh key...DONE
Using the gke-connect register service account key...
Setting up Google Cloud Storage bucket for uploading the snapshot...DONE
Taking snapshots in 10 thread(s)...
...
Snapshot succeeded.
Snapshots saved in "<var>SNAPSHOT_FILE_PATH</var>".
Uploading snapshot to Google Cloud Storage...... DONE
Uploaded the snapshot successfully to gs://anthos-snapshot-a4b17874-7979-4b6a-a76d-e49446290282/<var>xSNAPSHOT_FILE_NAME</var>.
Shared successfully with service accounts:
<var>GOOGLE_SUPPORT_SERVICE_ACCOUNT</var>
後續步驟
如需其他協助,請與 Cloud Customer Care 團隊聯絡。
您也可以參閱「取得支援」,進一步瞭解支援資源,包括: