Risoluzione dei problemi relativi alla creazione o all'upgrade del cluster

Questa pagina mostra come esaminare i problemi relativi alla creazione e all'upgrade dei cluster nel software Google Distributed Cloud solo per VMware.

Problemi di installazione

Le sezioni seguenti potrebbero aiutarti a risolvere i problemi relativi all'installazione di Google Distributed Cloud.

Utilizza il cluster di bootstrap per eseguire il debug dei problemi

Durante l'installazione, Google Distributed Cloud crea un cluster di bootstrap temporaneo. Dopo un'installazione riuscita, Google Distributed Cloud elimina il cluster di bootstrap, lasciando il cluster di amministrazione e il cluster utente. In genere, non dovresti avere motivo di interagire con il cluster di bootstrap. Tuttavia, se riscontri problemi durante l'installazione, puoi utilizzare i log del cluster di bootstrap per eseguire il debug del problema.

Se passi --cleanup-external-cluster=false a gkectl create cluster, il cluster di bootstrap non viene eliminato e puoi utilizzarlo per eseguire il debug dei problemi di installazione.

Esamina i log del cluster di bootstrap

  1. Trova i nomi dei pod in esecuzione nello spazio dei nomi kube-system:

    kubectl --kubeconfig /home/ubuntu/.kube/kind-config-gkectl get pods -n kube-system
    
  2. Visualizza i log di un pod:

    kubectl --kubeconfig /home/ubuntu/.kube/kind-config-gkectl -n kube-system get logs POD_NAME
    

    Sostituisci POD_NAME con il nome del pod che vuoi visualizzare.

  3. Per recuperare i log direttamente dal cluster di bootstrap, esegui questo comando durante la creazione, l'aggiornamento e l'upgrade del cluster:

    docker exec -it gkectl-control-plane bash
    

    Questo comando apre un terminale all'interno del container gkectl-control-plane che viene eseguito nel cluster di bootstrap.

  4. Per esaminare i log kubelet e containerd, utilizza i seguenti comandi e cerca errori o avvisi nell'output:

    systemctl status -l kubelet
    journalctl --utc -u kubelet
    systemctl status -l containerd
    journalctl --utc -u containerd
    

Esamina lo snapshot del cluster di bootstrap

Se provi a creare o eseguire l'upgrade di un cluster di amministrazione e l'operazione non va a buon fine, Google Distributed Cloud acquisisce uno snapshot esterno del cluster di bootstrap. Questo snapshot del cluster di bootstrap è simile allo snapshot acquisito eseguendo il comando gkectl diagnose snapshot sul cluster di amministrazione, ma il processo viene attivato automaticamente. L'istantanea del cluster di bootstrap contiene informazioni di debug importanti per il processo di creazione e upgrade del cluster di amministrazione.

Questo snapshot esterno viene caricato automaticamente nei bucket Cloud Storage per il tuo progetto Google Cloud nelle cartelle /home/ubuntu. Lo snapshot viene acquisito solo se l'operazione di creazione o upgrade del cluster non va a buon fine. Se necessario, puoi fornire questo snapshot all'assistenza clienti Google Cloud. Se l'operazione sul cluster va a buon fine, non viene caricato alcuno snapshot.

L'istantanea esterna include i log dei pod di onprem-admin-cluster-controller che puoi visualizzare per eseguire il debug dei problemi di creazione o upgrade del cluster. I log vengono archiviati in un file separato, ad esempio:

kubectl_logs_onprem-admin-cluster-controller-6767f6597-nws8g_ \
    --container_onprem-admin-cluster-controller_ \
    --kubeconfig_.home.ubuntu..kube.kind-config-gkectl_\
    --namespace_kube-system

L'istantanea esterna include anche descrizioni di numerose risorse personalizzate. Ad esempio, lo snapshot include una descrizione delle risorse personalizzate di convalida, che contengono informazioni dettagliate sullo stato e sugli eventi per l'operazione non riuscita:

kubectl describe validations.onprem.cluster.gke.io \
    --kubeconfig /home/ubuntu/.kube/kind-config-gkectl \
    --request-timeout 30s \
    --namespace kube-node-lease

La VM non si avvia dopo l'avvio del control plane di amministrazione

Se una VM non si avvia dopo l'avvio del control plane di amministrazione, puoi esaminare il problema controllando i log del pod dei controller dell'API Cluster nel cluster di amministrazione:

  1. Trova il nome del pod dei controller dell'API Cluster:

    kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG --namespace kube-system \
        get pods | grep clusterapi-controllers
    
  2. Visualizza i log di vsphere-controller-manager. Inizia specificando il pod, ma non il container:

    kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG --namespace kube-system \
        logs POD_NAME
    

    L'output indica che devi specificare un container e fornisce i nomi dei container nel pod. Ad esempio:

    ... a container name must be specified ...,
    choose one of: [clusterapi-controller-manager vsphere-controller-manager rbac-proxy]
    
  3. Scegli un container e visualizza i relativi log:

    kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG --namespace kube-system \
        logs POD_NAME --container CONTAINER_NAME
    

È stato allocato un numero sufficiente di indirizzi IP, ma la macchina non riesce a registrarsi nel cluster

Questo problema può verificarsi se esiste un conflitto di indirizzi IP. Ad esempio, un indirizzo IP specificato per una macchina viene utilizzato per un bilanciatore del carico.

Per risolvere il problema, aggiorna il file del blocco IP del cluster in modo che gli indirizzi delle macchine non siano in conflitto con gli indirizzi specificati nel file di configurazione del cluster o nel file del blocco IP Seesaw

Il cluster Kind non viene eliminato

Quando crei un cluster di amministrazione, viene creato un cluster kind (chiamato anche cluster di bootstrap) nell'ambito del processo. Al termine dell'operazione sul cluster di amministrazione, il cluster kind viene eliminato automaticamente.

Se visualizzi il messaggio di errore Failed to delete the kind cluster, puoi eseguire i seguenti passaggi sulla workstation di amministrazione per eliminare manualmente il cluster kind:

  1. Recupera l'ID contenitore kind:

    docker inspect --format="{{.Id}}" gkectl-control-plane
    
  2. Recupera l'ID di processo containerd-shim:

    sudo ps awx | grep containerd-shim | grep CONTAINER_ID | awk '{print $1}'
    
  3. Termina il processo:

    sudo kill -9 PROCESS_ID
    

Problemi di upgrade del cluster

Le sezioni seguenti forniscono suggerimenti su come risolvere i problemi che potresti riscontrare durante un upgrade del cluster.

Esegui il rollback di un pool di nodi dopo un upgrade

Se esegui l'upgrade di un cluster utente e poi scopri un problema con i nodi del cluster, puoi eseguire il rollback dei node pool selezionati alla versione precedente.

Il rollback dei node pool selezionati è supportato per i node pool Ubuntu e COS, ma non per i node pool Windows.

La versione di un pool di nodi può essere la stessa o una versione secondaria precedente rispetto alla versione del control plane del cluster utente. Ad esempio, se il control plane è alla versione 1.14, i node pool possono essere alla versione 1.14 o 1.13.

Visualizza le versioni pool di nodi disponibili

Supponiamo che di recente tu abbia eseguito l'upgrade dei nodi worker e del control plane del cluster utente dalla versione 1.13.1-gke.35 alla versione 1.14.0 e che tu abbia riscontrato un problema con i nodi worker di cui è stato eseguito l'upgrade. Decidi quindi di eseguire il rollback di uno o più node pool alla versione che eseguivi in precedenza: 1.13.1-gke.35. Prima di poter iniziare il rollback, devi verificare che la versione precedente sia disponibile per il rollback.

Per visualizzare le versioni disponibili, esegui questo comando:

gkectl version --cluster-name USER_CLUSTER_NAME \
    --kubeconfig ADMIN_CLUSTER_KUBECONFIG

L'output mostra la versione attuale e quella precedente per ogni node pool. Ad esempio:

user cluster version: 1.14.0-gke.x

node pools:
- pool-1:
  - version: 1.14.0-gke.x
  - previous version: 1.13.1-gke.35
- pool-2:
  - version: 1.14.0-gke.x
  - previous version: 1.13.1-gke.35

available node pool versions:
- 1.13.1-gke.35
- 1.14.0-gke.x

Esegui il rollback della versione pool di nodi

Puoi eseguire il rollback della versione di un pool di nodi un pool di nodi alla volta o eseguire il rollback di più pool di nodi in un unico passaggio.

Per eseguire il rollback di una versione pool di nodi, completa i seguenti passaggi:

  1. Nel file di configurazione del cluster utente, in uno o più pool di nodi, imposta il valore di gkeOnPremVersion sulla versione precedente. L'esempio seguente mostra come eseguire il rollback alla versione 1.13.1-gke.35:

    nodePools:
    - name: pool-1
      cpus: 4
      memoryMB: 8192
      replicas: 3
      gkeOnPremVersion: 1.13.1-gke.35
      ...
    
  2. Aggiorna il cluster per eseguire il rollback dei pool di nodi:

    gkectl update cluster --config USER_CLUSTER_CONFIG \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
  3. Verifica che il rollback sia andato a buon fine:

    gkectl version --cluster-name USER_CLUSTER_NAME \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    

    L'output seguente mostra che è stato eseguito il rollback di pool-1 alla versione 1.13.1-gke.35.

    user cluster version: 1.14.0-gke.x
    
    node pools:
    - pool-1:
      - version: 1.13.1-gke.35
      - previous version: 1.14.0-gke.x
    - pool-2:
      - version: 1.14.0-gke.x
      - previous version: 1.13.1-gke.35
    
    available node pool versions:
    - 1.13.1-gke.35
    - 1.14.0-gke.x
    

Esegui l'upgrade a una nuova versione patch

Puoi eseguire l'upgrade di tutti i node pool e del control plane a una nuova versione patch. Questo può essere utile se hai eseguito il rollback a una versione precedente e vuoi eseguire l'upgrade a una versione che include una correzione.

Per eseguire l'upgrade a una nuova versione, completa i seguenti passaggi:

  1. Apporta le seguenti modifiche al file di configurazione del cluster utente:

    1. Imposta il valore di gkeOnPremVersion su una nuova versione patch. Questo esempio utilizza 1.14.1-gke.x.

    2. Per ogni pool di nodi, rimuovi il campo gkeOnPremVersion o impostalo su una stringa vuota. Se non viene specificata alcuna versione per un pool di nodi, la versione del pool di nodi corrisponde per impostazione predefinita alla versione specificata per il cluster.

      Queste modifiche sono simili al seguente esempio:

      gkeOnPremVersion: 1.14.1-gke.x
      
      nodePools:
      -   name: pool-1
        cpus: 4
        memoryMB: 8192
        replicas: 3
        gkeOnPremVersion: ""
      -   name: pool-2
        cpus: 8
        memoryMB: 8192
        replicas: 2
        gkeOnPremVersion: ""
      
  2. Esegui gkectl prepare e gkectl upgrade cluster come descritto in Upgrade di Google Distributed Cloud.

  3. Verifica la nuova versione del cluster e visualizza le versioni disponibili per il rollback:

    gkectl version --cluster-name USER_CLUSTER_NAME \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    

    L'output è simile al seguente:

     user cluster version: 1.14.1-gke.y
    
     node pools:
     - pool-1:
       - version: 1.14.1-gke.y
       - previous version: 1.13.1-gke.35
     - pool-2:
       - version: 1.14.1-gke.y
       - previous version: 1.13.1-gke.35
    
     available node pool versions:
     - 1.13.1-gke.35
     - 1.14.0-gke.x
     - 1.14.1-gke.y
     ```
    

I controlli di integrità vengono eseguiti automaticamente quando l'upgrade del cluster non va a buon fine

Se provi a eseguire l'upgrade di un cluster di amministrazione o utente e l'operazione non va a buon fine, Google Distributed Cloud esegue automaticamente il comando gkectl diagnose cluster sul cluster.

Per saltare la diagnosi automatica, passa il flag --skip-diagnose-cluster a gkectl upgrade.

Il processo di upgrade si blocca

Dietro le quinte, Google Distributed Cloud utilizza il comando drain di Kubernetes durante un upgrade. Questa procedura di drain può essere bloccata da un deployment con una sola replica per la quale è stato creato un PodDisruptionBudget (PDB) con minAvailable: 1.

A partire dalla versione 1.13 di Google Distributed Cloud, puoi controllare gli errori tramite gli eventi dei pod Kubernetes.

  1. Trova i nomi delle macchine:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get machines --all-namespaces
    
  2. Controlla se sono presenti errori utilizzando il comando kubectl describe machine:

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG describe machine MACHINE_NAME
    

    L'output è simile al seguente:

    Events:
      Type     Reason              Age    From                Message
      ----     ------              ----   ----                -------
      Warning  PodEvictionTooLong  3m49s  machine-controller  Waiting too long(12m10.284294321s) for pod(default/test-deployment-669b85c4cc-z8pz7) eviction.
    
  3. (Facoltativo) Per un'analisi più dettagliata dello stato degli oggetti macchina, esegui gkectl diagnose cluster.

    L'output è simile al seguente:

    ...
    Checking machineset...SUCCESS
    Checking machine objects...FAILURE
        Reason: 1 machine objects error(s).
        Unhealthy Resources:
        Pod test-deployment-669b85c4cc-7zjpq: Pod cannot be evicted successfully. There is 1 related PDB.
    ...
    Checking all poddisruptionbudgets...FAILURE
        Reason: 1 pod disruption budget error(s).
        Unhealthy Resources:
        PodDisruptionBudget test-pdb: default/test-pdb might be configured incorrectly, the total replicas(3) should be larger than spec.MinAvailable(3).
    ...
    Some validation results were FAILURE or UNKNOWN. Check report above.
    

Per risolvere il problema, salva il PDB e rimuovilo dal cluster prima di tentare l'upgrade. Puoi quindi aggiungere nuovamente il PDB al termine dell'upgrade.

Rimuovi le modifiche non supportate per sbloccare l'upgrade

Quando esegui l'upgrade dei cluster alla versione 1.16 o precedenti, le modifiche alla maggior parte dei campi vengono ignorate senza avviso durante l'upgrade, il che significa che queste modifiche non hanno effetto durante e dopo l'upgrade.

Quando esegui l'upgrade dei cluster utente alla versione 1.28 o successive, convalidiamo tutte le modifiche apportate nel file di configurazione e restituiamo un errore per le modifiche non supportate, anziché ignorarle. Questa funzionalità è disponibile solo per i cluster utente. Durante l'upgrade dei cluster di amministrazione, le modifiche alla maggior parte dei campi vengono ignorate senza avvisi e non avranno effetto dopo l'upgrade.

Ad esempio, se tenti di disattivare la riparazione automatica dei nodi durante l'upgrade di un cluster utente alla versione 1.28, l'upgrade non va a buon fine e viene visualizzato il seguente messaggio di errore:

failed to generate desired create config: failed to generate desired OnPremUserCluster from seed config: failed to apply validating webhook to OnPremUserCluster: the following changes on immutable fields are forbidden during upgrade: (diff: -before, +after):
   v1alpha1.OnPremUserClusterSpec{
    ... // 20 identical fields
    CloudAuditLogging:     &{ProjectID: "syllogi-partner-testing", ClusterLocation: "us-central1", ServiceAccountKey: &{KubernetesSecret: &{Name: "user-cluster-creds", KeyName: "cloud-audit-logging-service-account-key"}}},
-   AutoRepair:            &v1alpha1.AutoRepairConfig{Enabled: true},
+   AutoRepair:            &v1alpha1.AutoRepairConfig{},
    CARotation:            &{Generated: &{CAVersion: 1}},
    KSASigningKeyRotation: &{Generated: &{KSASigningKeyVersion: 1}},
    ... // 8 identical fields
  }

Se devi bypassare questo errore, puoi utilizzare le seguenti soluzioni alternative:

  • Annulla la modifica tentata, quindi esegui nuovamente l'upgrade. Ad esempio, nello scenario precedente, dovresti annullare le modifiche apportate alla configurazione AutoRepair e poi eseguire nuovamente gkectl upgrade.
  • In alternativa, puoi generare file di configurazione che corrispondono allo stato attuale del cluster eseguendo gkectl get-config, aggiornare i campi gkeOnPremVersion per il cluster e i node pool nel file di configurazione, quindi eseguire nuovamente gkectl upgrade.

Problema: immagine sistema operativo non trovata dopo gkectl prepare

Dopo aver eseguito il comando gkectl prepare e aver tentato di eseguire l'upgrade di un cluster utente con gkectl upgrade cluster, potresti riscontrare un errore simile al seguente:

[FAILURE] User OS images exist: OS images [gke-on-prem-ubuntu-VERSION] don't exist, please run `gkectl prepare` to upload OS images.

Questo errore può verificarsi quando il cluster di amministrazione e il cluster utente sono configurati per utilizzare cartelle vSphere diverse. Per impostazione predefinita, il comando gkectl prepare carica l'immagine sistema operativo nella cartella del cluster di amministrazione. Per caricare l'immagine nella cartella del cluster utente, utilizza il flag --user-cluster-config come mostrato nel comando seguente:

  gkectl prepare --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
    --bundle-path /var/lib/gke/bundles/gke-onprem-vsphere-VERSION-full.tgz \
    --user-cluster-config USER_CLUSTER_CONFIG

Esegui il debug dei problemi di F5 BIG-IP con il file kubeconfig interno

Dopo un'installazione, Google Distributed Cloud genera un file kubeconfig denominato internal-cluster-kubeconfig-debug nella home directory della tua workstation di amministrazione. Questo file kubeconfig è identico al file kubeconfig del cluster di amministrazione, ad eccezione del fatto che punta direttamente al nodo del control plane del cluster di amministrazione, dove viene eseguito il server API Kubernetes. Puoi utilizzare il file internal-cluster-kubeconfig-debug per eseguire il debug dei problemi di F5 BIG-IP.

Esegui il debug dei problemi con vSphere

Puoi utilizzare govc per esaminare i problemi relativi a vSphere. Ad esempio, puoi confermare le autorizzazioni e l'accesso per i tuoi account utente vCenter e puoi raccogliere i log di vSphere.

Ricrea il file kubeconfig del cluster utente mancante

Potresti voler ricreare un file kubeconfig del cluster utente nelle seguenti situazioni:

  • Se provi a creare un cluster utente, l'operazione di creazione non riesce e vuoi avere il file kubeconfig del cluster utente.
  • Se il file kubeconfig del cluster utente non è presente, ad esempio dopo essere stato eliminato.

Per generare un nuovo file kubeconfig per il cluster utente, segui questi passaggi:

  1. Definisci le variabili di ambiente:

    Inizia impostando le seguenti variabili di ambiente con i valori appropriati:

    USER_CONTROLPLANEVIP=USER_CONTROLPLANEVIP
    USER_CLUSTER_NAME=USER_CLUSTER_NAME
    ADMIN_CLUSTER_KUBECONFIG=PATH_TO_ADMIN_KUBECONFIG
    KUBECONFIG_SECRET_NAME=$(kubectl --kubeconfig $ADMIN_CLUSTER_KUBECONFIG get secrets -n $USER_CLUSTER_NAME | grep ^admin | cut -d' ' -f1 | head -n 1)
    

    Sostituisci quanto segue:

    • ADMIN_CLUSTER_KUBECONFIG: il percorso del file kubeconfig per il cluster di amministrazione.
    • USER_CONTROLPLANEVIP: il controlPlaneVIP del cluster utente. Puoi recuperarlo dal file manifest del cluster utente.
  2. Genera il file kubeconfig:

    Esegui questo comando per creare il nuovo file kubeconfig:

    kubectl --kubeconfig $ADMIN_CLUSTER_KUBECONFIG get secrets $KUBECONFIG_SECRET_NAME \
     -n $USER_CLUSTER_NAME -o jsonpath='{.data.admin\.conf}'  | base64 -d | \
     sed -r "s/ kube-apiserver.*local\./${USER_CONTROLPLANEVIP}/" \
     > USER_CLUSTER_KUBECONFIG
    

    Sostituisci :

    • USER_CLUSTER_KUBECONFIG: il nome del nuovo file kubeconfig per il tuo cluster utente.

Passaggi successivi

Se hai bisogno di ulteriore assistenza, contatta l'assistenza clienti Google Cloud.

Puoi anche consultare Assistenza per ulteriori informazioni sulle risorse di assistenza, tra cui: