Hochverfügbarkeit und Notfallwiederherstellung

Die Google Distributed Cloud-Software nur für VMware funktioniert mit vSphere-Verfügbarkeitsfunktionen, um Arbeitslasten vor Ausfällen von ESXi-Hosts, Datenspeichern und Rechenzentren zu schützen. Redundante Knoten der Steuerungsebene, VM-Anti-Affinitätsregeln und Load-Balancer-Failover sorgen dafür, dass Ihre Cluster weiterhin ausgeführt werden. Multi-Cluster-Bereitstellungen über Rechenzentren hinweg unterstützen die Notfallwiederherstellung.

Hauptfunktion

Architektur mit hochverfügbaren Nutzerclustern
Architektur mit hochverfügbaren Nutzerclustern (zum Vergrößern klicken)

Eine Installation von Google Distributed Cloud (nur Software) für VMware umfasst einen Administratorcluster und einen oder mehrere Nutzercluster.

Der Administratorcluster verwaltet den Lebenszyklus der Nutzercluster, einschließlich Erstellen, Aktualisieren, Upgrade und Löschen von Nutzerclustern. Im Administratorcluster verwaltet der Administrator-Master die Administrator-Worker-Knoten. Dazu gehören Nutzer-Master (Knoten, auf denen die Steuerungsebene der verwalteten Nutzercluster ausgeführt wird) und Add-on-Knoten (Knoten, auf denen die Add-on-Komponenten ausgeführt werden, die die Funktionalität des Administratorclusters unterstützen).

Für jeden Nutzercluster hat der Administratorcluster einen Nicht-HA-Knoten oder drei HA-Knoten, auf denen die Steuerungsebene ausgeführt wird. Die Steuerungsebene umfasst den Kubernetes API-Server, den Kubernetes-Planer, den Kubernetes-Controller-Manager und mehrere wichtige Controller für den Nutzercluster.

Die Verfügbarkeit der Steuerungsebene des Nutzerclusters ist für Arbeitslastvorgänge wichtig, wie das Erstellen von Arbeitslasten, das Hoch- und Herunterskalieren sowie das Abbrechen. Anders ausgedrückt: Ein Ausfall der Steuerungsebene beeinträchtigt nicht die ausgeführten Arbeitslasten. Die vorhandenen Arbeitslasten verlieren jedoch die Verwaltungsfunktionen des Kubernetes API-Servers, wenn keine Steuerungsebene vorhanden ist.

Containerisierte Arbeitslasten und Dienste werden in den Worker-Knoten des Nutzerclusters bereitgestellt. Einzelne Worker-Knoten sollten nicht für die Anwendungsverfügbarkeit entscheidend sein, solange die Anwendung mit redundanten Pods bereitgestellt wird, die auf mehreren Worker-Knoten geplant sind.

Hochverfügbarkeit aktivieren

vSphere und Google Distributed Cloud bieten eine Reihe von Features, die zur Hochverfügbarkeit (HA) beitragen.

vSphere HA und vMotion

Wir empfehlen, die folgenden zwei Funktionen im vCenter-Cluster zu aktivieren, auf dem Ihre Google Distributed Cloud-Software nur für VMware-Cluster gehostet wird:

Diese Funktionen verbessern die Verfügbarkeit und Wiederherstellung, wenn ein ESXi-Host ausfällt.

vCenter HA verwendet mehrere ESXi-Hosts, die als Cluster konfiguriert sind, um eine schnelle Wiederherstellung nach Ausfällen und eine kostengünstige HA für Anwendungen zu ermöglichen, die in virtuellen Maschinen ausgeführt werden. Wir empfehlen, Ihren vCenter-Cluster mit zusätzlichen Hosts bereitzustellen und vS HA Host-Host-Monitoring mit Host Failure Response auf Restart VMs zu aktivieren. Ihre VMs können dann bei einem ESXi-Hostfehler automatisch auf anderen verfügbaren Hosts neu gestartet werden.

vMotion ermöglicht die Live-Migration von VMs von einem ESXi-Host zu einem anderen ohne Ausfallzeiten. Für die geplante Hostwartung können Sie mit der Live-Migration von vMotion die Anwendungsausfallzeiten vermeiden und Geschäftskontinuität gewährleisten.

Administratorcluster

Google Distributed Cloud (nur Software) für VMware unterstützt das Erstellen von Hochverfügbarkeits-Administratorclustern. Ein HA-Administratorcluster hat drei Knoten, auf denen Komponenten der Steuerungsebene ausgeführt werden. Informationen zu Anforderungen und Einschränkungen finden Sie unter Hochverfügbarkeits-Administratorcluster.

Die Nichtverfügbarkeit der Steuerungsebene des Administratorclusters hat keine Auswirkungen auf die vorhandene Funktionalität des Nutzerclusters oder auf Arbeitslasten, die in Nutzerclustern ausgeführt werden.

In einem Administratorcluster gibt es zwei Add-on-Knoten. Wenn dieser ausfällt, kann der andere die Administratorclustervorgänge ausführen. Zur Redundanz verteilt die Google Distributed Cloud-Software nur für VMware kritische Add-on-Dienste wie kube-dns auf beide Add-on-Knoten.

Wenn Sie in der Konfigurationsdatei des Administratorclusters antiAffinityGroups.enabled auf true setzen, erstellt die Google Distributed Cloud-Software nur für VMware automatisch vSphere-DRS-Anti-Affinitätsregeln für die Add-on-Knoten, wodurch diese auf zwei physische Hosts für hohe Verfügbarkeit verteilt werden.

Nutzercluster

Sie können HA für einen Nutzercluster aktivieren, indem Sie masterNode.replicas in der Nutzercluster-Konfigurationsdatei auf 3 setzen. Wenn für den Nutzercluster Steuerungsebene V2 aktiviert ist (empfohlen), werden die drei Knoten der Steuerungsebene im Nutzercluster ausgeführt. Bei Legacy-HA-Nutzerclustern, für die Controlplane V2 nicht aktiviert ist, werden die drei Knoten der Steuerungsebene im Administratorcluster ausgeführt. Auf jedem Knoten der Steuerungsebene wird auch ein etcd-Replikat ausgeführt. Der Nutzercluster funktioniert weiterhin, solange eine Steuerungsebene und ein etcd-Quorum ausgeführt wird. Für ein etcd Quorum müssen zwei der etcd-Replikate funktionieren.

Wenn Sie antiAffinityGroups.enabled in der Konfigurationsdatei des Administratorclusters auf true setzen, erstellt die Google Distributed Cloud-Software nur für VMware automatisch vSphere-DRS-Anti-Affinitätsregeln für die drei Knoten, auf denen die Steuerungsebene des Nutzerclusters ausgeführt wird. Dadurch werden diese VMs auf drei physische Hosts verteilt.

Die Google Distributed Cloud-Software nur für VMware erstellt auch vSphere-DRS-Anti-Affinitätsregeln für die Worker-Knoten in Ihrem Nutzercluster, wodurch diese Knoten auf mindestens drei physische Hosts verteilt werden. Mehrere DRS-Anti-Affinitätsregeln werden pro Nutzercluster-Knotenpool basierend auf der Anzahl der Knoten verwendet. Dadurch wird gewährleistet, dass die Worker-Knoten Hosts finden, auf denen sie ausgeführt werden können, auch wenn die Anzahl der Hosts kleiner als die Anzahl der VMs im Nutzercluster-Knotenpool ist. Wir empfehlen, zusätzliche physische Hosts in Ihren vCenter-Cluster aufzunehmen. Sie sollten DRS außerdem so konfigurieren, dass der Vorgang vollständig automatisiert ist, damit in dem Fall, dass ein Host nicht mehr verfügbar ist, DRS automatisch VMs auf anderen verfügbaren Hosts neu starten kann, ohne gegen die Anti-Affinitätsregeln der VMs zu verstoßen.

Google Distributed Cloud (nur Software) für VMware verfügt über ein spezielles Knotenlabel onprem.gke.io/failure-domain-name, dessen Wert auf den zugrunde liegenden ESXi-Hostnamen eingestellt ist. Nutzeranwendungen, die Hochverfügbarkeit gewährleisten möchten, können podAntiAffinity-Regeln mit diesem Label als topologyKey einrichten, um sicherzustellen, dass ihre Anwendungs-Pods über verschiedene VMs sowie physische Hosts verteilt werden. Sie können auch mehrere Knotenpools für einen Nutzercluster mit unterschiedlichen Datenspeichern und speziellen Knotenlabels konfigurieren. Ebenso können Sie Regeln vom Typ podAntiAffinity mit diesem speziellen Knotenlabel als topologyKey einrichten, um eine höhere Verfügbarkeit bei Datenspeicherfehlern zu erreichen.

Um HA für Nutzerarbeitslasten zu verwenden, muss der Nutzercluster eine ausreichende Anzahl von Replikaten unter nodePools.replicas haben, wodurch sichergestellt wird, dass die gewünschte Anzahl von Nutzercluster-Worker-Knoten in ausführbarem Zustand sind.

Sie können für Admincluster und Nutzercluster separate Datenspeicher verwenden, um deren Fehler zu isolieren.

Load-Balancer

Es gibt zwei Arten von Load-Balancern, die Sie für Hochverfügbarkeit verwenden können.

Gebündelter MetalLB-Load-Balancer

Für den gebündelten MetalLB-Load-Balancer erreichen Sie Hochverfügbarkeit, wenn Sie mehr als einen Knoten mit enableLoadBalancer: true haben.

MetalLB verteilt Dienste auf die Load-Balancer-Knoten. Für einen einzelnen Dienst gibt es jedoch nur einen Leader-Knoten, der den gesamten Traffic für diesen Dienst verarbeitet.

Während des Cluster-Upgrades kommt es zu einer Ausfallzeit, wenn die Load-Balancer-Knoten aktualisiert werden. Die Dauer der Failover-Unterbrechung von MetalLB nimmt mit der Anzahl der Load-Balancer-Knoten zu. Bei weniger als fünf Knoten beträgt die Unterbrechung weniger als 10 Sekunden.

Manuelles Load-Balancing

Beim manuellen Load Balancing konfigurieren Sie die Google Distributed Cloud-Software nur für VMware, um einen Load Balancer Ihrer Wahl zu verwenden, z. B. F5 BIG-IP oder Citrix. Sie konfigurieren die Hochverfügbarkeit auf Ihrem Load Balancer, nicht in der Google Distributed Cloud-Software nur für VMware.

Mehrere Cluster für die Notfallwiederherstellung verwenden

Wenn Sie Anwendungen in mehreren Clustern auf mehreren vCenter-Servern bereitstellen, können Sie während globaler Ausfälle eine höhere globale Verfügbarkeit erzielen und den Extremradius begrenzen.

Bei dieser Konfiguration wird der vorhandene Cluster im sekundären Rechenzentrum zur Notfallwiederherstellung verwendet, anstatt einen neuen Cluster einzurichten. Das geht in der folgenden Zusammenfassung:

  • Erstellen Sie im sekundären Rechenzentrum einen weiteren Administratorcluster und einen weiteren Nutzercluster. In dieser Multi-Cluster-Architektur müssen Nutzer zwei Administratorcluster in jedem Rechenzentrum haben und jeder Administratorcluster einen Nutzercluster ausführen.

  • Der sekundäre Nutzercluster hat eine minimale Anzahl von Worker-Knoten (drei) und ist dabei ein Hot-Standby.

  • Sie können Anwendungsbereitstellungen über die beiden vCenters mithilfe einer vorhandenen DevOps-Toolchain (CI/CD, Spinnaker) replizieren. Dies ist der bevorzugte Ansatz. Alternativ können Sie Config Sync verwenden.

  • Im Notfall kann der Nutzercluster auf die erforderliche Anzahl von Knoten skaliert werden.

  • Außerdem ist eine DNS-Umschaltung erforderlich, um den Traffic an den Cluster im sekundären Rechenzentrum weiterzuleiten.