Geclusterte GPUs wie die Maschinenserien A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) sind so konzipiert, dass Sie damit große Cluster für künstliche Intelligenz (KI) und maschinelles Lernen (ML) ausführen können. Sie bieten die folgenden Funktionen für die Clusterverwaltung:
- Colocation von geclusterter GPU-Infrastruktur
- Clustertopologie-orientierte Platzierung
- Clusterbetriebsmodus
- Planung und Steuerung der Clusterwartung
- Tools für Clustermonitoring und -diagnose
Unterstützte Maschinenserien
Die auf dieser Seite beschriebenen Clusterverwaltungsfunktionen sind für die Maschinenserie mit geclusterten GPUs verfügbar, die für umfangreiche Arbeitslasten mit mehreren Knoten optimiert ist.
Diese Funktionen gelten nicht für die allgemeine GPU-Maschinenserie, die aus unabhängigen Rechenressourcen besteht, die Standard-VPC-Netzwerke verwenden und keine Wartungsmodi oder dichte Colocation unterstützen.
In der folgenden Tabelle sind die in AI Hypercomputer unterstützten Maschinenserien zusammengefasst:
| Kategorie | Maschinenserie | Unterstützt die Clusterverwaltung |
|---|---|---|
| Geclusterte GPUs | A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High | Ja |
| Allgemeine GPUs | A3 Edge, A2, G2, G4, N1 | Nein |
Weitere Informationen zu den einzelnen Maschinenreihen finden Sie unter GPU-Beschleuniger.
Die meisten Clusterverwaltungsfunktionen werden nur für reservierungsgebundene Kapazität unterstützt. Das ist eine Infrastruktur, die das reservierungsgebundene Bereitstellungsmodell verwendet, das nur geclusterte GPU-Maschinentypen unterstützt. Für Kapazität, die ein anderes Bereitstellungsmodell verwendet, sind nur die folgenden Clustermanagementfunktionen verfügbar:
- Colocation von KI-Infrastrukturressourcen
- Clustertopologie-orientierte Platzierung
- Hostereignisse für mehrere Instanzen verwalten
Colocation von geclusterter GPU-Infrastruktur
Wenn Sie geclusterte GPUs wie A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) verwenden, können Sie Hostmaschinen anfordern, die von Compute Engine so nah wie möglich beieinander bereitgestellt werden. Diese Maschinen bieten die folgenden Funktionen:
Compute Engine stellt die Maschinen als Ressourcenblöcke bereit.
Ein dynamisches ML-Netzwerk verbindet die Maschinen.
Diese Ressourcenanordnung minimiert Netzwerk-Hops und bietet die niedrigste Netzwerklatenz. Wenn Sie Blöcke von beschleunigungsoptimierten Maschinen bereitstellen möchten, die von Compute Engine dicht zugewiesen werden, können Sie die folgenden Optionen verwenden:
Ressourcen müssen dicht beieinander zugewiesen werden, wenn Sie einen oder mehrere der folgenden Schritte ausführen:
Erstellen Sie Ressourcen, die dieselbe vorausschauende Reservierung in AI Hypercomputer oder vorausschauende Reservierung im Kalendermodus verwenden.
Stellen Sie eine verwaltete Instanzgruppe (MIG) bereit, die Anfragen zur Größenanpassung verwendet, und erstellen Sie die Ressourcen in derselben Anfrage.
Geben Sie an, dass Ressourcen dieselbe Richtlinie für kompakte Platzierung oder Arbeitslastrichtlinie verwenden, die einen Wert für die maximale Entfernung angibt. Insbesondere müssen Ressourcen nur so nah beieinander sein, wie es der Wert für die maximale Entfernung der Richtlinie angibt.
Ressourcen werden optional dicht beieinander zugewiesen, basierend auf der Best-Effort-Verfügbarkeit, wenn Sie einen oder mehrere der folgenden Schritte ausführen:
Ressourcen in derselben Anfrage für Flex-Start-VMs erstellen.
Geben Sie an, dass Ressourcen dieselbe Richtlinie für kompakte Platzierung oder Arbeitslastrichtlinie verwenden, die keine maximale Entfernung angibt.
Topologieorientierte Clusterplatzierung
Nachdem Sie geclusterte GPUs erstellt haben, können Sie Topologieinformationen auf Knoten- und Clusterebene abrufen. Diese Informationen helfen Ihnen bei Folgendem:
Passen Sie das Design Ihrer Anwendungen und Arbeitslasten an, um die Netzwerklatenz weiter zu minimieren.
Netzwerklatenz- und Leistungsprobleme für Instanzen, die häufig miteinander kommunizieren, verstehen und beheben. Diese Probleme können auftreten, wenn die Instanzen unerwartet weit voneinander entfernt sind.
Die Unterstützung für Topologiefunktionen sieht so aus:
Topologieinformationen funktionieren am besten mit reservierungsgebundener Kapazität, die erforderlich ist, um die Topologie einer Reservierung aufzurufen.
Topologiefunktionen unterstützen nur Maschinentypen, die Richtlinien für kompakte Platzierung unterstützen.
Bei Spot-VMs werden Topologieinformationen nur angezeigt, wenn eine Maschine eine Richtlinie für kompakte Platzierung verwendet.
Weitere Informationen finden Sie unter Topologie von Compute-Instanzen ansehen.
Cluster-Betriebsmodus
Wenn Sie Kapazität reservieren, um Compute-Instanzen oder Cluster mit geclusterten GPUs zu erstellen, bestimmt der von Ihnen reservierte Maschinentyp den Betriebsmodus des Clusters für die Instanzen. In diesem Modus wird festgelegt, wie sich Ihre Instanzen nach Hostfehlern oder fehlerhaften Hostberichten verhalten. Die verfügbaren Betriebsmodi für eine Instanz sind der verwaltete Modus, in dem Compute Engine fehlerhafte Maschinen automatisch ersetzt, aber einen Teil Ihrer reservierten Kapazität zurückhält, damit Ihre Instanzen die erforderlichen Ressourcen für einen Neustart haben. Oder den Modus für die gesamte Kapazität, in dem Sie Zugriff auf Ihre gesamte reservierte Kapazität haben, aber für die Verwaltung von Ausfällen und geplante Wartungsarbeiten verantwortlich sind.
Weitere Informationen finden Sie unter Betriebsmodus für Reservierungen.
Planung und Steuerung der Clusterwartung
Sie steuern die Wartung von geclusterten GPUs mithilfe der topologieorientierten Planung in einem Ressourcenblock. Diese Funktion hilft, Upgrades zu synchronisieren, damit Ihre Arbeitslasten widerstandsfähiger gegen Hostereignisse sind und Unterbrechungen minimiert werden. Dieser Ansatz trägt dazu bei, den Goodput Ihrer Arbeitslast zu verbessern.
Die folgenden Funktionen ermöglichen Ihnen die vollständige Kontrolle über Wartungsereignisse:
Typ der Wartungsplanung
Wenn Sie Kapazität für die Erstellung von Compute-Instanzen oder Clustern von geclusterten GPUs reservieren, können Sie festlegen, wie Compute Engine die Infrastruktur verwaltet, auf der Ihre Instanzen ausgeführt werden. Je nach Maschinentyp, den Sie für Ihre Instanzen verwenden möchten, können Sie zwischen einer synchronisierten Wartung über Instanzen hinweg (Gruppiert) oder verschiedenen Wartungsplänen (Unabhängig) wählen.
Weitere Informationen finden Sie unter Arten der Wartungsplanung.
Hostereignisse verwalten
Nachdem Sie geclusterte GPUs erstellt und Ihre Arbeitslast gestartet haben, können Sie Benachrichtigungen einrichten und erhalten, wenn die Wartung Ihrer Instanzen oder reservierten Blöcke geplant ist, beginnt oder abgeschlossen ist. Sie können sich auch die Wartung für eine Instanz oder einen reservierten Block vor dem geplanten Zeitpunkt ansehen und bei Bedarf manuell starten. Mit diesen Optionen können Sie Ausfallzeiten Ihrer Arbeitslasten proaktiv steuern und minimieren.
Hier finden Sie weitere Informationen:
Tools für Clustermonitoring und ‑diagnose
Für das Monitoring und die Fehlerbehebung umfassen geclusterte GPUs die folgenden Dienste:
Vorhersage der Verschlechterung des VM-Zustands, mit der Sie VMs identifizieren können, deren Zustand sich innerhalb der nächsten fünf Stunden wahrscheinlich verschlechtern wird.
Fehlerhafte Hosts melden, um Probleme mit einzelnen Hostmaschinen zu melden.
Unterstützung für Cloud Monitoring-Messwerte, mit denen Sie die Leistung von Netzwerken und GPUs überwachen können.