Terminologie

Die folgenden Bedingungen gelten für AI Hypercomputer.

Accelerator
Ein spezialisiertes Hardwaregerät wie eine GPU oder TPU, das für bestimmte Aufgaben wie Arbeitslasten für maschinelles Lernen entwickelt wurde und diese effizienter als ein Prozessor für allgemeine Zwecke ausführt.

blockieren
Eine Sammlung von Unterblöcken, die über ein nicht blockierendes Hochgeschwindigkeitsnetzwerk miteinander verbunden sind, das allen Hostcomputern im Block eine hohe Bandbreite bietet.

Cluster
Eine Gruppe von Blöcken, die über eine Hochgeschwindigkeits-Netzwerkstruktur miteinander verbunden sind. Jeder Cluster ist global eindeutig. Bei A4X-, A4-, A3 Ultra-, A3 Mega- und A3 High-Maschinen (8 GPUs) bietet ein Cluster eine gemeinsame, nicht blockierende Netzwerkstruktur für Ihre Blöcke mit Beschleunigerkapazität. Innerhalb eines Clusters ist die Kommunikation zwischen Knoten (Ost-West-Traffic) für die gesamte Sammlung von Blöcken nicht blockierend.

Geclusterte GPU
Eine Kategorie von Maschinenfamilien für GPUs, einschließlich A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs). Mit geclusterten GPUs können Teams Tausende von miteinander verbundenen Beschleunigern als einzelnes, eng gekoppeltes System bereitstellen und skalieren. Dazu werden spezielle Netzwerkstrukturen und synchronisierte Wartung verwendet. Sie sind ideal für Arbeitslasten, die extreme Rechenleistung, Arbeitsspeicher und eine Hochgeschwindigkeits-Netzwerksynchronisierung erfordern. Zu den gängigen Anwendungsfällen gehören das Vortrainieren von Foundation Models mit Billionen von Parametern, die Bereitstellung von Frontier-Modellen und Simulationen für die Wirkstoffsuche.

Notfallwartung
Wird manchmal als Notfallwartung bezeichnet. Ein ungeplantes Wartungsereignis, das durch ein kritisches Hardware-, Software- oder Sicherheitsproblem verursacht wird. Bei unterstützten Beschleuniger-Maschinentypen erhalten Sie bei einer Notfallwartung eine Vorankündigung, anstatt dass es zu einer sofortigen Unterbrechung kommt. Diese Benachrichtigung gibt Ihnen Zeit, Ihre Arbeitslasten ordnungsgemäß zu beenden und optional die Reparatur auszulösen, bevor das System die VMs beendet.

Allgemeine GPU
Eine Kategorie von GPU-Maschinenfamilien, einschließlich G2, G4, A2, N1+T4 und A3 Edge. Mit allgemeinen GPUs können Teams NVIDIA-Beschleuniger mit vollständiger operativer Autonomie bereitstellen und skalieren, ohne die architektonische Komplexität koordinierter Supercomputing-Cluster berücksichtigen zu müssen. Sie sind ideal für Arbeitslasten, bei denen Hochverfügbarkeit, Self-Service-Bereitstellung und unabhängige Skalierung im Vordergrund stehen. Zu den häufigsten Anwendungsfällen gehören Echtzeit-Inferenz, RAG, Prototyping und das Training kleiner bis mittelgroßer Modelle.

Netzwerk-Fabric
Hochgeschwindigkeits-Netzwerkinfrastruktur, die eine hohe Bandbreite und niedrige Latenz für alle Blöcke und Google Cloud Dienste in einem Cluster bietet. Die Fabric verwendet die Architektur des Jupiter-Netzwerks. Zur Leistungsoptimierung werden im Fabric softwarebasierte Netzwerke und optische Switches verwendet.

Knoten oder Host
Ein einzelner physischer Server im Rechenzentrum. Jedem Host sind Rechenressourcen wie Beschleuniger zugeordnet. Die Anzahl und Konfiguration dieser Rechenressourcen hängen von der Maschinenfamilie ab. Compute Engine-Instanzen werden auf einem physischen Host bereitgestellt.

Eine NVLink-Domain, auch als Subblock bezeichnet, ist die Kerneinheit der Kapazität für A5X-, A4X Max- und A4X-Maschinen. Eine NVLink-Domain besteht aus 18 A5X-, A4X Max- oder A4X-Instanzen (72 GPUs), die über ein NVLink-System mit mehreren Knoten verbunden sind.

Unterblock
Eine Gruppe von Hosts und zugehöriger Konnektivitätshardware, die sich auf einem einzelnen physischen Block befinden. Bei A5X-, A4X Max- und A4X-Maschinen wird ein Unterblock auch als NVLink-Domain bezeichnet.

Superblock
Eine physische Gruppierung miteinander verbundener Maschinen in Rechenzentren. Wenn Sie Maschinen in einem Superblock platzieren, erreichen Sie den extremen Netzwerkdurchsatz und die Latenz im Submillisekundenbereich, die für die Ausführung eng gekoppelter Trainingsarbeitslasten erforderlich sind.

Weitere Informationen

In den folgenden Dokumenten finden Sie weitere Erläuterungen zu den Begriffen, die für die entsprechenden Themen relevant sind: