Dieses Dokument bietet eine Übersicht und einen Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien. Mit beiden Richtlinien können Sie die Platzierung von Compute Engine-Instanzen konfigurieren, um die Netzwerklatenz zu minimieren.
Standardmäßig verwalten Sie den Speicherort Ihrer Compute-Instanzen nur durch Angabe der Zonen. Mit den folgenden Optionen können Sie Compute-Instanzen erstellen, die näher beieinander liegen. Weitere Informationen finden Sie unter Colocation von KI-Infrastrukturressourcen.
Die folgenden Ressourcen sind bereits dicht beieinander platziert:
- Ressourcen, die dieselbe vorausschauende Reservierung für Kapazitätsblöcke nutzen.
- Ressourcen, die dieselbe vorausschauende Reservierung im Kalendermodus nutzen.
- Ressourcen, die Sie gemeinsam über eine Anfrage zur Größenanpassung einer verwalteten Instanzgruppe (Managed Instance Group, MIG) erstellen.
Ressourcen, die Sie zusammen erstellen, wenn Sie die Verbrauchsoption „Flex-Start“ angeben, werden möglicherweise basierend auf der Best-Effort-Verfügbarkeit dicht beieinander platziert. Wenn Sie stattdessen dicht beieinander liegende Ressourcen benötigen, wenden Sie entweder eine Richtlinie für kompakte Platzierung an, die eine maximale Entfernung angibt, oder eine Arbeitslastrichtlinie, die eine maximale Entfernung angibt.
Wenn Sie Ressourcen nahe beieinander platzieren möchten, wenden Sie eine Richtlinie für kompakte Platzierung oder eine Arbeitslastrichtlinie an.
- Wenn Sie dicht beieinander liegende Ressourcen benötigen, geben Sie in der Richtlinie einen maximalen Abstand an.
- Wenn Sie dicht beieinander platzierte Ressourcen basierend auf der Best-Effort-Verfügbarkeit wünschen, geben Sie in der Richtlinie keine maximale Entfernung an.
Weitere Informationen dazu, wann Sie eine Richtlinie für kompakte Platzierung im Vergleich zu einer Arbeitslastrichtlinie verwenden sollten, finden Sie in diesem Dokument unter Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien.
Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien
In der folgenden Tabelle sind die Unterschiede zwischen Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien zusammengefasst:
| Richtlinie für kompakte Platzierung | Arbeitslastrichtlinie | |
|---|---|---|
| Richtlinienverwendung |
|
MIGs mit geclusterten GPUs |
| Unterstützte Maschinentypen | A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, G4 und G2 |
|
| Semantik der Gruppierung | Compute Engine platziert die Instanzen, die dieselbe Richtlinie für kompakte Platzierung verwenden, näher beieinander. Wir empfehlen, für jede Arbeitslast eine andere Platzierungsrichtlinie zu verwenden. Wenn Sie eine Platzierungsrichtlinie für Instanzen wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden alle diese Instanzen zusammen platziert. Diese Colocation kann es schwierig machen, Instanzen zu erstellen, die nahe beieinander liegen, wenn Sie eine bestimmte Arbeitslast horizontal skalieren. |
Compute Engine platziert die Instanzen in einer MIG, die eine Arbeitslastrichtlinie verwendet, näher beieinander. Wenn Sie eine Arbeitslastrichtlinie für mehrere MIGs wiederverwenden, die unterschiedliche Arbeitslasten ausführen, werden die Instanzen in einzelnen MIGs zusammengefasst. Die Wiederverwendung ist ideal für große Trainingsmodelle, bei denen jede Gruppe von Instanzen voneinander isoliert werden muss. |
| Konfiguration der Colocation von Compute-Instanzen | Setzen Sie für die Best-Effort-Colocation von Compute-Instanzen das Feld |
Legen Sie für die Best-Effort-Colocation von Compute-Instanzen das Feld |
| Zusätzliche Konfigurationen |
|
|
Weitere Informationen finden Sie in den folgenden Abschnitten:
Richtlinien für kompakte Platzierung
Wenn Sie Richtlinien für die kompakte Platzierung auf eigenständige Compute-Instanzen oder im Bulk erstellte Compute-Instanzen anwenden, versucht die Compute Engine, die Compute-Instanzen so nah wie möglich beieinander zu erstellen. Wenn Ihre Anwendung eine minimale Netzwerklatenz erfordert, geben Sie beim Erstellen einer Richtlinie für kompakte Platzierung das Feld maxDistance (Vorabversion) an.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Richtlinien für kompakte Platzierung.
Vergleich der Werte für die maximale Entfernung für Richtlinien für kompakte Platzierung
Ein niedrigerer Wert für den maximalen Abstand sorgt für eine engere Platzierung der Compute-Instanzen, erhöht jedoch auch die Wahrscheinlichkeit, dass einige Compute-Instanzen nicht erstellt werden.
In der folgenden Tabelle sind die Maschinenserien und die Anzahl der Compute-Instanzen aufgeführt, die von jedem maximalen Abstandswert unterstützt werden:
maxDistance in einer Richtlinie für kompakte Platzierung |
maxTopologyDistance in einer Arbeitslastrichtlinie |
Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von Compute-Instanzen |
|---|---|---|---|---|
| Nicht angegeben (nicht empfohlen) | Nicht angegeben (nicht empfohlen) | Die Compute Engine versucht, die Compute-Instanzen möglichst nah beieinander zu platzieren, ohne dass es eine maximale Entfernung zwischen den Compute-Instanzen gibt. | A4X Max, A4X, A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1500 |
3 |
CLUSTER |
Compute Engine erstellt Compute-Instanzen in benachbarten Blöcken. | A4, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1.500 |
2 |
BLOCK |
Compute Engine erstellt Compute-Instanzen im selben Block. | A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 |
|
1 |
SUBBLOCK |
Compute Engine erstellt Compute-Instanzen im selben Unterblock. | A3 Edge1, A2, G4 und G2 | 22 |
1 Wenn Sie eine Richtlinie für kompakte Platzierung auf eine A3 Mega-, A3 High- oder A3 Edge-Instanz anwenden möchten, die vor dem 1. Oktober 2025 erstellt wurde, wenden Sie sich an Ihr Account-Management-Team oder das Vertriebsteam.
Arbeitslastrichtlinien
Mit Arbeitslastrichtlinien können Sie die Platzierung und die zugrunde liegende Infrastruktur für die Compute-Instanzen in einer MIG angeben. Wenn Sie Arbeitslastrichtlinien mit A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) verwenden, können Sie die Netzwerklatenz zwischen Compute-Instanzen minimieren und die Leistung optimieren.
Je nach den Maschinentypen, die die Compute-Instanzen in Ihrer MIG verwenden, sind Arbeitslastrichtlinien in den folgenden Situationen erforderlich oder optional:
Zum Bereitstellen von Unterblöcken von A4X Max- oder A4X-Instanzen sind Arbeitslastrichtlinien erforderlich.
Für die Verwendung von A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) sind Arbeitslastrichtlinien optional.
Die Arbeitslastrichtlinie wird für die Maschinenserien A3 Edge, A2, G4, G2 und N1 nicht unterstützt. Für MIGs, die diese Maschinenreihen verwenden, können Sie eine Richtlinie für kompakte Platzierung für die VM-Colocation verwenden.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Arbeitslastrichtlinien in MIGs.