Flex-Start-VMs

Dieses Dokument bietet einen Überblick über Flex-Start-VMs und beschreibt ihre wichtigsten Merkmale sowie die Anforderungen und Einschränkungen, die beim Erstellen gelten.

Flex-Start-VMs sind VM-Instanzen, die Sie mit dem Bereitstellungsmodell „Flex-Start“ erstellen. Dieses Modell verwendet den Dynamic Workload Scheduler (DWS), um Rechenressourcen aus einem sicheren Kapazitätspool bereitzustellen. Dadurch erhöhen sich Ihre Chancen, stark nachgefragte Ressourcen wie GPUs oder TPUs zu erhalten. Nachdem Sie Flex-Start-VMs erstellt haben, versucht Compute Engine, die angeforderten Ressourcen innerhalb eines bestimmten Zeitraums zuzuweisen. Wenn die Anfrage erfolgreich ist, werden Ihre Flex-Start-VMs gestartet und maximal sieben Tage lang ausgeführt.

Für Arbeitslasten, die Ressourcen länger als sieben Tage benötigen oder eine höhere Kapazitätszusicherung erfordern, können Sie eine Anfrage für eine vorausschauende Reservierung im Kalendermodus erstellen.

Anwendungsfälle für Flex-Start-VMs

Flex-Start-VMs sind ideal für die Ausführung von Arbeitslasten, die jederzeit gestartet werden können, z. B.:

  • Vortraining kleiner Modelle

  • Modellabstimmung

  • HPC-Simulation (Hochleistungs-Computing)

  • Batchinferenz

Wichtige Merkmale von Flex-Start-VMs

Im Vergleich zu anderen Arten von Compute Engine-Instanzen haben Flex-Start-VMs die folgenden Merkmale:

  • Wartezeit für die Ressourcenzuweisung: Sie können Flex-Start-VMs erstellen, bevor Compute Engine die angeforderten Ressourcen zuweisen kann. VMs werden jedoch nur gestartet, wenn innerhalb des angegebenen Zeitraums Ressourcen verfügbar werden. Wenn keine Ressourcen verfügbar sind, schlägt die Anfrage zum Erstellen der VM fehl.

    Weitere Informationen finden Sie in diesem Dokument unter Wartezeit für Flex-Start-VMs.

  • Begrenzte Ausführungsdauer: Flex-Start-VMs werden bis zu sieben Tage lang ohne Unterbrechung ausgeführt. Nach diesem Zeitraum beendet oder löscht Compute Engine die VMs automatisch gemäß der in den VM-Eigenschaften angegebenen Beendigungsaktion.

    Weitere Informationen finden Sie in diesem Dokument unter Begrenzte Laufzeit von Flex-Start-VMs.

  • So weist Compute Engine VMs zu: Compute Engine versucht, Flex-Start-VMs in unmittelbarer Nähe zu erstellen, um die Netzwerklatenz zu minimieren. Wenn Sie die Platzierung Ihrer Flex-Start-VMs steuern möchten, können Sie optional Richtlinien für kompakte Platzierung oder Arbeitslastrichtlinien verwenden.

    Weitere Informationen finden Sie in diesem Dokument unter Zuweisung von Flex-Start-VMs.

  • Das Bereitstellungsmodell „Flex-Start“: Sie erstellen Flex-Start-VMs mit dem Bereitstellungsmodell „Flex-Start“. Dieses Bereitstellungsmodell bietet eine bessere Ressourcenverfügbarkeit als VMs, die Sie mit dem Standardbereitstellungsmodell erstellen.

    Weitere Informationen zu den einzelnen Bereitstellungsmodellen finden Sie unter Bereitstellungsmodelle für Compute Engine-Instanzen.

Wartezeit für Flex-Start-VMs

Wenn Sie eine Flex-Start-VM erstellen, wird sie nicht sofort gestartet. Compute Engine versucht, die angeforderten Ressourcen zuzuweisen und die VM innerhalb eines bestimmten Zeitraums zu starten. Wenn Sie ein ausreichendes Kontingent für die angeforderten Ressourcen haben und Compute Engine diese bis zum Ende der Wartezeit zuweist, wird die Flex-Start-VM innerhalb von zwei Minuten nach Verfügbarkeit der Kapazität gestartet. Andernfalls schlägt die Anfrage zum Erstellen der VM fehl.

Die Wartezeit hängt von der Methode ab, die Sie zum Erstellen von VMs verwenden:

Wartezeit für eigenständige Flex-Start-VMs

Wenn Sie eine eigenständige Flex-Start-VM erstellen möchten, müssen Sie im Feld requestValidForDuration eine Wartezeit angeben. Sie können eine Wartezeit von entweder null Sekunden oder zwischen 90 Sekunden und 7.200 Sekunden (zwei Stunden) festlegen.

Basierend auf den zonalen Anforderungen Ihrer Arbeitslast empfehlen wir die folgenden Wartezeiten, um die Wahrscheinlichkeit zu erhöhen, dass Ihre Anfrage zum Erstellen einer Flex-Start-VM erfolgreich ist:

  • Strikte zonale Anforderungen: Wenn Ihre Arbeitslast erfordert, dass Sie eine Flex-Start-VM in einer bestimmten Zone erstellen, empfehlen wir, das Feld requestValidForDuration auf 90 Sekunden oder mehr (bis zu zwei Stunden) festzulegen. Längere Wartezeiten erhöhen die Wahrscheinlichkeit, dass du Ressourcen erhältst. Die VM behält während dieser Zeit den Status PENDING bei.

  • Keine zonalen Anforderungen: Wenn die Flex-Start-VM in einer beliebigen Zone in der Region ausgeführt werden kann, empfehlen wir, das Feld requestValidForDuration auf null Sekunden festzulegen. Dieser Wert gibt an, dass Compute Engine Ressourcen nur dann zuweist, wenn sie sofort verfügbar sind. Wenn Ihre Anfrage fehlschlägt, weil Ressourcen nicht verfügbar sind, versuchen Sie, die Flex-Start-VM in einer anderen Zone zu erstellen.

Wenn Sie eine Anfrage zum Erstellen einer VM beenden möchten, während Compute Engine versucht, Ressourcen zuzuweisen, löschen Sie die Flex-Start-VM.

Wartezeit für MIGs mit Flex-Start-VMs

Wenn Sie einer verwalteten Instanzgruppe (Managed Instance Group, MIG) Flex-Start-VMs hinzufügen, versucht Compute Engine so lange, die angeforderten Ressourcen bereitzustellen, bis dies erfolgreich ist oder Sie die Anfrage abbrechen. Wie Compute Engine VMs zu Ihrer MIG hinzufügt, hängt von der Erstellungsmethode ab:

  • Anfragen zur Größenanpassung von MIGs: Compute Engine fügt die angeforderten VMs der MIG alle auf einmal hinzu, wenn alle Ressourcen verfügbar sind. Wenn Sie VMs nicht vor dem Ende ihrer Ausführungsdauer löschen, löscht Compute Engine die VMs gleichzeitig. Weitere Informationen finden Sie unter Informationen zu Anfragen zur Größenanpassung in einer MIG.

  • MIGs mit einer Zielgröße: Compute Engine erstellt jede VM einzeln, wenn Kapazität verfügbar wird. Daher erstellt die MIG möglicherweise zuerst nur einen Teil der angeforderten VMs und fügt die verbleibenden VMs später hinzu, wenn die Kapazität es zulässt. Wenn Sie die VMs nicht vor dem Ende ihrer Ausführungsdauer löschen, löscht Compute Engine jede VM relativ zu ihrer eigenen Erstellungszeit. Weitere Informationen finden Sie unter MIG erstellen, die Flex-Start-VMs verwendet.

Begrenzte Laufzeit von Flex-Start-VMs

Wenn Sie eine Flex-Start-VM erstellen, müssen Sie Folgendes angeben:

  • Die VM-Laufzeit: Sie müssen angeben, wie lange die VMs ausgeführt werden können. Die Ausführungsdauer kann bis zu sieben Tage betragen. Wenn Ihre Arbeitslast vor Ablauf der Ausführungsdauer der VMs abgeschlossen ist, können Sie die eigenständigen VMs beenden oder löschen oder die VMs in einer MIG löschen, um unnötige Kosten zu vermeiden.

  • Die VM-Beendigungsaktion: Sie müssen auswählen, ob Compute Engine die VMs am Ende ihrer Laufzeit automatisch beendet oder löscht. Für Flex-Start-VMs in einer MIG können Sie nur angeben, dass VMs am Ende ihrer Ausführungsdauer gelöscht werden sollen.

Zuweisung von Flex-Start-VMs

Die Compute Engine versucht, Ihre Flex-Start-VMs je nach Verfügbarkeit so dicht wie möglich zu erstellen. Diese dichte Platzierung minimiert Netzwerk-Hops und bietet die niedrigste Latenz. Das ist ideal für Arbeitslasten, die eine konstante VM-Kommunikation erfordern, z. B. KI- oder ML-Arbeitslasten. Wenn Sie die Platzierung Ihrer Flex-Start-VMs steuern möchten, um zu vermeiden, dass sie unerwartet weit voneinander entfernt erstellt werden, gehen Sie so vor:

Kontingent

Wenn Sie Flex-Start-VMs erstellen oder neu starten möchten, muss Ihr Projekt ein ausreichendes Kontingent für Ressourcen auf Abruf für die angeforderten vCPUs, den Arbeitsspeicher und alle angehängten Beschleuniger oder lokalen SSD-Laufwerke haben.

Wenn Sie versuchen, eine Flex-Start-VM ohne ausreichendes Kontingent zu erstellen oder neu zu starten, tritt eines der folgenden Szenarien auf:

  • Anfragen zur VM-Erstellung: Die Anfrage bleibt ausstehend, bis Ihr Projekt ein ausreichendes Kontingent hat. Wenn Ihr Projekt nach Ablauf der Wartezeit nicht das erforderliche Kontingent hat, schlägt die Erstellungsanfrage fehl.

  • VM-Neustartanfragen: Die Anfrage schlägt sofort fehl.

Preise

Für Flex-Start-VMs gilt das Pay-as-you-go-Modell (PAYG). Weitere Informationen finden Sie unter DWS-Preise.

Beschränkungen

In den folgenden Abschnitten werden die Einschränkungen für Flex-Start-VMs beschrieben.

Einschränkungen für alle Flex-Start-VMs

Für alle Flex-Start-VMs gelten die folgenden Einschränkungen:

  • Flex-Start-VMs können nur die folgenden Maschinentypen verwenden:

    • Alle GPU-Maschinentypen außer A4X Max und A4X

    • TPU7x-, TPU v6e- und TPU v5p-Maschinentypen

    • H4D-Maschinentypen

  • Sie müssen Flex-Start-VMs mit dem Bereitstellungsmodell „Flex-Start“ erstellen.

  • Sie müssen angeben, ob Flex-Start-VMs am Ende ihrer Ausführungsdauer beendet oder gelöscht werden sollen. Verwenden Sie dazu die Felder instanceTerminationAction und maxRunDuration.

  • Sie müssen Flex-Start-VMs während Hostwartungsereignissen beenden.

  • Sie können Richtlinien für kompakte Platzierung nur auf eigenständige Flex-Start-VMs anwenden.

  • Sie können keine Richtlinien für verteilte Platzierung auf Flex-Start-VMs anwenden.

  • Sie können keine Reservierungen verwenden.

Einschränkungen für MIGs mit Flex-Start-VMs

Für alle MIGs mit Flex-Start-VMs gelten die folgenden Einschränkungen:

Wenn Sie Flex-Start-VMs mithilfe von MIG-Anfragen zur Größenanpassung erstellen möchten, lesen Sie außerdem die Einschränkungen für MIG-Anfragen zur Größenanpassung.

Nächste Schritte