Nutzungsoptionen für AI Hypercomputer

AI Hypercomputer bietet mehrere Nutzungsoptionen für den Erwerb von Rechenressourcen. Diese Optionen decken Anforderungen wie Arbeitslastdauer, Fehlertoleranz und Infrastrukturmodell ab. Informieren Sie sich über diese Optionen und wählen Sie die beste für Ihren Anwendungsfall aus.

Als Alternative zur manuellen Bewertung können Sie Gemini in derGoogle Cloud Console auffordern, die Nutzungsoptionen für Ihre Arbeitslast und Ihr Budget zu vergleichen. Weitere Informationen finden Sie unter KI-Infrastruktur mit Compute Advisor entwerfen.

Übersicht über die Nutzungsoptionen

In der folgenden Tabelle werden die Nutzungsoptionen anhand wichtiger Merkmale verglichen:

Nutzungsoption Bereitstellungsmodell Optimal für Kapazitätsgarantie Lebensdauer Auf Abruf Kontingent Rabatte Zuweisungsmodell
Flex-Start Flex-Start Arbeitslasten mit kurzer Ausführungsdauer von bis zu sieben Tagen, die auf Kapazität warten können. Best-Effort-Ansatz Bis zu sieben Tage Nein Kontingent auf Abruf Rabatt (bis zu 53 %) auf unterstützte Serien Dicht für Anfragen zur Größenanpassung von MIGs; Best-Effort für eigenständige VMs.
Spot-VMs Spot Fehlertolerante, kurzfristige allgemeine GPU-Arbeitslasten. Best-Effort-Ansatz Auf Abruf Ja Kontingent auf Abruf Stark rabattiert (bis zu 91 %) Standard
Standardreservierungen Standard Kritische allgemeine GPU-Arbeitslasten, die ein sehr hohes Maß an Kapazitätsgarantie erfordern. Sehr hoch Unbegrenzt Nein Kein Kontingent verbraucht Rabattierte Preise mit Rabatten für zugesicherte Nutzung (CUDs) Standard
Vorausschauende Reservierungen für Kapazitätsblöcke Reservierungsgebunden Umfangreiches, lang andauerndes Training auf geclusterten GPUs. Sehr hoch Unbegrenzt innerhalb des Reservierungszeitraums. Nein Das Kontingent wird vor der Bereitstellung erhöht. Rabatt (bis zu 53 %) mit Rabatten für zugesicherte Nutzung Vollbesetzt
Vorausschauende Reservierungen im Kalendermodus Reservierungsgebunden geclusterte GPU-Arbeitslasten für bis zu 90 Tage, die reservierte Kapazität erfordern. Sehr hoch Bis zu 90 Tage Nein Kein Kontingent verbraucht Rabattiert (bis zu 53 %) Vollbesetzt
On-Demand-VMs Standard allgemeine GPU-Arbeitslasten ohne bestimmte Dauer. Best-Effort-Ansatz Unbegrenzt Nein On-Demand-Kontingent Keine (Pay as you go) Standard

Die Verbrauchsoption, die Sie zum Bereitstellen Ihrer Infrastruktur verwenden, hängt davon ab, ob Sie allgemeine GPUs oder geclusterte GPUs verwenden.

  • Allgemeine GPU: Entwickelt für kleine Inferenz-, Entwicklungs- und Trainingsarbeitslasten. Dieser GPU-Typ bietet operative Flexibilität durch asynchrone Wartung. Die verfügbaren Optionen finden Sie unter Nutzungsoptionen für allgemeine GPUs.

  • Geclusterte GPU: Entwickelt für umfangreiche, eng gekoppelte Trainingsarbeitslasten und umfangreiche Inferenz-, RL- und Reasoning-Modellarbeitslasten, die eine hohe Kapazitätsgarantie und eine dichte Ressourcenzuweisung erfordern, um die Netzwerklatenz zu minimieren. Die verfügbaren Optionen finden Sie unter Nutzungsoptionen für geclusterte GPUs.

Nutzungsoptionen für allgemeine GPUs

Verwenden Sie die folgenden Nutzungsoptionen, um Kapazität für allgemeine GPUs zu erwerben.

Flex-Start verwenden

Wenn Sie Arbeitslasten mit kurzer Ausführungsdauer ausführen möchten, die dicht zugewiesene Ressourcen erfordern, können Sie mit Flex-Start Computing-Ressourcen für bis zu sieben Tage anfordern. Sobald Ressourcen verfügbar sind, erstellt Compute Engine die angeforderte Anzahl von VMs. Sie können eigenständige Flex-Start-VMs beenden, aber keine Flex-Start-VMs, die von einer verwalteten Instanzgruppe (MIG) über Anfragen zur Größenänderung erstellt werden. Flex-Start-VMs sind so lange vorhanden, bis Sie sie löschen oder bis Compute Engine die VMs am Ende ihrer Laufzeit löscht.

Geeignete Arbeitslasten

  • Vortraining kleiner Modelle
  • Modellabstimmung
  • HPC-Simulation (Hochleistungs-Computing)
  • Batchinferenz

Wichtige Merkmale

  • Bereitstellungsmodell: Flex-Start.
  • Breite Hardwareunterstützung: Sie können jeden geclusterten GPU-Maschinentyp anfordern, außer A5X, A4X Max und A4X.
  • Latenzoptimierung: Wenden Sie eine Richtlinie für kompakte Platzierung auf eigenständige VMs an, um die Netzwerklatenz zu minimieren.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 53 % auf vCPUs, Arbeitsspeicher, GPUs und lokale SSD-Laufwerke für die Maschinenreihen A4, A3, A2 und G4. Für andere unterstützte Serien gelten die Standard-On-Demand-Preise. Weitere Informationen finden Sie unter Flex-Start-Preise.

Spot verwenden

Für fehlertolerante Arbeitslasten können Sie Rechenressourcen sofort je nach Verfügbarkeit abrufen. Sie erhalten Ressourcen zum niedrigstmöglichen Preis. Die Compute Engine kann VMs jedoch jederzeit vorzeitig beenden, um Kapazitäten freizugeben.

Geeignete Arbeitslasten

  • Batchverarbeitung und Datenanalyse
  • Hochleistungs-Computing (HPC) und Mediencodierung

Wichtige Merkmale

  • Bereitstellungsmodell: Spot.
  • Breite Hardwareunterstützung: Sie können jeden geclusterten GPU-Maschinentyp anfordern, außer A5X, A4X Max und A4X.
  • Latenzoptimierung: Wenden Sie eine Richtlinie für kompakte Platzierung auf eigenständige VMs an, um die Netzwerklatenz zu minimieren.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 91 % auf vCPUs, Arbeitsspeicher, GPUs und lokale SSD-Laufwerke.

On demand verwenden

Tipp: Wenn Sie die Wahrscheinlichkeit erhöhen möchten, dass Sie allgemeine GPU-Kapazität erhalten, verwenden Sie Flex-Start oder Spot. Diese Verbrauchsoptionen bieten GPUs zu einem im Vergleich zu On-Demand-Preisen reduzierten Preis und sollen Ihnen helfen, die Wahrscheinlichkeit zu erhöhen, dass Sie stark nachgefragte Ressourcen wie GPUs erhalten.

Wenn Sie Arbeitslasten ohne bestimmte Dauer ausführen möchten, können Sie sofort Rechenressourcen basierend auf der Verfügbarkeit abrufen. VMs werden ausgeführt, bis Sie sie beenden oder löschen.

Geeignete Arbeitslasten

  • Inferenz und Modellbereitstellung
  • Prototyping und Experimente

Wichtige Merkmale

  • Bereitstellungsmodell: Standard.
  • Sofortige Verfügbarkeit: Erstellen Sie VM-Instanzen sofort, ohne auf die Kapazitätsplanung oder Genehmigung warten zu müssen.
  • Standardpreise: Sie bezahlen für Ressourcen zu den Standard-On-Demand-Preisen ohne langfristige Bindung.
  • Breite Hardwareunterstützung: Verwendung mit jeder unterstützten GPU-Maschinenserie im allgemeinen GPU-Pfad.

Standardreservierungen verwenden

Wenn Sie kritische allgemeine GPU-Arbeitslasten ausführen möchten, die ein sehr hohes Maß an Kapazitätsgarantie erfordern, können Sie Standardreservierungen verwenden.

Geeignete Arbeitslasten

  • Kritische Produktionsarbeitslasten
  • Arbeitslasten, die eine garantierte Kapazität erfordern

Wichtige Merkmale

  • Bereitstellungsmodell: Standard.
  • Kapazitätszusicherung: bietet eine sehr hohe Sicherheit, dass Ressourcen verfügbar sind.
  • Preise: Es gelten die Standardpreise, aber Sie können Rabatte für zugesicherte Nutzung (CUDs) anwenden, um zu sparen.

Nutzungsoptionen für geclusterte GPUs

Verwenden Sie die folgenden Verbrauchsoptionen, um Kapazität für geclusterte GPUs zu erwerben.

Vorausschauende Reservierungen für Kapazitätsblöcke verwenden

Wenn Sie lang laufende, große und verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen benötigen, können Sie eng zugewiesene Rechenressourcen für ein zukünftiges Datum und eine zukünftige Uhrzeit anfordern. Sie haben während dieses Zeitraums exklusiven Zugriff auf Ihre reservierten Ressourcen und können die Ressourcen zum Erstellen von VMs oder Clustern verwenden. Am Ende des Reservierungszeitraums führt Compute Engine die folgenden Aktionen aus:

  • Compute Engine löscht die Reservierung und alle zugehörigen leeren Speicherpools.
  • Basierend auf der Beendigungsaktion, die Sie für die VMs angeben, beendet oder löscht Compute Engine alle VMs, die die Reservierung verwenden.

Geeignete Arbeitslasten

  • Foundation Models vortrainieren
  • Inferenz für Foundation Models über mehrere Hosts hinweg

Wichtige Merkmale

  • Bereitstellungsmodell: Reservierungsgebunden.
  • Unterstützung für Premium-Maschinen: Reservieren Sie die Maschinentypen A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs).
  • Hyperdisk-Reservierungen: Sie können einen Hyperdisk-Speicherpool oder einen Hyperdisk-Exapool zusammen mit Rechenkapazität reservieren, um sicherzustellen, dass Ihre Arbeitslasten über ausreichende Speicherressourcen verfügen. Google platziert Hyperdisk-Pools am selben Ort wie Ihre Rechenknoten, um die Speicherleistung zu optimieren.
  • Anforderungen an Zusicherungen: Hängen Sie eine ressourcenbasierte Zusicherung für Reservierungen von einem Jahr oder länger an, um Rabatte auf Rechenressourcen und Hyperdisk-Pools zu erhalten.
  • Dynamische Änderungen: Aktivieren Sie Benachrichtigungen zur Notfallwartung von Hardware für die Nutzung von Vertex AI-Jobs nach Beginn des Zeitraums.

Vorausschauende Reservierungen im Kalendermodus verwenden

Wenn Sie kurz laufende verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen erfordern, können Sie Rechenressourcen für bis zu 90 Tage anfordern. Sie haben während dieser Zeit exklusiven Zugriff auf Ihre reservierten Ressourcen und können damit VMs oder Cluster erstellen. Am Ende des Reservierungszeitraums führt Compute Engine folgende Schritte aus:

  • Die Compute Engine löscht die Reservierung.
  • Basierend auf der Beendigungsaktion, die Sie für die VMs angeben, beendet oder löscht Compute Engine alle VMs, die die Reservierung verwenden.

Geeignete Arbeitslasten

  • Vortraining und Feinabstimmung
  • Umfangreiche Simulationen und Inferenzen

Wichtige Merkmale

  • Bereitstellungsmodell: Reservierungsgebunden.
  • Unterstützung für Maschinenserien: Reservieren Sie die Maschinentypen A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs).
  • Skalierbarkeitslimits: Sie können bis zu 80 VMs für maximal 90 Tage reservieren.
  • Optimierte Bereitstellung: Verwenden Sie ein reservierungsgebundenes Modell, um die Wahrscheinlichkeit zu erhöhen, GPUs zu erhalten.

Flex-Start verwenden

Verwenden Sie Flex-Start für Anfragen zur Größenänderung von geclusterten verwalteten Instanzgruppen (MIGs), wenn Sie bis zu sieben Tage lang dicht zugewiesene Ressourcen benötigen.

Geeignete Arbeitslasten

Flex-Start-VMs sind ideal für die Ausführung von Arbeitslasten, die jederzeit gestartet werden können, z. B.:

  • Vortraining kleiner Modelle
  • Modellabstimmung
  • HPC-Simulation (Hochleistungs-Computing)
  • Batchinferenz

Wichtige Merkmale

  • Bereitstellungsmodell: Flex-Start.
  • Ressourcenzuweisung: Dicht zugewiesen für Anfragen zur Größenänderung von MIGs.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 53 % auf vCPUs, Arbeitsspeicher, GPUs und alle angehängten lokalen SSD-Laufwerke für die Maschinenreihen A4, A3, A2 und G4. Für andere unterstützte Maschinenserien gelten die Standard-On-Demand-Preise.

Spot verwenden

Sie können Spot-VMs für dicht zugewiesene, fehlertolerante Arbeitslasten verwenden, um hohe Rabatte zu erhalten. Beachten Sie jedoch, dass Compute Engine VMs vorzeitig beenden kann, um Kapazität zurückzugewinnen.

Geeignete Arbeitslasten

  • Fehlertolerantes verteiltes Training
  • Batchverarbeitung

Wichtige Merkmale

  • Bereitstellungsmodell: Spot.
  • Vorzeitiges Beenden: Compute Engine kann Instanzen jederzeit vorzeitig beenden.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 91 % auf vCPUs, Arbeitsspeicher, GPUs und alle angeschlossenen lokalen SSD-Laufwerke.

Nächste Schritte