Optionen für die Nutzung von Beschleunigern für KI-/ML-Arbeitslasten in GKE

Auf dieser Seite werden die verfügbaren Techniken beschrieben, mit denen Sie Computing-Beschleuniger wie GPUs oder TPUs basierend auf den Anforderungen Ihrer KI/ML-Arbeitslasten erhalten können. Diese Techniken werden in GKE als Beschleuniger-Nutzungsoptionen bezeichnet. Wenn Sie die verschiedenen Nutzungsoptionen kennen, können Sie die Ressourcenauslastung optimieren, um eine unzureichende Auslastung von Ressourcen zu vermeiden, die Wahrscheinlichkeit zu erhöhen, dass Sie Ressourcen erhalten, und Kosten und Leistung in Einklang zu bringen.

Diese Seite richtet sich an Plattformadministratoren und -operatoren, die sich mit Machine-Learning-Entwicklern abstimmen, um die erforderlichen Ressourcen für die erfolgreiche Bereitstellung von KI-/ML-Arbeitslasten zu erhalten.

Weitere Informationen zu gängigen Rollen und Beispielaufgaben, auf die wir in Google Cloud -Inhalten verweisen, finden Sie unter Häufig verwendete GKE-Nutzerrollen und -Aufgaben.

Nutzungsoptionen

Sie können aus den folgenden Optionen auswählen, um Beschleuniger in GKE zu nutzen:

  • On-Demand: Sie nutzen TPUs oder GPUs in GKE, ohne im Voraus Kapazität zu reservieren. Bevor Sie Ressourcen anfordern, müssen Sie ein ausreichendes On-Demand-Kontingent für den spezifischen Typ und die Anzahl der Beschleuniger haben. On-Demand ist die flexibelste Nutzungsoption. Es gibt jedoch keine Garantie dafür, dass genügend On-Demand-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen.
  • Reservierungen: Sie reservieren Ressourcen für einen bestimmten Zeitraum. Eine Reservierung kann Folgendes sein:
    • Vorausschauende Reservierungen: Sie reservieren Ressourcen für einen bestimmten Zeitraum in der Zukunft, in der Regel für längere Zeiträume. Sie können während dieses Zeitraums auf die entsprechenden Ressourcen zugreifen. Für vorausschauende Reservierungen ist die Zusammenarbeit mit einem Technical Account Manager (TAM) erforderlich. Weitere Informationen finden Sie in den Leitfäden zu TPU und GPUs.
    • Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus): Sie fordern Kapazität für einen bestimmten Zeitraum an. Ein Kalenderberater schlägt verfügbare Termine vor. Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus) bieten mehr Flexibilität für kürzere Zeiträume und die Selfservice-Kapazitätssuche. Weitere Informationen finden Sie unter Anfragen für vorausschauende Reservierungen im Kalendermodus.
    • On-Demand-Reservierungen: Sie können eine On-Demand-Reservierung anfordern, die bereitgestellt wird, sobald die Kapazität verfügbar ist, ähnlich wie bei der On-Demand-Option. Solange die Reservierung aktiv ist, bezahlen Sie für die Ressourcen, unabhängig davon, ob Sie sie verwenden oder nicht.
  • Flex-Start: Sie sichern sich dicht zugewiesene Ressourcen für Arbeitslasten mit kurzer Ausführungsdauer ohne Reservierung. Sie fordern eine bestimmte Anzahl von GPUs oder TPUs an und die Compute Engine stellt sie bereit, wenn Kapazität verfügbar wird. Die GPUs oder TPUs werden bis zu sieben Tage lang ohne Unterbrechung ausgeführt. Weitere Informationen finden Sie unter Flex-Start-Bereitstellung.
  • Spot: Sie stellen Spot-VMs bereit, für die Sie erhebliche Rabatte erhalten. Spot-VMs können jedoch jederzeit mit einer 30-sekündigen Warnung vorzeitig beendet werden. Weitere Informationen finden Sie unter Spot-VMs.

Wenn Sie die Bereitstellung bei eingeschränkten Rechenressourcen optimieren möchten, können Sie diese Optionen mit ComputeClasses orchestrieren.

Beschleunigerkontingent in GKE

Kontingente und Systemlimits schränken die Nutzung von Google Cloud -Ressourcen ein, um die Ressourcenverfügbarkeit für alle Google Cloud -Nutzer zu gewährleisten. Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern. Systemlimits sind feste Werte, die nicht geändert werden können. Standardmäßig sind Projekte in der Regel nicht mit einem nennenswerten Beschleunigerkontingent ausgestattet. Sie müssen ein Kontingent für bestimmte Beschleunigertypen und Regionen anfordern und genehmigen lassen.

Beachten Sie die folgenden Merkmale, wenn Sie die Kontingente verwalten, die Ihre Arbeitslasten benötigen:

  • Sie müssen das für jede Verbrauchsoption erforderliche Kontingent anfordern. Informationen zum erforderlichen Kontingent für die einzelnen Verbrauchsoptionen finden Sie in der Tabelle Verbrauchsoption auswählen unter den entsprechenden „Kontingent“-Parametern. Wenn das Kontingent nicht ausreicht, schlagen Versuche, Cluster oder Knotenpools zu erstellen oder Arbeitslasten bereitzustellen, die Beschleuniger erfordern, mit dem Fehler Quota exceeded fehl.

  • Sie müssen ein Kontingent anfordern, wenn Sie benutzerdefinierte ComputeClasses in Autopilot verwenden. Die Knoten, die zur Erfüllung der ComputeClass-Anforderungen bereitgestellt werden, verbrauchen weiterhin das Kontingent Ihres Projekts für die angegebenen Beschleuniger.

  • Google Cloud Für Konten im kostenlosen Testzeitraum gelten Einschränkungen bei der Beantragung von Kontingenterhöhungen für hochwertige Ressourcen wie GPUs und TPUs. Führen Sie ein Upgrade auf ein kostenpflichtiges Konto durch, um Zugriff auf das Beschleunigerkontingent zu erhalten.

Wenn Sie Kontingente prüfen und anfordern möchten, rufen Sie in der Google Cloud Console die Seite Kontingente auf. Sie können nach Beschleunigerkontingenten filtern und Erhöhungen anfordern.

Nutzungsoption auswählen

Berücksichtigen Sie die folgenden Punkte, um die beste Nutzungsoption für Ihre KI/ML-Arbeitslast auszuwählen:

  • Arbeitslasttyp: Berücksichtigen Sie den Typ der Arbeitslast, die Sie implementieren möchten. Die GKE-Anforderungen variieren je nachdem, ob Sie eine Trainings- oder eine Inferenzarbeitslast ausführen:
    • Training: Erfordert leistungsstarke Ressourcen mit viel Arbeitsspeicher. Trainingsarbeitslasten haben in der Regel eine klar definierte Lebensdauer. Diese Arbeitslasten sind in der Regel einfacher zu planen, da sie weniger anfällig für plötzliche Spitzen beim Ressourcenverbrauch sind.
    • Inferenz: Erfordert in der Regel Beschleuniger, die für Skalierbarkeit und niedrigere Kosten optimiert sind. Inferenzarbeitslasten können bei plötzlichen Spitzen im Ressourcenverbrauch erheblichen Beschleunigerspeicher erfordern.
  • Lebensdauer basierend auf der Implementierungsphase: Berücksichtigen Sie Ihr Geschäftsziel, wenn Sie einen Proof of Concept (POC), eine Plattformbewertung, eine Anwendungsentwicklung oder -tests, eine Produktionsreife oder eine Optimierung durchführen.
  • Bereitstellungszeit: Bestimmen Sie, ob Ihre Arbeitslast sofort ausgeführt werden muss oder ob sie in der Zukunft ausgeführt werden kann. Wenn eine zukünftige Ausführung möglich ist, bestimmen Sie, wie flexibel die Startzeit sein kann.
  • Ausgewogenheit zwischen Kosten und Leistung: Bewerten Sie die Leistungsanforderungen Ihrer Arbeitslast und die Budgetbeschränkungen, um den kostengünstigsten Beschleuniger auszuwählen. Wägen Sie die Kosten der Beschleuniger gegen ihre Leistungsmerkmale ab. Denken Sie daran, dass neue Beschleuniger möglicherweise ein besseres Preis-Leistungs-Verhältnis bieten.

Eine Option für die Aufnahme auswählen

Wählen Sie anhand der folgenden Tabelle eine Option für die Nutzung aus:

Nutzungsoption Bereitstellungsparameter Unterstützte Beschleuniger Details Beispielarbeitslasten
On-Demand-Reservierungen
  • Bereitstellungszeit: Sofort (mit genehmigter Reservierung)
  • Lebensdauer: Langfristig (pro Reservierung)
  • Beliebige GPU (außer A5X, A4X Max, A4X, A4 oder A3 Ultra)
  • Beliebige TPU
  • Kosten: Ihnen wird der gesamte Reservierungszeitraum in Rechnung gestellt.
  • Kontingent: Das Kontingent wird automatisch erhöht, bevor die Kapazität bereitgestellt wird.
  • Große Arbeitslasten mit langer Ausführungszeit, z. B. das Vortraining von Foundation Models oder Inferenz mit mehreren Hosts.
  • Produktionsarbeitslasten.
Vorausschauende Reservierungen
  • Bereitstellungszeit: Sofort (mit genehmigter Reservierung)
  • Lebensdauer: Langfristig (pro Reservierung)
  • G2
  • A2
  • A3 High mit 8 GPUs
  • A3 Mega
  • A3 Edge
  • Kosten: Ihnen wird der gesamte Reservierungszeitraum in Rechnung gestellt.
  • Kontingent: Das Kontingent wird automatisch erhöht, bevor die Kapazität bereitgestellt wird.
  • Große Arbeitslasten mit langer Ausführungszeit, z. B. das Vortraining von Foundation Models oder Inferenz mit mehreren Hosts.
  • Produktionsarbeitslasten.
Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus)
  • Bereitstellungszeit: Sofort (mit genehmigter Reservierung)
  • Lebensdauer: bis zu 90 Tage
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High mit 8 GPUs
  • A3 Edge
  • Ironwood (TPU7x)
  • TPU v6e
  • TPU v5p
  • TPU v5e
  • Kosten: rabattiert (bis zu 53 %). Ihnen wird der Reservierungszeitraum in Rechnung gestellt.
  • Kontingent: Es wird kein Kontingent berechnet.
  • Kurz laufende verteilte Arbeitslasten wie Modellfeinabstimmung, Simulationen oder Batch-Inferenz, bei denen eine genaue Startzeit erforderlich ist.
  • Arbeitslasten für Plattformbewertung, Benchmarking oder Optimierungstests.
Flex-Start-Bereitstellungsmodus
  • Bereitstellungszeit: On-Demand (je nach Verfügbarkeit)
  • Lebensdauer: Bis zu 7 Tage pro Zuweisung
  • Alle GPU-Familien außer A5X, A4X Max oder A4X
  • Alle TPU-Versionen
  • Batch-Arbeitslasten wie das Training kleiner Modelle, Feinabstimmung oder skalierbare Inferenz, bei denen die Startzeit flexibel ist.
  • Arbeitslasten für POCs oder Integrationstests.
Spot-VMs
  • Bereitstellungszeit: On-Demand (je nach Verfügbarkeit)
  • Lebensdauer: Variabel, kann mit einer 30-sekündigen Warnung vorzeitig beendet werden
  • Alle GPU-Familien außer A5X, A4X Max oder A4X
  • Alle TPU-Versionen
  • Fehlertolerante Arbeitslasten mit niedrigerer Priorität wie CI/CD, Datenanalyse oder Hochleistungs-Computing (HPC).
  • Arbeitslasten, die häufig unterbrochen werden können.
On-Demand (GPUs oder TPUs)
  • Bereitstellungszeit: Sofort (je nach Verfügbarkeit)
  • Lebensdauer: Keine Beschränkung
  • Alle GPU-Familien außer A5X, A4X Max, A4X, A4, A3 Ultra oder A3 High mit weniger als 8 GPUs
  • Alle TPU-Versionen
  • Kosten: Sie zahlen nach Nutzung.
  • Kontingent: Es wird das On-Demand-Kontingent für GPUs oder TPU berechnet.
  • Arbeitslasten für allgemeine Zwecke, die sofort ausgeführt werden müssen.
Best Practice:

Wenn Sie die Wahrscheinlichkeit erhöhen möchten, dass Sie stark nachgefragte Ressourcen wie GPU- oder TPU-VMs erhalten, empfehlen wir die Verwendung von Flex-Start-VMs, Spot-VMs, vorausschauenden Reservierungen im Kalendermodus oder vorausschauenden Reservierungen für Kapazitätsblöcke. Diese Verbrauchsoptionen sollen Ihnen helfen, die Wahrscheinlichkeit zu erhöhen, dass Sie stark nachgefragte Ressourcen zu einem ermäßigten Preis erhalten. Verwenden Sie On-Demand nur, wenn Sie keine anderen Verbrauchsoptionen verwenden können.

Kosten und Arbeitslastbereitstellung mit ComputeClasses optimieren

Mit ComputeClasses können Sie Ihre Strategie für die Nutzung von Beschleunigern dynamisch verwalten und automatisieren, indem Sie eine prioritätsbasierte Liste von Fallback-Konfigurationen definieren. Bei Hochskalierungsvorgängen versucht GKE, Knoten gemäß der von Ihnen festgelegten Prioritätenhierarchie bereitzustellen.

In der folgenden Liste werden die mit ComputeClasses verfügbaren Verbrauchsoptionen und deren Konfiguration beschrieben. Vollständige YAML-Manifeste finden Sie unter Beispiele für Nutzungsoptionen mit ComputeClasses.

  • Reservierungen: Sie können den Namen der Reservierung im Feld reservations in Ihrer ComputeClass definieren. So wird sichergestellt, dass GKE zuerst versucht, Ihre reservierte Kapazität zu nutzen, bevor ein Fallback erfolgt.
  • Bereitstellungsmodus „Flex-Start“: Aktivieren Sie die flexible Warteschlange mit dem Feld flexStart in Ihrer ComputeClass und konfigurieren Sie die Dauer für den Ersatz von Fallback-Knoten mit den Feldern nodeRecycling.
  • Spot-VMs: Weisen Sie GKE an, Spot-VMs zu verwenden, wenn Knoten für diese Prioritätsregel bereitgestellt werden. Setzen Sie dazu das Feld spot auf true.
  • On-Demand-Kapazität kombiniert mit einer multizonalen Standortrichtlinie: Deklarieren Sie die Standardmaschinenkonfigurationen in der Prioritätenliste und konfigurieren Sie eine Fallback-Standortstrategie mit den location-Feldern.

ComputeClasses unterstützen keine vorausschauenden Reservierungen oder vorausschauenden Reservierungen für bis zu 90 Tage (im Kalendermodus).

Beispiele für Nutzungsoptionen mit ComputeClasses

In den folgenden Abschnitten finden Sie Konfigurationsbeispiele für diese Strategien.

Reservierungen mit Fallback-Konfiguration

Diese Konfiguration eignet sich am besten für Arbeitslasten, die Unterbrechungen tolerieren können, und nicht für Arbeitslasten, die von nichtflüchtigen Daten abhängen oder bis zum Ende ausgeführt werden müssen.

Diese Konfiguration richtet eine robuste Fallback-Strategie mit den folgenden Schritten ein:

  1. Reservierungen zuerst nutzen: GKE versucht, Knoten mit Ihrer spezifischen, im Voraus erworbenen Kapazitätsreservierung bereitzustellen.
  2. Fallback auf Flex-Start: Wenn die Reservierungskapazität vollständig ausgeschöpft ist, greift GKE auf kurzfristige, rabattierte Flex-Start-Ressourcen zurück.
  3. Fallback auf On-Demand: Als letztes Fallback stellt die GKE standardmäßige On-Demand-Ressourcen bereit.
  4. Zurück zu Reservierungen migrieren: Wenn Sie die aktive Migration aktivieren, wird GKE angewiesen, Arbeitslasten automatisch zu konsolidieren und zurück zu den höher priorisierten Reservierungsknoten zu migrieren, sobald Kapazität verfügbar ist. Diese Migration kann zu Unterbrechungen führen.

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: ha-gpu-fallback
    spec:
      activeMigration:
        optimizeRulePriority: true # Migrate workloads back to reservation when capacity releases
      priorities:
      # Priority 1: Consume specific corporate reservation first
      - gpu:
          type: nvidia-l4
          count: 1
        reservations:
          affinity: Specific
          specific:
          - name: reserved-l4-pool
            project: my-project
            zones: [us-central1-a]
      # Priority 2: Fallback to Flex Start (short-duration allocation)
      - gpu:
          type: nvidia-l4
          count: 1
        flexStart:
          enabled: true
      # Priority 3: Fallback to On-demand resources
      - gpu:
          type: nvidia-l4
          count: 1
    

Flex-Start-Bereitstellungsmodus mit Konfiguration für das Knotenrecycling

Mit dieser Konfiguration wird kurzfristige, rabattierte Kapazität mit kontinuierlicher Verfügbarkeit über die folgenden Schritte verwaltet:

  1. Flex-Start-VMs anfordern: GKE fordert VM-Instanzen aus der Flex-Start-Warteschlange an, die bis zu sieben Tage lang ohne Unterbrechung ausgeführt werden.
  2. Ablauf der Lease überwachen: GKE verfolgt die verbleibende Dauer der aktiven Flex-Start-Knoten.
  3. Knotenrecycling auslösen: 20 Minuten (1.200 Sekunden) vor Ablauf der VM-Lease stellt GKE automatisch einen Ersatzknoten bereit.
  4. Arbeitslasten neu planen: Arbeitslasten werden auf den neuen Knoten migriert und die Ausführung wird ohne Dienstunterbrechung fortgesetzt.

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: flex-node-recycling
    spec:
      priorities:
      - gpu:
          type: nvidia-l4
          count: 1
        flexStart:
          enabled: true
          nodeRecycling:
            leadTimeSeconds: 1200 # Automatically launch replacement node before VM lease expires
    

Konfiguration der Richtlinie für die Zuweisung mehrerer Zonen

Bei dieser Konfiguration werden die Lieferbeschränkungen für einzelne Zonen mit den folgenden Schritten umgangen:

  1. Zielzonen definieren: Sie listen mehrere Sicherungszonen (z. B. us-central1-a, us-central1-b und us-central1-c) in den Prioritätsregeln auf.
  2. Zielparameter erweitern: Sie legen die Standortrichtlinie auf ANY fest. Mit dieser Einstellung wird Cluster Autoscaler angewiesen, in allen angegebenen Zonen nach der angeforderten Kapazität zu suchen.
  3. Zonale Verfügbarkeit analysieren: Beim Hochskalieren scannt GKE die angegebenen Zonen.
  4. In verfügbaren Zonen bereitstellen: GKE stellt die angeforderten Arbeitslastknoten sofort in der Zielzone bereit, die über die entsprechende Kapazität verfügt. Diese Strategie verhindert Blockaden in Zuweisungswarteschlangen.

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      name: broad-zonal-serving
    spec:
      priorities:
      - gpu:
          type: nvidia-l4
          count: 1
        location:
          zones: [us-central1-a, us-central1-b, us-central1-c]
          locationPolicy: ANY # Provision accelerator in any target zone with supply
    

Nächste Schritte