Übersicht zum Erstellen einer Instanz mit angehängten GPUs

Dieses Dokument bietet eine Übersicht über die Schritte, die zum Erstellen einer Compute Engine-Instanz mit angehängten Grafikprozessoren (GPUs) erforderlich sind. Sie können GPUs verwenden, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung zu beschleunigen.

Sie können auch einige GPU-Maschinentypen auf AI Hypercomputer verwenden. AI Hypercomputer ist ein Supercomputing-System, das Ihre Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) unterstützt. Diese Option wird empfohlen, um eine eng zugewiesene, leistungsoptimierte Infrastruktur zu erstellen, die Integrationen für Google Kubernetes Engine- (GKE) und Slurm-Scheduler bietet.

Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.

Wählen Sie das GPU-Modell aus.

Eine Liste der verfügbaren GPU-Modelle finden Sie unter GPU-Plattformen. Notieren Sie sich den Maschinentyp, der für das ausgewählte GPU-Modell unterstützt wird.

Für jedes Modell kann es auch hilfreich sein, Folgendes zu prüfen:

Beschränkungen

Zusätzlich zu den Einschränkungen für alle Instanzen mit GPUs gelten für jede Maschinenserie mit angehängten GPUs die folgenden Einschränkungen:

A4X Max-Instanzen

A4X-Instanzen

A4-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A4-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A4-Maschinentyp verwenden.
  • Sie können einen A4-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A4-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Sie können den Maschinentyp einer Instanz nicht in einen A4-Maschinentyp oder von einem A4-Maschinentyp in einen anderen Maschinentyp ändern. Sie müssen eine neue Instanz mit diesem Maschinentyp erstellen.
  • A4-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf einem A4-Maschinentyp ausführen.
  • Wenn Sie bei A4-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4-Maschinentypen anhängen.

A3 Ultra-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A3-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A3-Ultra-Maschinentyp verwenden.
  • Sie können einen A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A3 Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für den A3 Ultra-Maschinentyp nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder von diesem Maschinentyp zu einem anderen wechseln möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.
  • A3 Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Wenn Sie bei A3 Ultra-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.

A3 Mega-Instanzen

A3 High-Instanzen

A3 Edge-Instanzen

A2-Standardinstanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Standardmaschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Standardmaschinentyp verwenden.
  • Sie können einen A2-Standard-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte Instanzen ändern.
  • Sie können das Windows-Betriebssystem nicht mit dem Maschinentyp a2-megagpu-16g verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie ein Windows-Betriebssystem verwenden.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Standardmaschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

A2 Ultra-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Ultra-Maschinentyp verwenden.
  • Sie können einen A2-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue Instanz erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine Instanz benötigen, die einen A2-Ultra-Maschinentyp verwendet, müssen Sie eine neue Instanz erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

G4-Instanzen

G2-Instanzen

N1+GPU-Instanzen

Informationen zu den Einschränkungen für N1-Instanzen mit GPUs finden Sie unter Features für die N1-Maschinenserie und GPUs für die N1-Maschinenserie.

Betriebssystem auswählen

Wenn Sie GPUs für maschinelles Lernen nutzen, verwenden Sie eines der folgenden Betriebssysteme:

  • Für KI-Arbeitslasten optimierte Images. Sie können Ubuntu- und Rocky-Images verwenden, die in beschleunigungsoptimierten Versionen mit vorinstallierten NVIDIA-Treibern und CUDA Toolkit verfügbar sind. Weitere Informationen finden Sie in der AI Hypercomputer-Dokumentation unter Betriebssystem-Images.

  • Deep Learning VM Images Auf jeder Deep Learning-VM ist ein GPU-Treiber-Installationstool vorinstalliert und es enthält Pakete wie TensorFlow und PyTorch. Sie können die Deep-Learning-VM auch für allgemeine GPU-Arbeitslasten verwenden. Weitere Informationen zu den verfügbaren Images und den auf diesen Images installierten Paketen finden Sie in der Deep Learning VM-Dokumentation unter Image auswählen.

Alternativ können Sie ein öffentliches oder benutzerdefiniertes Image verwenden. Für die meisten öffentlichen Images oder benutzerdefinierten Images müssen Sie NVIDIA-Treiber und das CUDA-Toolkit installieren. Informationen dazu, welche Treiber für Ihr GPU-Modell geeignet sind, finden Sie unter GPU-Treiber installieren.

GPU-Kontingent prüfen

Zum Schutz der Systeme und Nutzer von Compute Engine haben neue Projekte ein globales GPU-Kontingent, das die Gesamtzahl der GPUs begrenzt, die Sie in einer unterstützten Zone erstellen können. Informationen zum GPU-Kontingent finden Sie unter GPU-Kontingent.

Fordern Sie eine Kontingentaufstockung an, falls Sie Ihr GPU-Kontingent erhöhen müssen. Wenn Sie ein GPU-Kontingent anfordern, müssen Sie ein Kontingent für die GPU-Typen, die Sie in den einzelnen Regionen erstellen möchten, sowie ein zusätzliches globales Kontingent für die Gesamtzahl der GPUs aller Typen in allen Zonen anfordern.

Wenn Ihr Projekt einen bestehenden Abrechnungsverlauf hat, wird es nach Ihrer Anfrage automatisch Kontingente erhalten.

GPU-Instanzen und Zuteilungskontingente für Ressourcen auf Abruf

Für Instanzen, die das Standardbereitstellungsmodell verwenden, können in der Regel keine Zuteilungskontingente für VMs auf Abruf verwendet werden. Kontingente für VMs auf Abruf sind für temporäre Arbeitslasten vorgesehen und in der Regel verfügbarer. Wenn Ihr Projekt kein Kontingent auf Abruf hat und Sie noch nie ein solches angefordert haben, verbrauchen alle Instanzen in Ihrem Projekt Standardzuteilungskontingente.

Wenn Sie ein Zuteilungskontingent auf Abruf anfordern, müssen Instanzen, die das Standardbereitstellungsmodell verwenden, alle folgenden Kriterien erfüllen, um das Zuteilungskontingent auf Abruf zu verbrauchen:

Wenn Sie eine Zuteilung auf Abruf für zeitgebundene GPU-Arbeitslasten verwenden, profitieren Sie sowohl von der unterbrechungsfreien Laufzeit als auch von der hohen Verfügbarkeit des Zuteilungskontingents auf Abruf. Weitere Informationen finden Sie unter Kontingente für Ressourcen auf Abruf.

Instanz mit angehängten GPUs erstellen

So erstellen Sie eine Instanz mit angehängten GPUs:

  1. Erstellen Sie die Instanz. Die zum Erstellen einer Instanz verwendete Methode hängt von der Arbeitslast ab, die Sie ausführen möchten.

    GPU-Maschinentypen
    KI- und ML-Arbeitslasten Grafiken und Visualisierung Andere GPU-Arbeitslasten
    Beschleunigeroptimierte Maschinentypen der A-Serie sind für Arbeitslasten aus den Bereichen Hochleistungs-Computing (HPC), künstliche Intelligenz (KI) und maschinelles Lernen (ML) konzipiert.

    Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt.

    		 Beschleunigungsoptimierte Maschinentypen der G-Serie sind für Arbeitslasten wie NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops konzipiert. Diese Maschinentypen unterstützen NVIDIA RTX Virtual Workstations (vWS).

    Die G-Serie kann auch für das Training kleinerer Modelle und für die Inferenz auf einem einzelnen Host verwendet werden.

    Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt.

    Zur Optimierung der Kosten für Arbeitslasten, die keine vollständige GPU erfordern, sind G4-Maschinentypen verfügbar, an die weniger als eine GPU angehängt ist. Diese Maschinentypen sind mit 1/2, 1/4 oder 1/8 einer Standard-GPU ausgestattet.

    An N1-Maschinentypen für allgemeine Zwecke, mit Ausnahme der N1-Maschinentypen mit gemeinsam genutztem Kern (f1-micro und g1-small), können Sie eine ausgewählte Gruppe von GPU-Modellen anhängen. Einige dieser GPU-Modelle unterstützen auch NVIDIA RTX Virtual Workstations (vWS).

    Wählen Sie für KI-, ML- und HPC-Arbeitslasten eine der folgenden Optionen aus:

    		 Informationen zum Erstellen einer G2- (L4) oder G4-Instanz (RTX PRO 6000) finden Sie unter G2- oder G4-Instanz erstellen. Informationen zum Erstellen einer N1-Instanz mit angehängten NVIDIA T4-, P4- oder V100-GPUs finden Sie unter N1-Instanz mit angehängten GPUs erstellen.

  2. Damit die Instanz die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer Instanz installieren. Wenn Sie eine virtuelle NVIDIA RTX-Workstation (früher NVIDIA GRID) aktiviert haben, installieren Sie einen Treiber für eine virtuelle Workstation.

Nächste Schritte