GPU für Cloud Run-Jobs konfigurieren

Sie können GPUs mit Ihren Cloud Run-Jobs für KI- und andere rechenintensive Arbeitslasten verwenden. Beim Training eignen sich GPUs hervorragend für ressourcenintensive LLM-Aufgaben wie Inferenz, Videoverarbeitung und Hintergrundgrafikjobs. Google bietet die NVIDIA RTX PRO 6000 Blackwell-GPU mit 96 GB GPU-Speicher (VRAM) für eine vollständige GPU oder 48 GB GPU-Speicher (VRAM) für eine fraktionale (0,5) GPU sowie die NVIDIA L4-GPU mit 24 GB GPU-Speicher (VRAM). Der GPU-Arbeitsspeicher ist vom Instanzspeicher getrennt.

Wenn Sie ein LLM verwenden, sollten Sie sich auch die Best Practices: Cloud Run-Jobs mit GPU ansehen.

Die GPU in Cloud Run ist vollständig verwaltet. Es sind keine zusätzlichen Treiber oder Bibliotheken erforderlich. Cloud Run-GPUs bieten On-Demand-Verfügbarkeit ohne erforderliche Reservierungen, ähnlich wie bei On-Demand-CPUs und On-Demand-Arbeitsspeicher in Cloud Run.

Cloud Run-Containerinstanzen mit einer NVIDIA RTX PRO 6000 Blackwell- oder L4-GPU starten in etwa 5 Sekunden. Ihr Container kann die GPU verwenden, sobald der Startvorgang abgeschlossen ist.

Sie können bis zu eine GPU pro Cloud Run-Containerinstanz konfigurieren. Wenn Sie Sidecar-Container verwenden, kann die GPU nur an einen Container angehängt werden.

Unterstützte GPU-Typen

Cloud Run unterstützt zwei GPU-Typen:

  • NVIDIA RTX PRO 6000 Blackwell-GPU:

    • Vollständige GPU mit der aktuellen NVIDIA-Treiberversion 580.x.x (13.0). Diese GPU erfordert mindestens 20 CPUs und 80 GiB Arbeitsspeicher.
    • Bruch-GPU mit der aktuellen NVIDIA-Treiberversion 580.x.x (13.0), Typ: GRID. Für eine GPU-Fraktion (0.5-GPU, 48 GB VRAM) sind 10, 12, 14 oder 16 CPUs und mindestens 40 GiB Arbeitsspeicher (bis zu 4 GiB pro CPU) erforderlich.
  • L4-GPU mit der aktuellen NVIDIA-Treiberversion: 580.x.x (13.0). Für L4-GPUs müssen Sie mindestens 4 CPUs und 16 GiB Arbeitsspeicher verwenden. GPU-Teilung wird auf L4-GPUs nicht unterstützt.

Geteilte GPU

Mit der GPU-Partitionierung können Sie die GPU-Zuweisung für Modelle reduzieren, die keine vollständige GPU benötigen, und gleichzeitig von der fortschrittlichen Architektur und Leistung der GPU profitieren. Mit einer GPU-Teilnutzung können Sie eine kostengünstigere Lösung für Inferenzarbeitslasten nutzen, die nicht die volle Leistung einer NVIDIA RTX PRO 6000 Blackwell-GPU benötigen. Informationen zu Einschränkungen bei GPU-Bruchteilen finden Sie unter Bekannte Probleme.

Unterstützte Regionen

Die folgenden Regionen werden von der NVIDIA RTX PRO 6000 Blackwell-GPU unterstützt:

Geteilte NVIDIA RTX PRO 6000 Blackwell-GPUs (Vorabversion) sind in den folgenden Regionen verfügbar:

Die folgenden Regionen werden von der L4-GPU unterstützt:

  • asia-southeast1 (Singapur)
  • asia-south1 (Mumbai) . Diese Region ist nur auf Einladung verfügbar. Wenden Sie sich an Ihr Google-Konten-Team, wenn Sie an dieser Region interessiert sind.
  • europe-west1 (Belgien) Blattsymbol Niedriger CO2-Ausstoß
  • europe-west4 (Niederlande) Blattsymbol Niedriger CO2-Ausstoß
  • us-central1 (Iowa) Blattsymbol Niedriger CO2-Ausstoß . Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google-Konten-Team, wenn Sie an dieser Region interessiert sind.
  • us-east4 (Northern Virginia) . Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google-Konten-Team, wenn Sie an dieser Region interessiert sind.

Auswirkungen auf die Kosten

Weitere Informationen zu GPU-Preisen finden Sie unter Cloud Run-Preise. Beachten Sie die folgenden Anforderungen und Überlegungen:

  • Für GPUs für Jobs gelten die Preise ohne zonale Redundanz.
  • Die CPU- und Arbeitsspeicherkonfigurationen Ihrer Ressource wirken sich auf die Preise aus.
  • Die GPU wird für die gesamte Dauer des Instanzlebenszyklus in Rechnung gestellt.

Nicht zonale GPU-Redundanz

Das Feature „Cloud Run-Jobs“ bietet nur für GPU-fähige Instanzen nicht-zonale Redundanzunterstützung. Wenn die nicht zonale Redundanz aktiviert ist, versucht Cloud Run, ein Failover für GPU-fähige Jobs auf Best-Effort-Basis durchzuführen. Cloud Run leitet Jobausführungen nur dann an andere Zonen weiter, wenn zu diesem Zeitpunkt genügend GPU-Kapazität verfügbar ist. Bei dieser Option wird keine reservierte Kapazität für Failover-Szenarien garantiert, aber die Kosten pro GPU-Sekunde sind niedriger.

Weitere Informationen zum Aktivieren der nicht zonalen Redundanz finden Sie unter Cloud Run-Job mit GPU konfigurieren.

Kontingenterhöhung anfordern

Das Kontingent für die Cloud Run-nvidia-rtx-pro-6000-GPU wird in Milli-GPUs gewährt. Eine vollständige (1) nvidia-rtx-pro-6000-GPU verbraucht 1.000 Milli-GPUs des Kontingents und eine anteilige (0.5) nvidia-rtx-pro-6000-GPU verbraucht 500 Milli-GPUs des Kontingents. Projekten, die zum ersten Mal eine nvidia-rtx-pro-6000-GPU in einer Region verwenden, wird automatisch ein Kontingent von 3.000 MilliGPU (zonale Redundanz deaktiviert) gewährt, wenn die erste Bereitstellung erstellt wird. Das entspricht 3 vollständigen GPUs oder 6 Teil-GPUs (0.5). Projekten, die zum ersten Mal eine Cloud Run-nvidia-l4-GPU in einer Region verwenden, wird automatisch ein Kontingent von 3 GPUs (zonale Redundanz deaktiviert) gewährt, wenn die erste Bereitstellung erstellt wird.

Diese automatische Kontingentgewährung hängt von der Verfügbarkeit Ihrer CPU- und Arbeitsspeicherkapazität ab. Dadurch wird die Anzahl der GPUs begrenzt, die zu einem bestimmten Zeitpunkt in allen Diensten, Jobs und Worker-Pools des Projekts aktiv sein können.

Wenn Sie zusätzliche Cloud Run-GPUs für Jobs benötigen, fordern Sie eine Kontingenterhöhung an.

Hinweis

In der folgenden Liste werden die Anforderungen und Einschränkungen für die Verwendung von GPUs in Cloud Run beschrieben:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Aktivieren Sie die Cloud Run API, falls sie noch nicht aktiviert ist.

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

  4. Informationen zur Optimierung der Leistung bei der Verwendung von Cloud Run-Jobs mit GPU finden Sie unter Best Practices: Cloud Run-Jobs mit GPU.
  5. Achten Sie darauf, dass Ihr Job die Mindestanforderungen an Arbeitsspeicher und CPU für den von Ihnen verwendeten GPU-Typ erfüllt.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Jobs zuzuweisen, um die zum Konfigurieren von Cloud Run-Jobs erforderlichen Berechtigungen zu erhalten:

  • Cloud Run-Entwickler (roles/run.developer) – Cloud Run-Job
  • Dienstkontonutzer (roles/iam.serviceAccountUser) – die Dienstidentität

Eine Liste der IAM-Rollen und -Berechtigungen im Zusammenhang mit Cloud Run finden Sie unter IAM-Rollen für Cloud Run und IAM-Berechtigungen für Cloud Run. Wenn Ihr Cloud Run-Job mitGoogle Cloud APIs wie Cloud-Clientbibliotheken verknüpft ist, lesen Sie die Konfigurationsanleitung für Dienstidentitäten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Bereitstellungsberechtigungen und Zugriff verwalten.

Cloud Run-Job für die Verwendung einer GPU konfigurieren

Sie können einen Cloud Run-Job so konfigurieren, dass er eine GPU verwendet. Verwenden Sie dazu dieGoogle Cloud Console, die gcloud CLI oder YAML:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Run“ auf:

    Zu Cloud Run

  2. Wählen Sie im Cloud Run-Navigationsmenü die Option Jobs aus:

    1. Wenn Sie einen neuen Job erstellen, klicken Sie auf Container bereitstellen, um die Seite mit den anfänglichen Jobeinstellungen auszufüllen.

    2. Wenn Sie einen vorhandenen Job konfigurieren, wählen Sie den Job aus und klicken Sie dann auf Jobkonfiguration ansehen und bearbeiten.

  3. Klicken Sie auf Container, Verbindungen, Sicherheit, um die Seite mit den Jobattributen zu maximieren.

  4. Klicken Sie auf den Tab Container.

  5. Konfigurieren Sie Arbeitsspeicher und CPU gemäß den Anforderungen unter Unterstützte GPU-Typen.

  6. Klicken Sie das Kästchen GPU an.

  7. Wählen Sie den GPU-Typ und die Anzahl der GPUs aus.

  8. Klicken Sie auf Erstellen oder Aktualisieren.

gcloud

Wenn Sie die nicht zonale Redundanz aktivieren möchten, müssen Sie --no-gpu-zonal-redundancy angeben. Dies ist erforderlich, um GPUs mit Jobs zu verwenden.

Verwenden Sie den Befehl gcloud run jobs create, um einen Job mit aktivierter GPU zu erstellen:

    gcloud run jobs create JOB \
      --image=IMAGE_URL \
      --gpu=GPU_NUMBER \
      --gpu-type=GPU_TYPE \
      --no-gpu-zonal-redundancy

Ersetzen Sie Folgendes:

  • JOB: Der Name Ihres Cloud Run-Jobs.
  • IMAGE_URL: Ein Verweis auf das Container-Image, z. B. us-docker.pkg.dev/cloudrun/container/job:latest.
  • GPU_NUMBER: die Anzahl der anzuhängenden GPUs (1 für eine vollständige GPU oder 0.5 für eine anteilige GPU).
  • GPU_TYPE: Der GPU-Typ. Geben Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU nvidia-rtx-pro-6000 ein. Geben Sie für die L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).

Verwenden Sie den Befehl gcloud run jobs update, um die GPU-Konfiguration für einen Job zu aktualisieren:

    gcloud run jobs update JOB \
      --image IMAGE_URL \
      --cpu CPU \
      --memory MEMORY \
      --gpu GPU_NUMBER \
      --gpu-type GPU_TYPE \
      --parallelism PARALLELISM \
      --no-gpu-zonal-redundancy

Ersetzen Sie Folgendes:

  • JOB: Der Name Ihres Cloud Run-Jobs.
  • IMAGE_URL: Ein Verweis auf das Container-Image, z. B. us-docker.pkg.dev/cloudrun/container/job:latest.
  • CPU: Die Anzahl der CPUs. Achten Sie darauf, dass die Mindestanforderungen erfüllt sind.
  • MEMORY: die Größe des Arbeitsspeichers. Achten Sie darauf, dass die Mindestanforderungen erfüllt sind.
  • GPU_NUMBER: die Anzahl der anzuhängenden GPUs (1 für eine vollständige GPU oder 0.5 für eine anteilige GPU).
  • GPU_TYPE: Der GPU-Typ. Geben Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU nvidia-rtx-pro-6000 ein. Geben Sie für die L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).
  • PARALLELISM: ein ganzzahliger Wert, der kleiner ist als der niedrigste Wert der anwendbaren Kontingentlimits, die Sie Ihrem Projekt zugewiesen haben.

YAML

Sie müssen die Annotation run.googleapis.com/gpu-zonal-redundancy-disabled: auf true setzen. Dadurch wird die nicht zonale Redundanz aktiviert, die für GPUs für Jobs erforderlich ist.

  1. Wenn Sie einen neuen Job erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Job aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:

    gcloud run jobs describe JOB --format export > job.yaml
  2. Aktualisieren Sie das Attribut nvidia.com/gpu, annotations: run.googleapis.com/launch-stage für die Einführungsphase und nodeSelector:
    run.googleapis.com/accelerator
    :

    apiVersion: run.googleapis.com/v1
    kind: Job
    metadata:
      name: JOB
      labels:
        cloud.googleapis.com/location: REGION
    spec:
      template:
        metadata:
          annotations:
            run.googleapis.com/gpu-zonal-redundancy-disabled: 'true'
        spec:
          template:
            spec:
              containers:
              - image: IMAGE_URL
                limits:
                  cpu: 'CPU'
                  memory: 'MEMORY'
                  nvidia.com/gpu: 'GPU_NUMBER'
              nodeSelector:
                run.googleapis.com/accelerator: GPU_TYPE

    Ersetzen Sie Folgendes:

    • JOB: Der Name Ihres Cloud Run-Jobs.
    • REGION: die Region, in der Sie den Job bereitstellen möchten.
    • IMAGE_URL: ein Verweis auf das Container-Image, z. B. us-docker.pkg.dev/cloudrun/container/job:latest
    • CPU: Die Anzahl der CPUs. Achten Sie darauf, dass die Mindestanforderungen erfüllt sind.
    • MEMORY: die Größe des Arbeitsspeichers. Achten Sie darauf, dass die Mindestanforderungen erfüllt sind.
    • GPU_NUMBER: die Anzahl der anzuhängenden GPUs (1 für eine vollständige GPU oder 0.5 für eine anteilige GPU).
    • GPU_TYPE: Der GPU-Typ. NVIDIA RTX PRO 6000 Blackwell-GPU: nvidia-rtx-pro-6000 Geben Sie für die L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).
  3. Erstellen oder aktualisieren Sie den Dienst mit dem folgenden Befehl:

    gcloud run jobs replace job.yaml

    Der Befehl gcloud run jobs replace verwendet standardmäßig die Datei job.yaml, falls vorhanden.

GPU-Einstellungen aufrufen

So rufen Sie die aktuellen GPU-Einstellungen für Ihren Cloud Run-Job auf: Verwenden Sie die Google Cloud Console oder die Google Cloud CLI:

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite „Cloud Run-Jobs“:

    Zu Cloud Run-Jobs

  2. Klicken Sie auf den gewünschten Job, um die Seite Jobdetails zu öffnen.

  3. Klicken Sie auf Jobkonfiguration ansehen und bearbeiten.

  4. Suchen Sie in den Konfigurationsdetails nach der GPU-Einstellung.

gcloud

  1. Führen Sie dazu diesen Befehl aus:

    gcloud run jobs describe JOB
  2. Suchen Sie in der zurückgegebenen Konfiguration nach der GPU-Einstellung.

GPU-Ressourcen von einem Job trennen

Sie können GPU-Ressourcen über die Google Cloud Console, die Google Cloud CLI oder YAML von einem Job trennen.

Console

  1. Rufen Sie in der Google Cloud Console die Cloud Run-Seite Jobs auf:

    Zu Cloud Run

  2. Klicken Sie in der Liste der Jobs auf einen Job, um die Details zu öffnen.

  3. Klicken Sie auf Jobkonfiguration ansehen und bearbeiten.

  4. Klicken Sie auf Container, Verbindungen, Sicherheit, um die Seite mit den Jobattributen zu maximieren.

  5. Klicken Sie auf den Tab Container.

  6. Entfernen Sie das Häkchen aus dem Kästchen GPU.

  7. Klicken Sie auf Aktualisieren.

gcloud

Wenn Sie GPU-Ressourcen von Ihrem Cloud Run-Job trennen möchten, setzen Sie die Anzahl der GPUs mit dem Befehl gcloud run jobs update auf 0:

  gcloud run jobs update JOB --gpu 0
  

Ersetzen Sie JOB durch den Namen Ihres Cloud Run-Jobs.

YAML

  1. Wenn Sie einen neuen Job erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Job aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:

    gcloud run jobs describe JOB --format export > job.yaml
  2. Löschen Sie die Zeilen nvidia.com/gpu:, run.googleapis.com/gpu-zonal-redundancy-disabled: 'true' und nodeSelector: run.googleapis.com/accelerator: GPU_TYPE.

  3. Erstellen oder aktualisieren Sie den Dienst mit dem folgenden Befehl:

    gcloud run jobs replace job.yaml

    Der Befehl gcloud run jobs replace verwendet standardmäßig die Datei job.yaml, falls vorhanden.

Treiberbibliotheken

Standardmäßig werden alle Treiberbibliotheken für NVIDIA RTX PRO 6000 Blackwell-GPUs und NVIDIA L4-GPUs unter /usr/local/nvidia/lib64 bereitgestellt. Cloud Run hängt diesen Pfad automatisch an die Umgebungsvariable LD_LIBRARY_PATH (d.h. ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) des Containers mit der GPU an. Dadurch kann der dynamische Linker die NVIDIA-Treiberbibliotheken finden. Der Linker sucht und löst Pfade in der Reihenfolge auf, die Sie in der Umgebungsvariable LD_LIBRARY_PATH angeben. Alle Werte, die Sie in dieser Variable angeben, haben Vorrang vor dem Standardpfad für Cloud Run-Treiberbibliotheken /usr/local/nvidia/lib64.

Wenn Sie eine CUDA-Version höher als 13.0 verwenden möchten, ist es am einfachsten, von einem neueren NVIDIA-Basis-Image abzuhängen, auf dem bereits Pakete für die Aufwärtskompatibilität installiert sind. Eine weitere Möglichkeit besteht darin, die NVIDIA-Pakete für die Aufwärtskompatibilität manuell zu installieren und sie zu LD_LIBRARY_PATH hinzuzufügen. Sehen Sie sich die Kompatibilitätsmatrix von NVIDIA an, um zu ermitteln, welche CUDA-Versionen mit der bereitgestellten NVIDIA-Treiberversion aufwärtskompatibel sind.

GPUs und Parallelität

Wenn Sie parallele Aufgaben in einer Jobausführung ausführen, legen Sie den Wert für die Parallelität auf einen Wert fest, der kleiner ist als das GPU-Kontingent ohne zonale Redundanz, das Ihrem Projekt zugewiesen ist. Informationen zum Anfordern einer Kontingenterhöhung finden Sie unter Kontingent erhöhen. GPU-Aufgaben werden so schnell wie möglich gestartet und können bis zu einem Höchstwert reichen, der von dem GPU-Kontingent abhängt, das Sie für das Projekt und die ausgewählte Region zugewiesen haben. Cloud Run-Bereitstellungen schlagen fehl, wenn Sie die Parallelität auf einen Wert festlegen, der das GPU-Kontingentlimit überschreitet.

Eine vollständige (1) nvidia-rtx-pro-6000-GPU verbraucht 1.000 Milli-GPUs des Kontingents und eine anteilige (0.5) nvidia-rtx-pro-6000-GPU verbraucht 500 Milli-GPUs des Kontingents. Wenn Sie das GPU-Kontingent berechnen möchten, das Ihr Job pro Ausführung verwendet, multiplizieren Sie die Anzahl der GPUs pro Jobaufgabe mit dem Parallelitätswert. Wenn Sie beispielsweise ein GPU-Kontingent von 10 haben und Ihren Cloud Run-Job mit --gpu=1, --parallelism=10 bereitstellen, verbraucht Ihr Job das gesamte GPU-Kontingent von 10. Wenn Sie die Bereitstellung mit --gpu=1, --parallelism=20 durchführen, schlagen die Bereitstellungen fehl.

Weitere Informationen finden Sie unter Best Practices: Cloud Run-Jobs mit GPU.

Nächste Schritte