GPU-Unterstützung für Worker-Pools

Auf dieser Seite wird die GPU-Konfiguration für Ihre Cloud Run-Workerpools beschrieben. Google bietet NVIDIA RTX PRO 6000 Blackwell-GPUs mit 96 GB GPU-Speicher (VRAM) und NVIDIA L4-GPUs mit 24 GB GPU-Speicher (VRAM), der vom Instanzspeicher getrennt ist.

Die GPU in Cloud Run ist vollständig verwaltet. Es sind keine zusätzlichen Treiber oder Bibliotheken erforderlich. Die GPU-Funktion bietet On-Demand-Verfügbarkeit ohne erforderliche Reservierungen, ähnlich wie bei On-Demand-CPUs und On-Demand-Arbeitsspeicher in Cloud Run.

Cloud Run-Instanzen mit einer angehängten NVIDIA RTX PRO 6000 Blackwell-GPU oder L4-GPU mit vorinstallierten Treibern starten in etwa 5 Sekunden. Ab diesem Zeitpunkt können die in Ihrem Container ausgeführten Prozesse die GPU verwenden.

Sie können eine GPU pro Cloud Run-Instanz konfigurieren. Wenn Sie Sidecar-Container verwenden, beachten Sie, dass die GPU nur an einen Container angehängt werden kann.

Unterstützte GPU-Typen

Cloud Run unterstützt zwei Arten von GPUs:

  • NVIDIA RTX PRO 6000 Blackwell-GPU mit der aktuellen NVIDIA-Treiberversion: 580.x.x (13.0). Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 20 CPUs und 80 GiB Arbeitsspeicher verwenden.
  • L4-GPU mit der aktuellen NVIDIA-Treiberversion: 580.x.x (13.0). Für L4-GPUs müssen Sie mindestens 4 CPUs und 16 GiB Arbeitsspeicher verwenden.

Unterstützte Regionen

Die folgenden Regionen werden von der NVIDIA RTX PRO 6000 Blackwell-GPU unterstützt:

Die folgenden Regionen werden von der L4-GPU unterstützt:

  • asia-southeast1 (Singapur)
  • asia-south1 (Mumbai) . Diese Region ist nur auf Einladung verfügbar. Wenden Sie sich an Ihr Google-Konten-Team, wenn Sie an dieser Region interessiert sind.
  • europe-west1 (Belgien) Blattsymbol Niedriger CO2-Ausstoß
  • europe-west4 (Niederlande) Blattsymbol Niedriger CO2-Ausstoß
  • us-central1 (Iowa) Blattsymbol Niedriger CO2-Ausstoß . Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google Konten-Team, wenn Sie an dieser Region interessiert sind.
  • us-east4 (Northern Virginia) . Für eine zusätzliche Ressourcenskalierung in dieser Region ist möglicherweise eine Anfrage zur Kontingenterhöhung erforderlich. Wenden Sie sich an Ihr Google Konten-Team, wenn Sie an dieser Region interessiert sind.

Auswirkungen auf die Kosten

Weitere Informationen zu GPU-Preisen finden Sie unter Cloud Run-Preise. Beachten Sie die folgenden Anforderungen und Überlegungen:

  • Es gibt einen Kostenunterschied zwischen zonaler GPU-Redundanz und nicht zonaler Redundanz. Weitere Informationen zu den GPU-Preisen finden Sie unter Cloud Run – Preise.
  • GPU-Worker-Pools können nicht automatisch skaliert werden. Die GPU wird Ihnen auch dann in Rechnung gestellt, wenn auf der GPU kein Prozess ausgeführt wird, und solange die GPU-Instanz des Worker-Pools ausgeführt wird.
  • Die Preise für CPU und Arbeitsspeicher für Worker-Pools unterscheiden sich von denen für Dienste und Jobs. Die GPU-SKU wird jedoch wie Dienste und Jobs abgerechnet.
  • Die CPU- und Arbeitsspeicherkonfigurationen Ihrer Ressource.
  • Die GPU wird für die gesamte Dauer des Instanzlebenszyklus in Rechnung gestellt.

Optionen für zonale GPU-Redundanz

Standardmäßig stellt Cloud Run Ihren Worker-Pool in mehreren Zonen innerhalb einer Region bereit. Diese Architektur bietet inhärente Ausfallsicherheit: Wenn es in einer Zone zu einem Ausfall kommt, leitet Cloud Run den Traffic automatisch von der betroffenen Zone zu fehlerfreien Zonen in derselben Region um.

Beachten Sie bei der Arbeit mit GPU-Ressourcen, dass für GPU-Ressourcen bestimmte Kapazitätsbeschränkungen gelten. Bei einem zonalen Ausfall ist der Standard-Failover-Mechanismus für GPU-Arbeitslasten davon abhängig, dass in den verbleibenden fehlerfreien Zonen genügend ungenutzte GPU-Kapazität verfügbar ist. Aufgrund der begrenzten Verfügbarkeit von GPUs ist diese Kapazität möglicherweise nicht immer verfügbar.

Wenn Sie die Verfügbarkeit Ihrer GPU-beschleunigten Worker-Pools bei zonalen Ausfällen erhöhen möchten, können Sie die zonale Redundanz speziell für GPUs konfigurieren:

  • Zonale Redundanz aktiviert (Standard): Cloud Run reserviert GPU-Kapazität für Ihren Worker-Pool in mehreren Zonen. Dadurch erhöht sich die Wahrscheinlichkeit, dass Ihr Worker-Pool Traffic, der von einer betroffenen Zone umgeleitet wird, erfolgreich verarbeiten kann. Dies bietet eine höhere Zuverlässigkeit bei zonalen Ausfällen, verursacht jedoch zusätzliche Kosten pro GPU-Sekunde.

  • Zonale Redundanz deaktiviert: Cloud Run versucht, ein Failover für GPU-Arbeitslasten auf Best-Effort-Basis durchzuführen. Der Traffic wird nur dann an andere Zonen weitergeleitet, wenn zu diesem Zeitpunkt genügend GPU-Kapazität verfügbar ist. Bei dieser Option wird keine reservierte Kapazität für Failover-Szenarien garantiert, aber die Kosten pro GPU-Sekunde sind niedriger.

SLA

Das SLA für Cloud Run-GPUs hängt davon ab, ob der Worker-Pool die Option für zonale Redundanz oder nicht zonale Redundanz verwendet. Weitere Informationen finden Sie auf der SLA-Seite.

Kontingenterhöhung anfordern

Das Kontingent für die Cloud Run-nvidia-rtx-pro-6000-GPU wird in Milli-GPUs gewährt. Projekten, die zum ersten Mal eine nvidia-rtx-pro-6000-GPU in einer Region verwenden, wird automatisch ein Kontingent von 3.000 MilliGPU (zonale Redundanz deaktiviert) gewährt, wenn die erste Bereitstellung erstellt wird. Dies entspricht 3 GPUs. Projekten, die zum ersten Mal Cloud Run-nvidia-l4-GPUs in einer Region verwenden, wird automatisch ein GPU-Kontingent von 3 GPUs (zonale Redundanz deaktiviert) zugewiesen, wenn die erste Bereitstellung erstellt wird.

Wenn Sie zusätzliche Cloud Run-GPUs benötigen, müssen Sie eine Kontingenterhöhung für Ihren Cloud Run-Worker-Pool anfordern. Verwenden Sie die Links in den folgenden Schaltflächen, um das benötigte Kontingent anzufordern.

Kontingent erforderlich Link zum Kontingent
NVIDIA RTX PRO 6000 Blackwell-GPU mit deaktivierter zonaler Redundanz (niedrigerer Preis) GPU-Kontingent ohne zonale Redundanz anfordern
NVIDIA RTX PRO 6000 Blackwell-GPU mit aktivierter zonaler Redundanz (höherer Preis) GPU-Kontingent mit zonaler Redundanz anfordern
L4-GPU mit deaktivierter zonaler Redundanz (niedrigerer Preis) GPU-Kontingent ohne zonale Redundanz anfordern
L4-GPU mit aktivierter zonaler Redundanz (höherer Preis) GPU-Kontingent mit zonaler Redundanz anfordern

Weitere Informationen zum Anfordern von Kontingenterhöhungen finden Sie unter Kontingent erhöhen.

Hinweis

In der folgenden Liste werden die Anforderungen und Einschränkungen für die Verwendung von GPUs in Cloud Run beschrieben:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Aktivieren Sie die Cloud Run API, falls sie noch nicht aktiviert ist.

    Erforderliche Rollen zum Aktivieren von APIs

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

  4. Erforderliches Kontingent anfordern
  5. Empfehlungen zum Erstellen Ihres Container-Images und zum Laden großer Modelle finden Sie unter Best Practices für GPUs: Cloud Run-Worker-Pools mit GPUs.
  6. Achten Sie darauf, dass Ihr Cloud Run-Worker-Pool die folgenden Konfigurationen hat:
    • Konfigurieren Sie die Abrechnungseinstellungen für die instanzbasierte Abrechnung. Worker-Pools, für die die instanzbasierte Abrechnung festgelegt ist, können weiterhin auf null skaliert werden.
    • Konfigurieren Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU mindestens 20 CPUs und mindestens 80 GiB Arbeitsspeicher.
    • Konfigurieren Sie für die L4-GPU mindestens 4 CPUs für Ihren Worker-Pool (8 CPUs empfohlen) und mindestens 16 GiB Arbeitsspeicher (32 GiB empfohlen).
    • Ermitteln Sie eine optimale maximale Nebenläufigkeit für die GPU-Nutzung und legen Sie sie fest.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Worker-Pools zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren und Bereitstellen von Cloud Run-Worker-Pools benötigen:

  • Cloud Run-Entwickler (roles/run.developer) – der Cloud Run-Worker-Pool
  • Dienstkontonutzer (roles/iam.serviceAccountUser) – die Dienstidentität

Eine Liste der IAM-Rollen und -Berechtigungen im Zusammenhang mit Cloud Run finden Sie unter IAM-Rollen für Cloud Run und IAM-Berechtigungen für Cloud Run. Wenn Ihr Cloud Run-Worker-Pool mitGoogle Cloud -APIs wie Cloud-Clientbibliotheken verknüpft ist, lesen Sie die Konfigurationsanleitung für Dienstidentitäten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Bereitstellungsberechtigungen und Zugriff verwalten.

Cloud Run-Worker-Pool mit GPU konfigurieren

Jede Konfigurationsänderung führt zur Erstellung einer neuen Überarbeitung. Für nachfolgende Überarbeitungen gilt automatisch dieselbe Konfigurationseinstellung, sofern Sie sie nicht explizit aktualisieren.

Sie können die Google Cloud Console, die Google Cloud CLI oder YAML verwenden, um die GPU zu konfigurieren.

Console

  1. Rufen Sie in der Google Cloud Console Cloud Run auf:

    Zu Cloud Run

  2. Wählen Sie im Cloud Run-Navigationsmenü Worker-Pools aus und klicken Sie auf Container bereitstellen, um einen neuen Worker-Pool zu konfigurieren. Wenn Sie einen vorhandenen Worker-Pool konfigurieren möchten, klicken Sie auf den Worker-Pool und dann auf Neue Überarbeitung bearbeiten und bereitstellen.

  3. Wenn Sie einen neuen Worker-Pool konfigurieren, füllen Sie die Seite mit den anfänglichen Worker-Pool-Einstellungen aus und klicken Sie dann auf Container, Netzwerk, Sicherheit, um die Seite zur Worker-Pool-Konfiguration zu maximieren.

  4. Klicken Sie auf den Tab Container.

    Image

    • Konfigurieren Sie CPU, Arbeitsspeicher, Nebenläufigkeit, Ausführungsumgebung und Startprüfung gemäß den Empfehlungen unter Vorbereitung.
    • Aktivieren Sie das GPU-Kästchen und wählen Sie dann im Menü GPU-Typ den GPU-Typ und im Menü Anzahl der GPUs die Anzahl der GPUs aus.
    • Standardmäßig ist die zonale Redundanz aktiviert. Wenn Sie die aktuelle Einstellung ändern möchten, klicken Sie das Kästchen „GPU“ an, um die Optionen für die GPU-Redundanz aufzurufen.
      • Wählen Sie Keine zonale Redundanz aus, um die zonale Redundanz zu deaktivieren.
      • Wählen Sie Zonale Redundanz aus, um die zonale Redundanz zu aktivieren.

  5. Klicken Sie auf Erstellen oder Bereitstellen.

gcloud

Verwenden Sie den Befehl gcloud run worker-pools deploy, um einen GPU-fähigen Worker-Pool zu erstellen:

  gcloud run worker-pools deploy WORKER_POOL \
    --image IMAGE_URL \
    --gpu 1

Ersetzen Sie Folgendes:

  • WORKER_POOL: Der Name Ihres Cloud Run-Worker-Pools.
  • IMAGE_URL: ein Verweis auf das Container-Image, das den Worker-Pool enthält, z. B. us-docker.pkg.dev/cloudrun/container/worker-pool:latest.

Verwenden Sie den Befehl gcloud run worker-pools update, um die GPU-Konfiguration für einen Worker-Pool zu aktualisieren:

  gcloud run worker-pools update WORKER_POOL \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --GPU_ZONAL_REDUNDANCY

Ersetzen Sie Folgendes:

  • WORKER_POOL: Der Name Ihres Cloud Run-Worker-Pools.
  • IMAGE_URL: ein Verweis auf das Container-Image, das den Worker-Pool enthält, z. B. us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
  • CPU: die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 20 CPU angeben. Für NVIDIA L4-GPUs müssen Sie mindestens 4 CPU angeben.
  • MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 80Gi (80 GiB) angeben. Für NVIDIA L4-GPUs müssen Sie mindestens 16Gi (16 GiB) angeben.
  • GPU_NUMBER: den Wert 1 (eins). Wenn dieser Wert nicht angegeben ist, aber ein GPU_TYPE vorhanden ist, ist der Standardwert 1.
  • GPU_TYPE: Der GPU-Typ. NVIDIA RTX PRO 6000 Blackwell-GPU: Geben Sie nvidia-rtx-pro-6000 ein. Geben Sie für L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).
  • GPU_ZONAL_REDUNDANCY: no-gpu-zonal-redundancy, um die zonale Redundanz zu deaktivieren, oder gpu-zonal-redundancy, um die zonale Redundanz zu aktivieren.

YAML

  1. Wenn Sie einen neuen Worker-Pool erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Worker-Pool aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml

  2. Aktualisieren Sie das Attribut nvidia.com/gpu: und nodeSelector:
    run.googleapis.com/accelerator:    :

    apiVersion: run.googleapis.com/v1
kind: WorkerPool
metadata:
  name: WORKER_POOL
spec:
  template:
    metadata:
      annotations:
        run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY'
    spec:
      containers:
      - image: IMAGE_URL
        resources:
          limits:
            cpu: 'CPU'
            memory: 'MEMORY'
            nvidia.com/gpu: '1'
      nodeSelector:
        run.googleapis.com/accelerator: GPU_TYPE

    Ersetzen Sie Folgendes:

    • WORKER_POOL: Der Name Ihres Cloud Run-Worker-Pools.
    • IMAGE_URL: ein Verweis auf das Container-Image, das den Worker-Pool enthält, z. B. us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
    • CPU: Die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 20 CPU angeben. Für L4-GPUs müssen Sie mindestens 4 CPU angeben.
    • MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 80Gi (80 GiB) angeben. Für L4-GPUs müssen Sie mindestens 16Gi (16 GiB) angeben.
    • GPU_TYPE: Der GPU-Typ. Geben Sie für die NVIDIA RTX PRO 6000 Blackwell-GPU nvidia-rtx-pro-6000 ein. Geben Sie für L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).
    • GPU_ZONAL_REDUNDANCY: false, um die zonale GPU-Redundanz zu aktivieren, oder true, um sie zu deaktivieren.

  3. Erstellen oder aktualisieren Sie den Worker-Pool mit dem folgenden Befehl:

    gcloud run worker-pools replace worker-pool.yaml

    Der Befehl gcloud run worker-pools replace verwendet standardmäßig die Datei worker-pool.yaml, falls vorhanden.

Terraform

Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.

resource "google_cloud_run_v2_worker_pool" "default" {
  provider = google-beta
  name     = "WORKER_POOL"
  location = "REGION"

  template {
    gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Ersetzen Sie Folgendes:

  • WORKER_POOL: Der Name Ihres Cloud Run-Worker-Pools.
  • GPU_ZONAL_REDUNDANCY: false, um die zonale GPU-Redundanz zu aktivieren, oder true, um sie zu deaktivieren.
  • IMAGE_URL: ein Verweis auf das Container-Image, das den Worker-Pool enthält, z. B. us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
  • CPU: Die Anzahl der CPUs. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 20 CPU angeben. Für NVIDIA L4-GPUs müssen Sie mindestens 4 CPU angeben.
  • MEMORY: die Größe des Arbeitsspeichers. Für die NVIDIA RTX PRO 6000 Blackwell-GPU müssen Sie mindestens 80Gi (80 GiB) angeben. Für NVIDIA L4-GPUs müssen Sie mindestens 16Gi (16 GiB) angeben.
  • GPU_TYPE: Der GPU-Typ. NVIDIA RTX PRO 6000 Blackwell-GPU: Geben Sie nvidia-rtx-pro-6000 ein. Geben Sie für L4-GPU den Wert nvidia-l4 ein (nvidia-L4 Kleinbuchstabe L, nicht numerischer Wert vierzehn).

GPU-Einstellungen aufrufen

Wenn Sie die aktuellen GPU-Einstellungen für Ihren Cloud Run-Worker-Pool aufrufen möchten, verwenden Sie die Google Cloud Console oder die Google Cloud CLI:

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Cloud Run-Workerpools“ auf:

    Zu Cloud Run-Worker-Pools

  2. Klicken Sie auf den Worker-Pool, um die Seite Worker-Pool-Details zu öffnen.

  3. Klicken Sie auf Neue Überarbeitung bearbeiten und bereitstellen.

  4. Suchen Sie in den Konfigurationsdetails nach der GPU-Einstellung.

gcloud

  1. Führen Sie dazu diesen Befehl aus:

    gcloud run worker-pools describe WORKER_POOL

  2. Suchen Sie in der zurückgegebenen Konfiguration nach der GPU-Einstellung.

GPU entfernen

Sie können GPUs über die Google Cloud Console, die Google Cloud CLI oder YAML entfernen.

Console

  1. Rufen Sie in der Google Cloud Console Cloud Run auf:

    Zu Cloud Run

  2. Wählen Sie im Cloud Run-Navigationsmenü Worker-Pools aus und klicken Sie auf Container bereitstellen, um einen neuen Worker-Pool zu konfigurieren. Wenn Sie einen vorhandenen Worker-Pool konfigurieren möchten, klicken Sie auf den Worker-Pool und dann auf Neue Überarbeitung bearbeiten und bereitstellen.

  3. Wenn Sie einen neuen Worker-Pool konfigurieren, füllen Sie die Seite mit den anfänglichen Worker-Pool-Einstellungen aus und klicken Sie dann auf Container, Netzwerk, Sicherheit, um die Seite zur Worker-Pool-Konfiguration zu maximieren.

  4. Klicken Sie auf den Tab Container.

Image

  • Entfernen Sie das Häkchen aus dem Kästchen „GPU“.
  1. Klicken Sie auf Erstellen oder Bereitstellen.

gcloud

Wenn Sie die GPU entfernen möchten, legen Sie die Anzahl der GPUs auf 0 fest:

  gcloud run worker-pools update WORKER_POOL --gpu 0

Ersetzen Sie WORKER_POOL durch den Namen Ihres Cloud Run-Worker-Pools.

YAML

  1. Wenn Sie einen neuen Worker-Pool erstellen, überspringen Sie diesen Schritt. Wenn Sie einen vorhandenen Worker-Pool aktualisieren, laden Sie die zugehörige YAML-Konfiguration herunter:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml

  2. Löschen Sie die Zeilen nvidia.com/gpu: und nodeSelector: run.googleapis.com/accelerator: GPU_TYPE.

  3. Erstellen oder aktualisieren Sie den Worker-Pool mit dem folgenden Befehl:

    gcloud run worker-pools replace worker-pool.yaml

    Der Befehl gcloud run worker-pools replace verwendet standardmäßig die Datei worker-pool.yaml, falls vorhanden.

Treiberbibliotheken

Standardmäßig werden alle NVIDIA RTX PRO 6000 Blackwell-GPU- und NVIDIA L4-GPU-Treiberbibliotheken unter /usr/local/nvidia/lib64 bereitgestellt. Cloud Run hängt diesen Pfad automatisch an die Umgebungsvariable LD_LIBRARY_PATH (d.h. ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) des Containers mit der GPU an. Dadurch kann der dynamische Linker die NVIDIA-Treiberbibliotheken finden. Der Linker sucht und löst Pfade in der Reihenfolge auf, die Sie in der Umgebungsvariable LD_LIBRARY_PATH angeben. Alle Werte, die Sie in dieser Variable angeben, haben Vorrang vor dem Standardpfad für Cloud Run-Treiberbibliotheken /usr/local/nvidia/lib64.

Wenn Sie eine CUDA-Version höher als 13.0 verwenden möchten, ist es am einfachsten, von einem neueren NVIDIA-Basis-Image abzuhängen, auf dem bereits Pakete für die Aufwärtskompatibilität installiert sind. Eine weitere Möglichkeit besteht darin, die NVIDIA-Pakete für die Aufwärtskompatibilität manuell zu installieren und sie zu LD_LIBRARY_PATH hinzuzufügen. Sehen Sie sich die Kompatibilitätsmatrix von NVIDIA an, um zu ermitteln, welche CUDA-Versionen mit der bereitgestellten NVIDIA-Treiberversion aufwärtskompatibel sind.