In diesem Dokument werden die wichtigsten Compute-Optionen in Google Cloud verglichen, damit Sie die beste Lösung oder das beste Tool für die Architektur, Skalierung und andere Anforderungen Ihrer Anwendung auswählen können.
Für die Bereitstellung von Arbeitslasten in Google Cloudkönnen Sie aus einer Reihe von Lösungen oder Tools wählen, die Ihre Kontrolle über die Infrastruktur mit der automatisierten Verwaltung durch Google in Einklang bringen. Die von Ihnen ausgewählte Computing-Option wirkt sich auf Leistung, Kosten und tägliche Wartung aus. Weitere Informationen zu diesen Optionen finden Sie unter Google-Computing – Übersicht.
Computing-Option auswählen
Die beste Computing-Lösung oder das beste Tool für Ihre Arbeitslast kann von mehreren Faktoren abhängen. Wenn Sie beispielsweise Ihre VMware-Umgebung zuGoogle Cloudmigrieren möchten, verwenden Sie die VMware Engine.
Das folgende Flussdiagramm hilft Ihnen, die Vor- und Nachteile von Infrastrukturverwaltung, Containern und Compute Engine-Instanzen abzuwägen. Wenn Sie die Funktionen der verschiedenen Computing-Optionen vergleichen möchten, finden Sie in diesem Dokument eine Vergleichstabelle.
Das Flussdiagramm enthält die folgenden Fragen:
Soll Google die gesamte Infrastruktur verwalten?
Nein: Fahre mit Frage 2 fort.
Möchten Sie eine Clusterorchestrierung für Ihre Arbeitslasten (z. B. Kubernetes oder Slurm)?
Ja: Fahre mit Frage 4 fort.
Nein: Weiter mit Frage 3.
Möchten Sie VMs oder Bare-Metal-Instanzen selbst verwalten?
Nein: Batch verwenden.
Möchten Sie standardmäßige Containeranwendungen wie Mikrodienste oder APIs ausführen?
Ja: Verwenden Sie GKE.
Nein: Weiter mit Frage 5.
Soll Google den Clusterlebenszyklus verwalten?
Batch verwenden
Wählen Sie Batch für Arbeitslasten wie asynchrone Datenanalysen, Videokonvertierungsaufgaben oder wissenschaftliche Simulationen aus. Mit Batch verwaltet Google die Infrastruktur, sodass Sie Batch-Computing-Jobs in Google Cloudplanen, in die Warteschlange stellen und ausführen können. Sie müssen keine Server selbst bereitstellen oder verwalten. Stattdessen senden Sie ausführbare Skripts oder containerisierte Arbeitslasten an eine Jobwarteschlange.
Batch bietet die folgenden Funktionen:
Beschleunigerunterstützung: Batch unterstützt NVIDIA-GPUs bis zu RTX PRO 6000 für Batch- und Hochleistungs-Computing-Arbeitslasten (HPC), die einen hohen Durchsatz erfordern. Batch unterstützt keine Google TPUs.
Betriebssystem- und Kernel-Steuerung: Google verwaltet das Betriebssystem und die Ausführungsumgebung für Ihre Jobs.
Orchestrierung: Die Jobwarteschlange plant Aufgaben und wiederholt sie, wenn ein Fehler auftritt. Zur Skalierung der Kapazität stellt der Dienst VMs bereit und startet sie basierend auf der Anzahl der Jobs in der Warteschlange. Wenn diese Jobs abgeschlossen sind, werden die VMs beendet.
Weitere Informationen finden Sie unter Erste Schritte mit Batch.
Cloud Run verwenden
Wenn Sie containerisierte Webanwendungen oder Jobs ohne Serververwaltung bereitstellen möchten, wählen Sie Cloud Run aus. Cloud Run ist eine serverlose Plattform, mit der Sie containerisierte Anwendungen ohne Server- oder Clusterverwaltung ausführen können. Google übernimmt die gesamte Infrastrukturverwaltung für Sie, einschließlich Betriebssystem, Kernel, Netzwerkeinrichtung und Kapazitätsverwaltung.
Cloud Run bietet die folgenden Funktionen:
Beschleunigerunterstützung: Cloud Run unterstützt NVIDIA RTX PRO 6000 Blackwell- und L4-GPUs. Cloud Run unterstützt keine anderen GPU-Modelle oder Google TPUs.
Betriebssystem- und Kernel-Steuerung: Sie verpacken Ihre Arbeitslasten als Container und führen sie als Webdienste, asynchrone Aufgaben oder Batchjobs aus.
Orchestrierung: Als serverlose Plattform startet, führt und skaliert Google Ihre Containerinstanzen ohne manuelles Eingreifen. Bei Webdiensten fügt Cloud Run Containerinstanzen basierend auf eingehenden Anfragen oder der CPU-Auslastung hinzu oder entfernt sie.
Weitere Informationen finden Sie unter Was ist Cloud Run?.
Cluster Director verwenden
Wenn Sie KI-Modelle trainieren oder Simulationsjobs ausführen möchten, die von Slurm ohne Netzwerk- oder Betriebssystemeinrichtung geplant werden, wählen Sie Cluster Director aus. Cluster Director ist ein verwalteter Dienst, der die Bereitstellung und das Lebenszyklusmanagement für KI-, ML- und HPC-Cluster automatisiert.
Cluster Director bietet die folgenden Funktionen:
Beschleunigerunterstützung: Cluster Director unterstützt NVIDIA-GPUs (nämlich GB300 Ultra Superchips, GB200 Superchips, B200, H200 und H100) und Google TPUs (Vorabversion; nämlich TPU7x, TPU v6e und TPU v5p) für KI-, ML- und HPC-Arbeitslasten.
Betriebssystem- und Kernel-Steuerung: Google verwaltet den Clusterlebenszyklus und richtet ein benutzerdefiniertes Ubuntu-Betriebssystem ein, das für ML entwickelt wurde. Der Dienst bietet eine sofort einsatzbereite Umgebung mit Login-Knoten, Compute-Knotensätzen und Bereitstellungsvorlagen, die für KI-Arbeitslasten entwickelt wurden.
Orchestrierung: Um die Kapazität zu skalieren, erstellt Slurm Knoten basierend auf Jobanfragen in der Warteschlange und löscht Knoten, wenn sie eine Zeit lang inaktiv sind, um unnötige Kosten zu vermeiden.
Weitere Informationen finden Sie unter Cluster Director – Übersicht.
Cluster Toolkit verwenden
Wenn Sie automatisierte Bereitstellungsvorlagen verwenden und die administrative Kontrolle über Ihr Betriebssystem und Ihren Software-Stack behalten möchten, wählen Sie das Cluster Toolkit aus. Cluster Toolkit ist ein Open-Source-Tool, mit dem Sie KI-, ML- und HPC-Cluster in Google Cloudbereitstellen und konfigurieren können.
Das Cluster Toolkit bietet die folgenden Funktionen:
Beschleunigerunterstützung: Das Cluster Toolkit unterstützt NVIDIA-GPUs und Google-TPUs, die Sie mit Bereitstellungsvorlagen, sogenannten Blueprints, bereitstellen und konfigurieren. Mit diesen automatisierten Konfigurationsdateien stellen Sie eine standardisierte, wiederholbare Clusterinfrastruktur basierend auf den Prinzipien von Infrastructure as Code (IaC) bereit.
Betriebssystem- und Kernel-Steuerung: Das Cluster Toolkit stellt Compute-Instanzen oder GKE-Ressourcen in Ihrem Google Cloud-Projekt bereit. Nachdem Sie diese Ressourcen bereitgestellt haben, behalten Sie die administrative Kontrolle über das Betriebssystem, die Softwareeinstellungen und den Clusterlebenszyklus.
Orchestrierung: Zum Skalieren der Kapazität konfigurieren Sie verwaltete Instanzgruppen (MIGs) oder GKE-Tools, um Knoten basierend auf Ihren Vorlageneinstellungen hinzuzufügen oder zu entfernen.
Weitere Informationen finden Sie unter Cluster Toolkit – Übersicht.
Compute Engine verwenden
Wenn Ihre Anwendungen benutzerdefinierte Architekturkonfigurationen, spezielle Kerneleinstellungen oder administrative Kontrolle über virtuelle Server erfordern, wählen Sie Compute Engine aus. Die Compute Engine ist die zentrale IaaS-Plattform (Infrastructure as a Service (IaaS)) von Google Cloud, mit der Sie VM- und Bare-Metal-Instanzen auf der physischen Hardware von Google erstellen und ausführen können.
Die Compute Engine bietet die folgenden Funktionen:
Beschleunigerunterstützung: Compute Engine unterstützt NVIDIA-GPUs und Google-TPUs, die Sie an Ihre Compute-Instanzen anhängen können.
Betriebssystem- und Kernel-Steuerung: Sie behalten die vollständige Kontrolle über das Betriebssystem, die Kernel-Einstellungen und die Bootdateien und wählen CPU-Prozessoren, Speicherkonfigurationen, Speichertypen und Gastbetriebssysteme aus.
Orchestrierung: Da die Orchestrierung manuell erfolgt, richten Sie Ihre eigenen Compute-Instanzen, Netzwerkregeln, Traffic-Routen und Sicherungssysteme für die Zuverlässigkeit ein und verwalten sie. Wenn Sie die Kapazität skalieren möchten, können Sie nach Bedarf Compute-Instanzen hinzufügen oder entfernen, benutzerdefinierte Tools verwenden oder MIGs konfigurieren, um die Clusterkapazität anzupassen.
Weitere Informationen finden Sie in der Compute Engine-Übersicht.
GKE verwenden
Wenn Sie eine containerbasierte Orchestrierungsplattform für verteilte Anwendungen oder Mikrodienste für allgemeine Zwecke benötigen, wählen Sie die Google Kubernetes Engine (GKE) aus. GKE ist eine branchenübliche verwaltete Kubernetes-Plattform zum Bereitstellen, Skalieren und Orchestrieren von Containeranwendungen. Google verwaltet die Kubernetes-Steuerungsebene im Hinblick auf Sicherheit und Systemverfügbarkeit.
Die GKE bietet die folgenden Funktionen:
Beschleunigerunterstützung: Die GKE unterstützt NVIDIA-GPUs und Google-TPUs für containerisierte Arbeitslasten.
Betriebssystem- und Kernel-Steuerung: Google verwaltet das Betriebssystem sowohl im Autopilot- als auch im Standardmodus. Im Autopilot-Modus verwaltet Google Clusterknoten und Kapazitätsanpassungen ohne manuellen Eingriff. Im Standardmodus verwalten Sie Cluster-Knotenpools.
Orchestrierung: Um die Kapazität an geänderte Anforderungen anzupassen, fügt GKE Container mit horizontalen und vertikalen Pod-Autoscalern (HPA und VPA) hinzu oder entfernt sie und fügt Knoten mit dem Cluster-Autoscaler hinzu oder entfernt sie. Die GKE orchestriert Batchjobs auch über Kueue, einen Kubernetes-nativen Jobwarteschlangen-Controller.
Weitere Informationen finden Sie in der GKE-Übersicht.
VMware Engine verwenden
Wenn Sie Ihre lokalen VMware-Arbeitslasten mit minimalen betrieblichen Änderungen zur Infrastruktur von Google Cloudmigrieren möchten, wählen Sie VMware Engine aus. VMware Engine ist ein verwalteter Dienst, mit dem Sie virtuelle VMware-Maschinen ohne Anwendungsänderungen auf Google-Hardware ausführen können.
VMware Engine bietet die folgenden Funktionen:
Beschleunigerunterstützung: VMware Engine unterstützt keine GPUs oder TPUs.
Betriebssystem- und Kernel-Steuerung: Sie führen VMware-Anwendungen in Google Cloudso aus, wie sie in Ihrer vorhandenen Einrichtung ausgeführt werden. Google verwaltet die physische Hardware, die Netzwerkinfrastruktur und die VMware-Softwareplattform, z. B. vSphere, vCenter, vSAN und NSX-T. Sie behalten die administrative Kontrolle über Ihre VMs, das Gastbetriebssystem und die VMware-Managementtools.
Orchestrierung: Wenn Sie die Größe Ihrer privaten Cloud anpassen möchten, fügen Sie dedizierte ESXi-Knoten hinzu oder entfernen sie.
Weitere Informationen finden Sie unter Google Cloud VMware Engine – Übersicht.
Computing-Optionen vergleichen
Vergleichen Sie die technischen Funktionen der verschiedenen Computing-Optionen in der folgenden Tabelle, um die Computing-Lösung oder das Tool zu finden, das zu Ihrer Arbeitslast passt:
| Computing-Option | GPUs | TPUs | Betriebssystem- und Kernel-Steuerung | Orchestrierung | Skalierung |
|---|---|---|---|---|---|
| Batch | Bis zu NVIDIA RTX PRO 6000 | Nein | Von Google verwaltet | Jobwarteschlange | Automatisch auf Basis von Jobs in der Warteschlange |
| Cloud Run | NVIDIA RTX PRO 6000 Blackwell und L4 | Nein | Von Google verwaltet | Serverlos | Automatisch basierend auf Anfragen oder CPU-Verbrauch |
| Cluster Director | NVIDIA GB300 Ultra Superchips, GB200 Superchips, B200, H200 und H100 | Google TPU7x, TPU v6e und TPU v5p (Vorabversion) | Von Google verwaltet (benutzerdefiniertes Ubuntu) | Slurm | Automatisch auf Basis von Jobanfragen in der Warteschlange |
| Cluster Toolkit | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google TPUs | Selbstverwaltet | Automatisierte Konfigurationsdateien (IaC) | Anpassbar mit MIGs oder GKE-Tools |
| Compute Engine | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google TPUs | Selbstverwaltet | Manuell | Manuell oder automatisch mithilfe von MIGs |
| Google Kubernetes Engine (GKE) | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google TPUs | Von Google verwaltet (Autopilot) oder teilweise verwaltet (Standard) | Kubernetes | Automatisches Pod- und Knotenskalierung |
| VMware Engine | Nein | Nein | Von Google verwaltet | VMware-Plattform | Manuell mit ESXi-Knoten |
AI Hypercomputer für KI und ML
AI Hypercomputer ist eine integrierte Architektur, die speziell entwickelte Hardware, offene Software und flexible Nutzungsmodelle kombiniert. Diese Architektur wurde entwickelt, um die ML-Produktivität zu steigern und den Goodput, also die Rate der übertragenen nützlichen Daten, für anspruchsvolle KI-Arbeitslasten zu maximieren.
AI Hypercomputer bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: AI Hypercomputer unterstützt alle NVIDIA-GPUs und Google-TPUs. Beschleuniger werden über ein Netzwerk mit hoher Bandbreite verbunden, um den Durchsatz für KI-Modelle über Tausende von Compute-Instanzen hinweg zu optimieren.
Betriebssystem- und Kernel-Steuerung: Ihre Kontrolle über das Betriebssystem und den Kernel hängt vom gewählten Bereitstellungstool ab:
Von Google verwaltete Umgebungen: Wenn Sie Cluster Director auswählen, verwaltet Google die Clusterumgebung und den Lebenszyklus. Wenn Sie GKE im Autopilot-Modus auswählen, verwaltet Google die Containerumgebung.
Selbstverwaltete Umgebungen: Wenn Sie Cluster Toolkit, Compute Engine oder GKE im Standardmodus auswählen, verwalten Sie die Clusterressourcen und das Betriebssystem.
Orchestrierung: Sie können Slurm, GKE oder benutzerdefinierte Orchestratoren verwenden, um Compute-Instanzen, Pods oder Container in Ihrem Cluster hinzuzufügen oder zu entfernen, wenn sich der Rechenbedarf ändert.
Weitere Informationen finden Sie unter AI Hypercomputer – Übersicht.