TPU-Ressourcen in Compute Engine

Sie können Tensor Processing Units (TPUs) mithilfe von Compute Engine-Ressourcen erstellen und verwalten. Diese Seite bietet eine konzeptionelle Übersicht über die Verwendung von TPUs mit Compute Engine. Sie ordnet TPU-Konzepte Compute Engine-Ressourcen zu und beschreibt die allgemeinen Workflows zum Erstellen von TPU-Ressourcen.

TPU- und Compute Engine-Konzepte

Für die Verwaltung von TPU-Ressourcen in Compute Engine ist es hilfreich, die folgenden grundlegenden TPU- und Compute Engine-Konzepte zu kennen:

  • TPU-VM: Eine virtuelle Maschine, die direkt mit der TPU-Hardware verbunden ist. Eine einzelne TPU-VM entspricht einem Slice mit einem einzelnen Host.
  • TPU-Slice: Eine logische Gruppe miteinander verbundener TPU-Chips, auf die über eine oder mehrere TPU-VMs zugegriffen wird. Slices haben einen der folgenden Bereiche:
    • Slice mit einem Host: Ein Slice, das aus einem Hostcomputer besteht. Slice mit einem einzelnen Host ist eine andere Bezeichnung für eine einzelne TPU-VM.
    • Slice mit mehreren Hosts: Ein Slice, das aus mehreren TPU-VMs besteht, die über eine Hochgeschwindigkeits-Inter-Chip-Interconnect-Verbindung (ICI) miteinander verbunden sind.

Zum Erstellen und Verwalten von TPU-Ressourcen in Compute Engine verwenden Sie die folgenden Compute Engine-Ressourcen:

  • VM-Instanz: Eine virtuelle Compute Engine-Maschine. Ein TPU-Slice mit einem einzelnen Host wird als einzelne VM-Instanz erstellt.
  • Verwaltete Instanzgruppe (MIG): Eine Sammlung von VM-Instanzen, die als eine Einheit verwaltet werden. TPU-Slices mit mehreren Hosts werden als MIG mit einer Beschleunigertopologie erstellt, die in einer Arbeitslastrichtlinie angegeben ist.

Konzeptkarte für TPU und Compute Engine

In der folgenden Tabelle wird beschrieben, wie TPU-Konzepte Compute Engine-Ressourcen zugeordnet werden:

TPU-Konzept Compute Engine-Ressource Ressourcendetails Anwendungsfall
TPU-VM VM-Instanz Eine Compute Engine-VM, die direkten Zugriff auf TPU-Hardware bietet. Einzelne VM-Aufgaben, Ausführung von SSH-Befehlen oder Fehlerbehebung
TPU-Slice mit einzelnem Host VM-Instanz oder MIG mit einer einzelnen VM Eine Konfiguration, die aus einem physischen Hostcomputer besteht. Inferenz mit Autoscaling
TPU-Slice mit mehreren Hosts MIG mit in der Arbeitslastrichtlinie angegebener Beschleunigertopologie Eine Gruppe von TPU-VMs, die über ICI miteinander verbunden sind und als eine einzige logische Einheit verwaltet werden. Umfangreiches, verteiltes Training, das eine atomare Bereitstellung erfordert

Von der Cloud TPU API migrieren

Die Cloud TPU API wird nicht mehr aktiv entwickelt. Dazu gehören die Google Cloud CLI für die Cloud TPU API und die Cloud-Clientbibliotheken für die Cloud TPU API. Die Cloud TPU API erhält nur Fehlerkorrekturen und Sicherheitsupdates. Neue Hardwaregenerationen ab TPU7x (Ironwood) werden nur über die Compute Engine oder die Google Kubernetes Engine (GKE) unterstützt. Wenn Sie die neuesten Funktionen und die Unterstützung für die neuesten TPU-Versionen nutzen möchten, migrieren Sie, indem Sie Ihre Legacy-Cloud TPU API-Aufrufe durch die entsprechenden Aufrufe in der Compute Engine oder GKE ersetzen.

Wählen Sie je nach Ihren Orchestrierungs- und Arbeitslastanforderungen einen der folgenden Pfade aus:

  • Compute Engine: Empfohlen für Nutzer, die eine direkte Steuerung auf VM-Ebene oder benutzerdefinierte Betriebssystem-Images benötigen. Informationen zu den ersten Schritten mit der Bereitstellung von TPUs in Compute Engine finden Sie unter Kurzanleitung: TPU-VM erstellen.
  • GKE: Empfohlen für containerisierte Arbeitslasten, automatisierte Skalierung und Orchestrierung im großen Maßstab. Weitere Informationen zur Verwendung von TPUs mit der GKE finden Sie unter TPUs in der GKE.
  • Batch: Empfohlen für Nutzer, die einen vollständig verwalteten Dienst zum Ausführen von containerisierten oder skriptbasierten Arbeitslasten benötigen. Weitere Informationen zur Verwendung von TPUs mit Batch finden Sie unter Batchjob erstellen und ausführen, der TPUs verwendet.

Vorhandene TPU-Ressourcen

TPU-Ressourcen, die mit der Cloud TPU API (Node- oder QueuedResource-REST-Objekte) erstellt wurden, sind nicht mit Compute Engine und GKE kompatibel. So verwenden Sie Compute Engine oder GKE:

  • Schreiben Sie alle Skripts, die die Cloud TPU API verwenden, so um, dass sie die Compute Engine oder GKE APIs verwenden.
  • Löschen Sie Ressourcen mit der Cloud TPU API und erstellen Sie sie mit der Compute Engine API oder der GKE API neu.

Beschränkungen

Für TPUs in Compute Engine gelten die folgenden Einschränkungen:

  • TPU-Versionen: Die Compute Engine unterstützt v5p, v6e und TPU7x.
  • Multisegment: Das Erstellen von Gruppen miteinander verbundener TPU-Slices mit mehreren Hosts ist mit der Compute Engine nicht möglich. Wenn Sie Multislice verwenden möchten, müssen Sie die Google Kubernetes Engine (GKE) verwenden. Weitere Informationen finden Sie unter TPU-Multislices in GKE bereitstellen.
  • Sammlungen: Die Planung von Sammlungen ist in Compute Engine nicht verfügbar. Wenn Sie die Planungsoption für Sammlungen verwenden möchten, müssen Sie GKE nutzen. Weitere Informationen finden Sie in der GKE-Dokumentation unter Sammlungsplanung.

Nächste Schritte