TPUs in GKE

In diesem Dokument wird beschrieben, wie Cloud TPU mit der Google Kubernetes Engine (GKE) funktioniert, einschließlich Terminologie, Vorteilen von Tensor Processing Units (TPUs) und Überlegungen zur Arbeitslastplanung. TPUs sind von Google speziell entwickelte, anwendungsspezifische integrierte Schaltungen (Application-Specific Integrated Circuits, ASICs) zur Beschleunigung von ML-Arbeitslasten, die Frameworks wie TensorFlow, PyTorch und JAX nutzen.

Dieses Dokument richtet sich an Plattformadministratoren und -operatoren sowie Daten- und KI-Spezialisten, die ML-Modelle (Machine Learning) ausführen, die Merkmale wie große Skalierung, lange Laufzeit oder Dominanz von Matrixberechnungen aufweisen. Weitere Informationen zu gängigen Rollen und Beispielaufgaben, auf die wir in Google Cloud-Inhalten verweisen, finden Sie unter Häufig verwendete GKE-Nutzerrollen und -Aufgaben.

Bevor Sie dieses Dokument lesen, sollten Sie sich mit der Funktionsweise von ML-Beschleunigern vertraut machen. Weitere Informationen finden Sie unter Einführung in Cloud TPU.

Vorteile von TPUs in GKE

GKE bietet vollständige Unterstützung für die Verwaltung des Lebenszyklus von TPU-Knoten und -Knotenpools, einschließlich Erstellen, Konfigurieren und Löschen von TPU-VMs. GKE unterstützt auch Spot-VMs sowie die Verwendung von reservierten Cloud TPU. Weitere Informationen finden Sie unter Cloud TPU-Nutzungsoptionen.

TPUs in GKE bieten folgende Vorteile:

  • Einheitliche Betriebsumgebung: Sie können eine einzige Plattform für alle Workloads für maschinelles Lernen und andere Workloads verwenden.
  • Automatische Upgrades: GKE automatisiert Versionsupdates, wodurch der operative Aufwand reduziert wird.
  • Load Balancing: GKE verteilt die Last, um die Latenz zu reduzieren und die Zuverlässigkeit zu verbessern.
  • Responsive Skalierung: GKE skaliert TPU-Ressourcen automatisch entsprechend den Anforderungen Ihrer Arbeitslasten.
  • Ressourcenverwaltung: Mit Kueue, einem nativen Kubernetes-Jobwarteschlangensystem, können Sie Ressourcen über mehrere Mandanten innerhalb Ihrer Organisation verwalten, indem Sie Warteschlangen, vorzeitiges Beenden, Priorisierung und faire Freigabe nutzen.
  • Sandboxing-Optionen: GKE Sandbox schützt Ihre Arbeitslasten mit gVisor. Weitere Informationen finden Sie unter GKE Sandbox.

Erste Schritte mit Ironwood (TPU7x)

Ironwood (TPU7x) ist die TPU der siebten Generation von Google, die für umfangreiche KI-Arbeitslasten entwickelt wurde. Weitere Informationen zu den Vorteilen von Ironwood (TPU7x) finden Sie unter Ironwood (TPU7x) in der GKE.

Terminologie in Bezug auf TPUs in GKE

In diesem Dokument wird die folgende Terminologie im Zusammenhang mit TPUs verwendet:

  • Cloud TPU-ICI-Ausfallsicherheit: Eine Funktion, die die Fehlertoleranz der optischen Verbindungen und optischen Schalter (Optical Circuit Switches, OCS) verbessert, die TPUs zwischen Cubes verbinden. Weitere Informationen finden Sie unter TPU-Architektur.
  • TPU-Cube: Eine 4x4x4-Topologie miteinander verbundener TPU-Chips. Dies gilt nur für Topologien in 3-Tupeln ({A}x{B}x{C}).
  • TPU-Typ: Der Cloud TPU-Typ, z. B. v5e.
  • TPU-Slice: Eine Gruppe von Chips, die sich innerhalb desselben TPU-Pod befinden und über Hochgeschwindigkeits-Verbindungen zwischen den Chips (ICI) miteinander verbunden sind. Slices werden je nach TPU-Version in Bezug auf Chips oder TensorCores beschrieben.
  • TPU-Slice-Knoten: Ein Kubernetes-Knoten, der durch eine einzelne VM mit einem oder mehreren verbundenen TPU-Chips dargestellt wird.
  • TPU-Slice-Knotenpool: Eine Gruppe von Kubernetes-Knoten in einem Cluster, die alle dieselbe TPU-Konfiguration haben.
  • TPU-Topologie: Die Anzahl und die physische Anordnung der TPU-Chips in einem TPU-Slice.
  • Atomar: GKE behandelt alle verbundenen Knoten als eine Einheit. Während der Skalierungsvorgänge skaliert GKE die gesamte Gruppe von Knoten auf 0 und erstellt neue Knoten. Wenn eine Maschine in der Gruppe ausfällt oder beendet wird, erstellt GKE die gesamte Gruppe von Knoten als neue Einheit neu.
  • Unveränderlich: Sie können der Gruppe von verbundenen Knoten nicht manuell neue Knoten hinzufügen. Sie können jedoch einen neuen Knotenpool mit der gewünschten TPU-Topologie erstellen und Arbeitslasten im neuen Knotenpool planen.

Typen von TPU-Slice-Knotenpools

GKE unterstützt zwei Arten von TPU-Knotenpools:

Der TPU-Typ und die TPU-Topologie bestimmen, ob Ihr TPU-Slice-Knoten ein Multi-Host- oder ein Single-Host-Knoten sein kann. Unsere Empfehlungen lauten daher:

  • Verwenden Sie für umfangreiche Modelle TPU-Slice-Knoten mit mehreren Hosts.
  • Verwenden Sie für kleine Modelle TPU-Slice-Knoten mit einem einzelnen Host.
  • Verwenden Sie für umfangreiches Training Pathways. Pathways vereinfacht umfangreiche Berechnungen für maschinelles Lernen, indem ein einzelner JAX-Client Arbeitslasten über mehrere große TPU-Slices hinweg orchestrieren kann. Weitere Informationen finden Sie unter Pathways.

TPU-Slice-Knotenpools mit mehreren Hosts

Ein TPU-Slice-Knotenpool mit mehreren Hosts ist ein Knotenpool, der zwei oder mehr verbundene TPU-VMs enthält. Mit jeder VM ist ein TPU-Gerät verbunden. Die TPUs in einem TPU-Slice mit mehreren Hosts sind über eine Hochgeschwindigkeitsverbindung (ICI) verbunden. Nachdem ein TPU-Slice-Knotenpool mit mehreren Hosts erstellt wurde, können Sie ihm keine Knoten mehr hinzufügen. Sie können beispielsweise keinen v4-32-Knotenpool erstellen und dem Knotenpool später einen Kubernetes-Knoten (TPU-VM) hinzufügen. Wenn Sie einem GKE-Cluster ein TPU-Slice hinzufügen möchten, müssen Sie einen neuen Knotenpool erstellen.

Die VMs in einem TPU-Slice-Knotenpool mit mehreren Hosts werden als eine einzelne atomare Einheit behandelt. Wenn GKE einen Knoten im Slice nicht bereitstellen kann, werden keine Knoten im TPU-Slice-Knoten bereitgestellt.

Wenn ein Knoten in einem TPU-Slice mit mehreren Hosts repariert werden muss, fährt GKE alle VMs im TPU-Slice herunter und erzwingt die Bereinigung aller Kubernetes-Pods in der Arbeitslast. Nachdem alle VMs im TPU-Slice aktiv sind, können die Kubernetes-Pods auf den VMs im neuen TPU-Slice geplant werden.

Das folgende Diagramm zeigt einen v5litepod-16 (v5e)-TPU-Slice mit mehreren Hosts. Dieses TPU-Slice hat vier VMs. Jede VM im TPU-Slice hat vier TPU v5e-Chips, die über Hochgeschwindigkeits-Interconnect-Verbindungen (ICI) verbunden sind, und jeder TPU v5e-Chip hat einen TensorCore:

Diagramm eines TPU-Slice mit mehreren Hosts

Das folgende Diagramm zeigt einen GKE-Cluster, der einen TPU-v5litepod-16-Slice (v5e) (Topologie: 4x4) und einen TPU-v5litepod-8-Slice (v5e) (Topologie: 2x4) enthält:

Diagramm: TPU v5e-Pod

TPU-Slice-Knotenpools mit einem Host

Ein Slice-Knotenpool mit einem einzelnen Host ist ein Knotenpool, der eine oder mehrere unabhängige TPU-VMs enthält. Mit jeder VM ist ein TPU-Gerät verbunden. Die VMs in einem Slice-Knotenpool mit einem einzelnen Host können zwar über das Rechenzentrumsnetzwerk (Data Center Network, DCN) kommunizieren, die an die VMs angehängten TPUs sind jedoch nicht miteinander verbunden.

Das folgende Diagramm zeigt ein Beispiel für ein TPU-Slice mit einem einzelnen Host, das sieben v4-8-Maschinen enthält:

Diagramm eines Slice-Knotenpools mit einem einzelnen Host

Eigenschaften von TPUs in GKE

TPUs haben besondere Merkmale, die eine spezielle Planung und Konfiguration erfordern.

TPU-Nutzung

Um die Ressourcenauslastung und die Kosten zu optimieren und gleichzeitig die Arbeitslastleistung zu berücksichtigen, unterstützt die GKE die folgenden TPU-Nutzungsoptionen:

  • Flex-Start: Zum Bereitstellen von Flex-Start-VMs für bis zu sieben Tage, wobei GKE die Hardware automatisch auf Best-Effort-Basis basierend auf der Verfügbarkeit zuweist. Weitere Informationen finden Sie unter GPU-, TPU- und H4D-Nutzung mit dem Bereitstellungsmodus „Flex-Start“.
  • Spot-VMs: Wenn Sie Spot-VMs bereitstellen, können Sie erhebliche Rabatte erhalten. Spot-VMs können jedoch jederzeit mit einer 30-sekündigen Warnung vorzeitig beendet werden. Weitere Informationen finden Sie unter Spot-VMs.
  • Vorausschauende Reservierung für bis zu 90 Tage (im Kalendermodus): TPU-Ressourcen für bis zu 90 Tage für einen bestimmten Zeitraum bereitstellen. Weitere Informationen finden Sie unter TPUs mit vorausschauender Reservierung im Kalendermodus anfordern.
  • TPU-Reservierungen: Vorausschauende Reservierung für ein Jahr oder länger anfordern.
  • On-Demand: TPUs nutzen, ohne im Voraus Kapazität zu reservieren. Bevor Sie Ressourcen anfordern, müssen Sie ein ausreichendes On-Demand-Kontingent für den spezifischen Typ und die Anzahl der TPU-VMs haben. On-Demand ist die flexibelste Verbrauchsoption. Es gibt jedoch keine Garantie dafür, dass genügend On-Demand-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen.

On-Demand ist das Standardnutzungsmodell für TPUs in GKE, wenn Sie keine andere Option angeben. Informationen zum Auswählen der Nutzungsoption, die Ihren Arbeitslastanforderungen entspricht, finden Sie unter Beschleunigernutzungsoptionen für KI-/ML-Arbeitslasten in der GKE.

Bevor Sie TPUs in GKE verwenden, wählen Sie die Verbrauchsoption aus, die am besten zu Ihren Arbeitslastanforderungen passt.

Topologie

Die Topologie definiert die physische Anordnung von TPUs in einem TPU-Slice. GKE stellt ein TPU-Slice in zwei- oder dreidimensionalen Topologien bereit, je nach TPU-Version. Sie geben eine Topologie als Anzahl der TPU-Chips in jeder Dimension so an:

Für TPU v4, v5p und Ironwood (TPU7x), die in TPU-Slice-Knotenpools mit mehreren Hosts geplant sind, definieren Sie die Topologie in 3-Tupeln ({A}x{B}x{C}), z. B. 4x4x4. Das Produkt von {A}x{B}x{C} definiert die Anzahl der TPU-Chips im Knotenpool. Beispielsweise können Sie kleine Topologien mit weniger als 64 TPU-Chips mit Topologieformen wie 2x2x2, 2x2x4 oder 2x4x4 definieren. Wenn Sie größere Topologien mit mehr als 64 TPU-Chips verwenden, müssen die Werte, die Sie {A}, {B} und {C} zuweisen, die folgenden Bedingungen erfüllen:

  • {A}, {B} und {C} müssen Vielfache von vier sein.
  • Die größte unterstützte Topologie für v4 ist 12x16x16 und für v5p 16x16x24.
  • Die zugewiesenen Werte müssen dem Muster A ≤ B ≤ C entsprechen. Beispiel: 4x4x8 oder 8x8x8.

Benennung von Maschinentypen

Die Benennung von Maschinentypen für TPUs in GKE variiert je nach Clustermodus und TPU-Version:

  • GKE Standard: Sie wählen einen bestimmten Compute Engine-Maschinentyp aus, z. B. ct6e-standard-1t für TPU Trillium (v6e).

  • GKE Autopilot: Sie wählen Maschinentypen nicht direkt aus. Stattdessen fordern Sie TPUs mithilfe eines Beschleunigertyps in Ihrem Arbeitslastmanifest an. Verwenden Sie beispielsweise tpu-v6e-slice für TPU Trillium (v6e) oder tpu-v5-lite-podslice für TPU v5e. GKE Autopilot stellt dann die zugrunde liegenden Knoten mit den entsprechenden Maschinentypen bereit, um die Anfrage zu erfüllen.

Die genauen Maschinentypen, die für jede TPU-Version verfügbar sind, finden Sie in den Tabellen unter TPUs in GKE planen.

Privilegierter Modus

Wenn Sie GKE-Versionen vor 1.28 verwenden, müssen Sie Ihre Container mit speziellen Funktionen für den Zugriff auf TPUs konfigurieren. In Clustern im Standardmodus können Sie diesen Zugriff im privilegierten Modus gewähren. Der privilegierte Modus überschreibt viele der anderen Sicherheitseinstellungen in der securityContext. Weitere Informationen finden Sie unter Container ohne privilegierten Modus ausführen.

Für Version 1.28 und höher sind kein privilegierter Modus und keine speziellen Funktionen erforderlich.

Funktionsweise von TPUs in GKE

Die Kubernetes-Ressourcenverwaltung und -Priorisierung behandelt VMs auf TPUs so wie andere VM-Typen. Verwenden Sie den Ressourcennamen google.com/tpu, um TPU-Chips anzufordern:

resources:
  requests:
    google.com/tpu: 4
  limits:
    google.com/tpu: 4

Wenn Sie TPUs in GKE verwenden, müssen Sie die folgenden TPU-Eigenschaften beachten:

  • Eine VM kann auf bis zu 8 TPU-Chips zugreifen.
  • Ein TPU-Slice enthält eine feste Anzahl von TPU-Chips, die vom ausgewählten TPU-Maschinentyp abhängt.
  • Die Anzahl der angeforderten google.com/tpu muss der Gesamtzahl der verfügbaren TPU-Chips auf dem TPU-Slice-Knoten entsprechen. Jeder Container in einem GKE-Pod, der TPUs anfordert, muss alle TPU-Chips im Knoten nutzen. Andernfalls schlägt das Deployment fehl, da GKE die TPU-Ressourcen nicht teilweise nutzen kann. Sehen Sie sich die folgenden Szenarien an:
    • Der Maschinentyp ct5lp-hightpu-4t mit einer 2x4-Topologie enthält zwei TPU-Slice-Knoten mit jeweils vier TPU-Chips, also insgesamt acht TPU-Chips. Dieser Maschinentyp bietet Folgendes:
    • Ein GKE-Pod, für den acht TPU-Chips erforderlich sind, kann nicht auf den Knoten in diesem Knotenpool bereitgestellt werden.
    • Es können zwei Pods bereitgestellt werden, die jeweils vier TPU-Chips erfordern, wobei jeder Pod auf einem der beiden Knoten in diesem Knotenpool bereitgestellt wird.
    • TPU v5e mit der Topologie 4 × 4 hat 16 TPU-Chips in vier Knoten. Die GKE Autopilot-Arbeitslast, die diese Konfiguration auswählt, muss vier TPU-Chips in jedem Replikat für ein bis vier Replikate anfordern.
  • In Standardclustern können mehrere Kubernetes-Pods auf einer VM geplant werden, aber in jedem Pod kann nur ein Container auf die TPU-Chips zugreifen.
  • Zum Erstellen von kube-system-Pods wie kube-dns muss jeder Standard-Cluster mindestens einen Nicht-TPU-Slice-Knotenpool haben.
  • Standardmäßig haben TPU-Slice-Knoten die google.com/tpu-Markierung, wodurch verhindert wird, dass Nicht-TPU-Arbeitslasten auf den TPU-Slice-Knoten geplant werden. Arbeitslasten, die keine TPUs verwenden, werden auf Nicht-TPU-Knoten ausgeführt. Dadurch wird Rechenleistung auf TPU-Slice-Knoten für Code freigegeben, der TPUs verwendet. Die Markierung sorgt nicht automatisch dafür, dass TPU-Ressourcen vollständig genutzt werden.
  • GKE erfasst die Logs, die von Containern auf TPU-Slice-Knoten ausgegeben werden. Weitere Informationen finden Sie unter Logging.
  • TPU-Auslastungsmesswerte wie Laufzeitleistung sind in Cloud Monitoring verfügbar. Weitere Informationen finden Sie unter Beobachtbarkeit und Messwerte.
  • Sie können Ihre TPU-Arbeitslasten mit GKE Sandbox in einer Sandbox ausführen. GKE Sandbox funktioniert mit TPU-Modellen ab Version 4. Weitere Informationen finden Sie unter GKE Sandbox.

Automatische Erstellung von Knotenpools mit TPUs

Die automatische Erstellung von Knotenpools unterstützt die folgenden Cloud TPUs nur in bestimmten GKE-Versionen:

  • TPU v3: 1.31.0 und höher.
  • TPU v5 und TPU v4: 1.29.0 und höher.
  • TPU Trillium: 1.32.0 und höher.
  • Ironwood (TPU7x): 1.34.1-gke.2541000 oder höher.

Andere Cloud TPU-Typen werden in allen GKE-Versionen unterstützt. Weitere Informationen zu den verfügbaren GKE-Versionen für TPUs finden Sie unter TPU-Verfügbarkeit in GKE prüfen.

Autoscaling für Cloud TPU-Knotenpools

Die GKE skaliert automatisch oder manuell erstellte Cloud TPU-Knotenpools, die Cluster Autoscaler verwenden, auf eine der folgenden Arten:

  • TPU-Slice-Knotenpool mit einem einzelnen Host: GKE fügt dem vorhandenen Knotenpool TPU-Knoten hinzu oder entfernt sie. Der Knotenpool kann eine beliebige Anzahl von TPU-Knoten zwischen null und der maximalen Größe des Knotenpools enthalten, wie durch die Autoscaling-Flags --max-nodes und --total-max-nodes bestimmt. Alle TPU-Knoten im Knotenpool haben denselben Maschinentyp und dieselbe Topologie. Weitere Informationen zum Erstellen eines TPU-Slice-Knotenpools mit einem Host finden Sie unter TPU-Slice-Knotenpool mit einem Host erstellen.
  • TPU-Slice-Knotenpool mit mehreren Hosts: GKE skaliert den Knotenpool in kleinstmöglichen Schritten von null auf die Anzahl der Knoten, die für die TPU-Topologie erforderlich sind. Bei einem TPU-Knotenpool mit dem Maschinentyp ct5lp-hightpu-4t und der Topologie 16x16 hat der Knotenpool beispielsweise immer entweder 64 Knoten oder null Knoten. Die GKE skaliert den Knotenpool herunter, wenn sich keine TPU-Arbeitslasten im Knotenpool befinden. Um den Knotenpool herunterzuskalieren, entfernt GKE alle geplanten Pods und alle Knoten im Knotenpool. Weitere Informationen zum Erstellen eines TPU-Slice-Knotenpools mit mehreren Hosts finden Sie unter TPU-Slice-Knotenpool mit mehreren Hosts erstellen.

Planungsoption für Sammlungen

Die Planung von Sammlungen wird nur für TPU Trillium unterstützt.

In TPU Trillium können Sie die Planungsoption für Sammlungen verwenden, um TPU-Slice-Knoten zu gruppieren. Durch das Gruppieren dieser TPU-Slice-Knoten ist es einfacher, die Anzahl der Replikate an die Anforderungen der Arbeitslast anzupassen. Google Cloud steuert Softwareupdates, um sicherzustellen, dass immer genügend Slices in der Sammlung verfügbar sind, um Traffic zu verarbeiten.

TPU Trillium unterstützt die Sammlungsplanung für Knotenpools mit einem einzelnen Host und mehreren Hosts, auf denen Inferenzarbeitslasten ausgeführt werden. Im Folgenden wird beschrieben, wie das Planungsverhalten für Sammlungen vom Typ des verwendeten TPU-Slice abhängt:

  • TPU-Slice mit mehreren Hosts: GKE gruppiert TPU-Slices mit mehreren Hosts zu einer Sammlung. Jeder GKE-Knotenpool ist ein Replikat in dieser Sammlung. Wenn Sie eine Sammlung definieren möchten, erstellen Sie einen TPU-Slice mit mehreren Hosts und weisen Sie der Sammlung einen eindeutigen Namen zu. Wenn Sie der Sammlung weitere TPU-Slices hinzufügen möchten, erstellen Sie einen weiteren TPU-Slice-Knotenpool mit mehreren Hosts mit demselben Sammlungsnamen und Arbeitslasttyp.
  • TPU-Slice mit einzelnem Host: GKE betrachtet den gesamten TPU-Slice-Knotenpool mit einzelnem Host als Sammlung. Wenn Sie der Sammlung weitere TPU-Slices hinzufügen möchten, können Sie die Größe des TPU-Slice-Knotenpools mit einem Host anpassen.

Für die Planung der Erfassung gelten die folgenden Einschränkungen:

  • Sie können nur Sammlungen für TPU Trillium planen.
  • Sammlungen können nur beim Erstellen des Knotenpools definiert werden.
  • Spot-VMs werden nicht unterstützt.
  • Sammlungen, die TPU-Slice-Knotenpools mit mehreren Hosts enthalten, müssen für alle Knotenpools innerhalb der Sammlung denselben Maschinentyp, dieselbe Topologie und dieselbe Version verwenden.

In den folgenden Szenarien können Sie die Planung der Erfassung konfigurieren:

Nächste Schritte

Informationen zum Einrichten von Cloud TPU in GKE finden Sie auf den folgenden Seiten: