Tensor Processing Units (TPUs) sind von Google speziell entwickelte, anwendungsspezifische integrierte Schaltungen (Application-Specific Integrated Circuits, ASICs) zur Beschleunigung von Arbeitslasten im Bereich des maschinellen Lernens (ML) und der künstlichen Intelligenz (KI). Unabhängig davon, ob Sie komplexe Foundation Models über Wochen hinweg trainieren oder umfangreiche Inferenzen ausführen, bieten TPUs skalierbare, spezialisierte Rechenressourcen, die für Frameworks wie JAX und PyTorch optimiert sind.
Cloud TPUs sind für die anspruchsvollsten KI-Arbeitslasten konzipiert. Zu den wichtigsten Vorteilen gehören:
Für Matrixberechnungen optimiert: TPUs sind speziell mit Matrix Multiply Units (MXUs) ausgestattet, um die umfangreichen Matrixvorgänge, die für ML-Algorithmen grundlegend sind, mit außergewöhnlicher Effizienz auszuführen.
High-Bandwidth Memory (HBM): Mit dem auf dem Chip integrierten High-Bandwidth Memory können Sie größere Modelle trainieren und bereitstellen und größere Batchgrößen effektiv nutzen.
Massive Skalierbarkeit mit Slices: TPU-Chips können in Gruppen, sogenannten Slices, verbunden werden. Mit den Slices können Ihre Arbeitslasten für umfangreiche Trainingsjobs auf Tausende von TPU-Chips skaliert werden.
Verwendung von TPUs
TPUs sind für bestimmte Arbeitslasten optimiert, z. B.:
- Modelle, die von Matrixberechnungen dominiert werden
- Modelle ohne benutzerdefinierte PyTorch-/JAX-Vorgänge innerhalb der Haupttrainingsschleife
- Modelle, die Wochen oder Monate lang trainiert werden
- Große Modelle mit großen, effektiven Batchgrößen
- Modelle mit extrem großen Einbettungen, wie sie bei anspruchsvollen Ranking- und Empfehlungs-Arbeitslasten üblich sind
TPUs sind für folgende Arbeitslasten nicht geeignet:
- Lineare Algebraprogramme, die häufige Verzweigungen erfordern oder viele elementweise Algebravorgänge enthalten
- Arbeitslasten, die hochpräzise Arithmetik erfordern
- Neuronale Netzwerkarbeitslasten, die in der Haupttrainingsschleife benutzerdefinierte Vorgänge enthalten
Bereitstellungsoptionen für Google Cloud
Je nach Ihren betrieblichen Anforderungen können Sie mit den folgenden Google Cloud -Produkten auf TPUs zugreifen und sie bereitstellen.
Compute Engine
Mit der Compute Engine können Sie einzelne TPU-VMs oder Slices erstellen und verwalten. So können Sie den gesamten Lebenszyklus von TPU-VMs verwalten. Google empfiehlt, die TPU-Ressourcen über Compute Engine und nicht über die Legacy-Cloud TPU API bereitzustellen.
Weitere Informationen finden Sie unter Cloud TPU-Ressourcen in Compute Engine.
Google Kubernetes Engine
Die Google Kubernetes Engine (GKE) bietet eine vollständig verwaltete, mandantenfähige Kubernetes-Umgebung für die Orchestrierung großer KI-Arbeitslasten. GKE unterstützt die Verwaltung des Lebenszyklus von TPU-Knoten und -Knotenpools, einschließlich Erstellen, Konfigurieren und Löschen von TPU-VMs.
Weitere Informationen finden Sie unter TPUs in GKE.
Batch
Batch ist ein vollständig verwalteter Dienst, mit dem Sie containerisierte oder skriptbasierte Arbeitslasten, die auf Compute Engine-TPU-VMs ausgeführt werden, planen, in die Warteschlange stellen und ausführen können.
Weitere Informationen finden Sie unter Batchjob erstellen und ausführen, der TPUs verwendet.
Cloud TPU
Die Cloud TPU API, einschließlich der Google Cloud CLI und der Cloud-Clientbibliotheken für Cloud TPU, wird nicht mehr weiterentwickelt. Google empfiehlt, für die Bereitstellung und Verwaltung von TPU-Ressourcen Compute Engine oder GKE zu verwenden, je nach Ihren Anforderungen an Orchestrierung und Arbeitslasten.
Weitere Informationen finden Sie unter Von der Cloud TPU API migrieren.
In Compute Engine unterstützte TPU-Versionen
Compute Engine unterstützt die folgenden TPU-Versionen:
- TPU7x (Ironwood)
- TPU v6e (Trillium)
- TPU v5p
Weitere Informationen zu den einzelnen TPU-Versionen finden Sie unter TPU-Maschinen.