JAX-Arbeitslasten zu Pathways portieren

Dieses Dokument richtet sich an ML-Entwickler, die JAX-Arbeitslasten zu Pathways in der Google Kubernetes Engine (GKE) portieren. Es wird erläutert, wie sich die Ausführung mit einem einzelnen Controller auf die Geräteindexierung, die CPU-Hostgröße, die pathwaysutils-Integration, die Prüfpunkterstellung, das Laden von Daten, das Caching von Kompilierungen, die Profilerstellung und XLA-Flags auswirkt.

Hinweis

Erfüllen Sie die folgenden Voraussetzungen:

Prozessindex

JAX mit Pathways behandelt alle Geräte in Ihrem Pathways-Cluster als lokal. Das vereinfacht die Geräteverwaltung und ermöglicht es JAX, alle verfügbaren Ressourcen zu nutzen. In der Praxis bedeutet das:

  • jax.process_index() gibt für alle Geräte immer 0 zurück.
  • jax.devices() und jax.local_devices() geben alle Cloud TPU-Geräte im gesamten Job zurück.

Hardwaretyp und Colocation

Um eine optimale Leistung zu erzielen, sollten Sie alle Pathways-Komponenten und Ihren JAX-Job in derselbenGoogle Cloud -Zone platzieren. Führen Sie die CPU-Hauptknotenkomponenten wie den IFRT-Proxyserver, den Pathways-Ressourcenmanager und (für Batcharbeitslasten) Ihren JAX-Controller-Prozess auf einer dedizierten CPU-VM mit hoher Kapazität aus, um den Kompilierungs- und Koordinationsaufwand zu bewältigen. Verwenden Sie mindestens den Maschinentyp n2-standard-64, der 64 vCPUs und 256 GB Arbeitsspeicher bietet.

Das Paket pathwaysutils

Pathways-utils ist ein Open-Source-Python-Paket, das JAX-Arbeitslasten in Pathways in der Cloud einbindet. Es bietet die folgenden Funktionen, mit denen Sie sich mit minimalen Konfigurationsänderungen auf Ihre Workflows für maschinelles Lernen konzentrieren können:

  • Proxy-JAX-Backend: Aktiviert das Pathways-Backend, wenn Sie die Umgebungsvariable JAX_PLATFORMS=proxy festlegen.
  • Integrierte Profilerstellungstools: Sie können sowohl Ihren JAX-Code als auch die zugrunde liegenden Pathways-Komponenten mit standardmäßigen JAX-Profilerstellungs-APIs wie jax.profiler.start_trace und jax.profiler.start_server profilieren.
  • Verteilte Prüfpunkte mit Orbax: Registriert benutzerdefinierte Orbax-Prüfpunkthandler, wenn Sie pathwaysutils importieren. So können Sie verteilte Prüfpunkte speichern und wiederherstellen, ohne Ihren Orbax-Code zu ändern.
  • Primitive für elastisches Training: Stellen Bausteine für elastisches Training bereit, damit sich Ihre Trainingsjobs dynamisch an Änderungen der verfügbaren Cloud TPU-Slices anpassen können.

Prüfpunkte

Orbax wird mit Pathways für verteilte Prüfpunkte und Wiederherstellung mit Cloud Storage getestet. Wenn Sie die Umgebungsvariable ENABLE_PATHWAYS_PERSISTENCE=1 festlegen und import pathwaysutils; pathwaysutils.initialize() in Ihrem Trainingsskript aufrufen, registriert Pathways ein benutzerdefiniertes ArrayHandler. Prüfpunktvorgänge werden über den Interim Framework Runtime (IFRT)-Proxy ausgeführt, sodass Pathways-Worker auf Beschleunigern Daten direkt speichern und wiederherstellen können.

Zusammengeführte Python-Funktionen

Colocated Python ist eine Open-Source-JAX-API, mit der Sie benutzerdefinierten Python-Code direkt auf Host-CPUs ausführen können, die mit Beschleunigern verbunden sind. In GKE führt Pathways Python auf Cloud TPU-Worker-VMs aus, um zu vermeiden, dass Hostdaten für das Laden von Daten und das Erstellen von Prüfpunkten über den Controller übertragen werden.

Informationen zum Erstellen eines benutzerdefinierten Sidecar-Container-Images und zum Konfigurieren Ihres Pathways-JobSet mit gemeinsam genutztem Hostspeicher ohne Kopieren finden Sie unter Colocated Python mit Pathways ausführen.

Laden der Daten

Während des Trainings lädt Ihre Arbeitslast wiederholt Batches aus einem Dataset, um sie in das Modell einzuspeisen. Mit einem effizienten, asynchronen Data Loader, der jeden Batch auf Hosts verteilt, wird vermieden, dass Beschleuniger nicht ausgelastet sind. Beim standardmäßigen Pathways-Training wird der Daten-Loader auf einer CPU-VM (und nicht auf Cloud TPU-Worker-VMs wie bei Multi-Controller-Setups) ausgeführt und sendet Daten an Cloud TPU-VMs. Das Lesen über das Netzwerk erhöht die Latenz, was Pathways teilweise verringert, indem mehrere Batches auf dem CPU-Host im Voraus gelesen und die Daten asynchron an die Cloud TPUs gesendet werden. Dieser Ansatz ist für kleine bis mittlere Größenordnungen ausreichend.

Wenn Sie einen Multiprocess-Datenlader (z. B. Grain) im Head-Arbeitslastcontainer in GKE ausführen, teilt sich der Container den Head-Knoten mit den Containern pathways-proxy und pathways-rm. Konfigurieren Sie aufgrund dieses freigegebenen Hosts Folgendes:

  • Explizite Worker-Anzahl festlegen: In einem Container meldet os.cpu_count() die Gesamtzahl der vCPUs der Host-VM und nicht das CPU-Limit des Containers. Übergeben Sie eine explizite Worker-Anzahl (nicht mehr als das CPU-Limit des Containers), anstatt sie von os.cpu_count() abzuleiten.
  • Speichergestütztes /dev/shm-Volume bereitstellen: Multiprozess-Datenlader verwenden POSIX-Shared-Memory (/dev/shm) für die prozessübergreifende Kommunikation. Stellen Sie ein speichergestütztes emptyDir-Volume (medium: Memory) unter /dev/shm bereit, damit die im Voraus abgerufenen Batches das Standardlimit für den gemeinsam genutzten Arbeitsspeicher des Containers nicht überschreiten.

Für eine optimale Leistung im großen Maßstab sollten Sie Ihre Eingabedatenpipeline mit Colocated Python so platzieren, dass sie direkt auf den Cloud TPU-Worker-Hosts ausgeführt wird. Dadurch wird der CPU-Engpass beseitigt und Cloud TPU-Interconnects werden für die schnelle Datenübertragung verwendet.

Ein Referenzbeispiel für die Migration einer TFDS-basierten Eingabepipeline finden Sie in der RemoteIterator-Implementierung in multihost_dataloading.py. Diese Implementierung funktioniert sowohl auf Multi-Controller-JAX als auch auf Pathways, indem die colocated Python JAX API verwendet wird.

JAX-Versionierung

Pathways-Releases sind aus Gründen der Kompatibilität und Stabilität eng mit JAX-Versionen gekoppelt. Prüfen Sie, ob Ihre Pathways-Container-Images und Ihre JAX-Version übereinstimmen. In jedem Pathways-Release wird die kompatible JAX-Version durch ein Image-Tag im Format jax-<version> angegeben.

Kompilierungs-Cache

Im nichtflüchtigen Kompilierungscache von Pathways werden kompilierte XLA-Ausführbare an einem nichtflüchtigen Speicherort wie Cloud Storage gespeichert, um eine redundante Kompilierung zu vermeiden. Diese Funktion ist standardmäßig aktiviert, wenn Sie --gcs_scratch_location an die Container pathways-proxy, pathways-rm und pathways-worker (oder worker) übergeben. Damit die Speicherkosten niedrig bleiben, wird dem Cloud Storage-Bucket vom Cache eine Richtlinie für den Objektlebenszyklus zugewiesen. Da Cloud Storage Buckets auf 50 Lebenszyklusrichtlinien beschränkt, sollten Sie für alle Arbeitslasten einen gemeinsamen Cloud Storage-Speicherort verwenden.

Wenn Sie das Flag --gcs_scratch_location weglassen oder leer lassen, greift Pathways auf einen In-Memory-Kompilierungs-Cache zurück. In diesem Cache werden kompilierte XLA-Ausführbare nicht über Pathways-Bereitstellungen hinweg beibehalten.

Dieser Cache ähnelt dem JAX-Kompilierungscache, den pathwaysutils.initialize() für Pathways-Arbeitslasten deaktiviert.

Für den Kompilierungs-Cache sind die folgenden Cloud Storage-Berechtigungen erforderlich:

  • storage.buckets.get: Ruft Bucket-Metadaten ab.
  • storage.buckets.update: Ermöglicht Pathways, Richtlinien für den Objektlebenszyklus einzurichten, um die TTL für die Cache-Entfernung zu erzwingen.
  • storage.objects.list: Listet vorhandene Cache-Objekte im Bucket auf.
  • storage.objects.create: Schreibt neue kompilierte ausführbare Dateien in den Cache.
  • storage.objects.get: Liest im Cache gespeicherte ausführbare Dateien aus dem Bucket.

Profilerstellung

Sie können den JAX-Profiler verwenden, um Traces eines JAX-Programms auf zwei Arten zu generieren:

  • Programmatisch: Profile direkt aus Ihrem JAX-Code erfassen.
  • Manuell: Profile werden nach dem Starten des Profiler-Servers in Ihrem JAX-Code bei Bedarf erfasst.

In beiden Fällen schreibt Pathways die Profile in einen Cloud Storage-Bucket und erstellt mehrere Trace-Dateien, möglicherweise in verschiedenen Zeitstempelverzeichnissen, z. B.:

  • Python-Hauptprozess, der den Trace aufgerufen hat (normalerweise Ihre Notebook-VM): JAX_CLIENT_VM_NAME.xplane.pb
  • Pathways-IFRT-Proxy: client.PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways-Ressourcenmanager: server.*PATHWAYS_HEAD_NODE_NAME.xplane.pb
  • Pathways-Worker: server.*TPU_NODE_NAME.xplane.pb

Sie können diese Trace-Dateien mit TensorBoard analysieren, indem Sie die folgenden Befehle ausführen. Weitere Informationen zu TensorBoard und den Profiling-Tools finden Sie unter TensorFlow-Leistung mit dem Profiler optimieren.

# Verify that trace files are present
gcloud storage ls -l -r gs://BUCKET/PREFIX

# View on TensorBoard
tensorboard --load_fast=false --logdir=gs://BUCKET/PREFIX

Ersetzen Sie Folgendes:

  • BUCKET: der Cloud Storage-Bucket, in dem die Trace-Dateien gespeichert werden.
  • PREFIX: der Pfad in Ihrem Cloud Storage-Bucket, in dem die Trace-Dateien gespeichert sind.

Programmatische Profilerfassung

Erfassen Sie ein Profil aus Ihrem Code. Pathways speichert die Profile in gs://BUCKET/PREFIX unter einem Zeitstempelverzeichnis:

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_trace("gs://BUCKET/PREFIX")

# Run the operations to be profiled
key = jax.random.key(0)
x = jax.random.normal(key, (5000, 5000))
y = x @ x
y.block_until_ready()

jax.profiler.stop_trace()

Manuelle Profilerfassung

Wenn Sie Profilinformationen manuell erfassen möchten, starten Sie den Profiler-Server über Ihren Python-Code:

import jax
import pathwaysutils

pathwaysutils.initialize()

jax.profiler.start_server(JAX_PROFILER_PORT)

# Your JAX code
jax.profiler.stop_server()

Ersetzen Sie JAX_PROFILER_PORT durch die Portnummer für den JAX-Profiler-Server.

Erfassen Sie ein Profil, während der Profiler-Server ausgeführt wird, und exportieren Sie die Daten in den Cloud Storage-Zielspeicherort. Führen Sie den folgenden Befehl im Arbeitslastcontainer oder nach der Weiterleitung von JAX_PROFILER_PORT vom pathways-head-Pod aus:

export DURATION_IN_SECS=6
export OUTPUT_DIR="gs://BUCKET/PREFIX/"

curl -X POST http://localhost:JAX_PROFILER_PORT/profiling \
     -H "Content-Type: application/json" \
     -d "{\"duration_ms\": $((DURATION_IN_SECS * 1000)), \"repository_path\": \"${OUTPUT_DIR}\"}"

Informationen zum Timing für IFRT-Proxy-Client-Methoden wie Compile und Execute finden Sie im Trace Ihres Programms. Diese Ereignisse, die die Interaktionen mit dem IFRT-Proxy-gRPC-Server während der Kompilierung und Ausführung beschreiben, werden im Thread mit dem Namen GrpcClientSessionUserFuturesWorkQueue angezeigt. Wenn Sie diesen Thread in Ihrem Trace untersuchen, erhalten Sie Einblick in die Leistung dieser Vorgänge.

XLA-Flags

Wenn Sie Pathways verwenden, legen Sie XLA-Flags im Container pathways-proxy fest.

Wenn Sie das Cluster Toolkit (den Befehl gcluster job submit) verwenden, legen Sie XLA-Flags mit --pathways-proxy-args fest:

--pathways-proxy-args="--xla_flag_1=value1 --xla_flag_2=value2"

HLO-Dump

Wenn Sie die an den XLA-Compiler übergebenen HLO-Eingaben (High-Level Optimizer) prüfen möchten, konfigurieren Sie Pathways so, dass HLO mit --pathways-proxy-args in einen Cloud Storage-Speicherort ausgegeben wird:

--pathways-proxy-args="--xla_dump_to=gs://BUCKET_NAME/HLO_PREFIX/"

Ersetzen Sie Folgendes:

  • BUCKET_NAME: der Cloud Storage-Bucket für den HLO-Dump.
  • HLO_PREFIX: das Pfadpräfix in Ihrem Bucket.

Nächste Schritte