Pengantar Jalur Pembelajaran di Cloud

Pathways adalah runtime terdistribusi untuk JAX yang menggunakan model eksekusi pengontrol tunggal untuk mengorkestrasi workload machine learning (ML) berskala besar, multitugas, dan diaktifkan secara tersebar di satu atau beberapa slice TPU. Framework ini memungkinkan satu proses Python (pengontrol) mengoordinasikan komputasi di ribuan atau puluhan ribu chip TPU dan mengalokasikan komputasi secara dinamis di berbagai tugas.

Alih-alih menjalankan salinan terpisah dari program Python Anda di setiap VM TPU, workload JAX Anda berjalan dalam proses CPU klien (pengontrol) dan berkomunikasi melalui gRPC dengan bidang kontrol Pathways di node head CPU, yang merupakan VM khusus CPU di cluster Anda yang menghosting layanan koordinasi dan kompilasi Pathways. Bidang kontrol mengompilasi kode Anda dan mengirimkan komputasi ke worker Pathways yang berjalan di VM TPU Anda.

Google menggunakan Pathways secara internal untuk melatih model besar seperti Gemini. Pathways di Cloud menghadirkan arsitektur yang sama kepada pelanggan Google Cloud .

Sebelum memulai

Anda dapat menjalankan Pathways di Google Kubernetes Engine (GKE) atau di cluster Cluster Director dengan Slurm. Pilih tab untuk platform Anda guna melihat prasyaratnya.

GKE

Selesaikan prasyarat berikut:

Dokumen ini mengasumsikan bahwa Anda sudah memahami penggunaan TPU di GKE, termasuk TPU slice tunggal dan TPU multislice di GKE, serta memiliki pengalaman umum dengan TPU multislice.

Untuk membuat cluster, lihat Membuat cluster GKE dengan Pathways.

Cluster Director

Selesaikan prasyarat berikut:

Dokumen ini mengasumsikan bahwa Anda sudah memahami Cluster Director, mesin TPU di Cluster Director, dan menjalankan tugas dengan Slurm serta memiliki pengalaman umum dengan TPU multislice.

Untuk membuat cluster, lihat Membuat cluster Cluster Director dengan Pathways.

Pengontrol tunggal dan multi-pengontrol

Workload ML terdistribusi di TPU menggunakan model eksekusi multi-pengontrol (default di JAX) atau model eksekusi pengontrol tunggal (digunakan oleh Pathways). Kedua model ini berbeda dalam hal tempat kode Python Anda berjalan, cara program Anda melihat akselerator, dan cara workload dikoordinasikan di seluruh slice TPU.

Workload multi-pengontrol (default JAX)

Dalam model multi-pengontrol, setiap VM TPU di slice TPU Anda menjalankan skrip Python yang sama. Setiap VM TPU bertindak sebagai pengontrol independen untuk chip TPU yang terpasang langsung ke host tersebut. Workload multi-pengontrol memiliki karakteristik berikut:

  • Kontrol terdistribusi: Setiap VM TPU menjalankan salinan skrip Python Anda secara sinkron dan mengoordinasikan operasi kolektif di seluruh proses.
  • Tampilan perangkat yang dilokalkan: Setiap proses Python hanya mengelola langsung chip TPU yang terpasang ke VM lokalnya (jax.local_devices()), sedangkan jax.devices() mencantumkan semua perangkat di seluruh cluster.
  • Eksekusi program tunggal, multi-data (SPMD): Karena setiap host menjalankan skrip yang sama secara bersamaan, workload multi-pengontrol terutama mengikuti paradigma SPMD. Mengorkestrasi berbagai operasi pada subset slice TPU yang berbeda memerlukan logika koordinasi multi-host kustom.
  • Siklus proses yang digabungkan dengan host: Karena pengontrol Python berjalan langsung di VM TPU, jika ada VM TPU yang di-preempt atau gagal, semua proses pengontrol harus berhenti dan dimulai ulang bersama-sama.

Workload pengontrol tunggal (Pathways)

Dalam model pengontrol tunggal Pathways, satu proses Python bertindak sebagai pengontrol pusat untuk seluruh workload Anda. Program JAX Anda (pengontrol) berjalan di host CPU, seperti container batch di node head CPU atau VM klien eksternal, dan berkomunikasi dengan runtime Pathways melalui gRPC, bukan berjalan langsung di VM TPU Anda. Workload pengontrol tunggal memiliki karakteristik berikut:

  • Kontrol terpusat: Anda menjalankan dan memantau satu proses pengontrol Python yang mengirimkan komputasi ke runtime Pathways, yang mengelola eksekusi di semua VM TPU.
  • Tampilan perangkat terpadu: Program JAX Anda melihat semua slice TPU sebagai satu sistem terpadu. Dalam kode Anda, jax.process_index() selalu 0, dan jax.devices() serta jax.local_devices() menampilkan setiap TPU chip di semua slice yang dialokasikan seolah-olah terpasang ke satu mesin besar.
  • Pola komputasi yang fleksibel: Selain pelatihan SPMD standar, satu pengontrol dapat menjadwalkan komputasi yang berbeda di berbagai subset akselerator yang berbeda, sehingga mendukung paralelisme pipeline asimetris, workload multitugas, dan ketersebaran komputasi.
  • Siklus proses pengontrol yang dipisahkan: Karena program Python Anda berjalan di luar VM TPU, proses pengontrol dapat tetap berjalan saat pengelola resource Pathways memulihkan atau mengganti slice TPU yang di-preempt. Jika Anda perlu menjalankan kode Python lokal host di VM TPU—seperti pemuatan data, prapemrosesan, atau checkpointing dengan throughput tinggi—Anda dapat menggunakan Python yang ditempatkan bersama untuk menjalankan fungsi Python tertentu di CPU host TPU melalui server sidecar.

Komponen Pathways

Arsitektur Pathways mendistribusikan komponen di tiga lingkungan: lingkungan CPU klien, node head CPU, dan VM worker TPU. Diagram berikut mengilustrasikan cara komponen ini berinteraksi dan tempat setiap komponen berjalan:

Diagram arsitektur yang menunjukkan cara program JAX pengguna dan klien proxy IFRT tersemat berkomunikasi dengan server proxy IFRT, klien Pathways tersemat, dan pengelola resource Pathways di node head CPU, serta cara komponen tersebut mengirimkan pekerjaan ke worker Pathways, server sidecar opsional, dan chip Cloud TPU yang terpasang di setiap VM worker Cloud TPU.
Komponen Pathways dan penempatan host

Lingkungan CPU klien

Berjalan di container workload pada node head CPU (biasanya untuk tugas batch di GKE), atau di container klien terpisah, tugas Slurm, atau VM CPU eksternal (untuk workload interaktif atau Cluster Director):

  • Program pengguna (pengontrol): Proses JAX Python Anda, yang menentukan model, loop pelatihan, dan sharding perangkat, serta melihat semua chip TPU di seluruh slice sebagai perangkat lokal.
  • Klien proxy IFRT: Library Interim Framework Runtime (IFRT) open source yang disematkan dalam proses JAX Anda. Saat Anda mengimpor pathwaysutils dan menetapkan JAX_PLATFORMS=proxy, kode Anda akan dipisahkan dari runtime yang mendasarinya dan mengirim permintaan melalui gRPC ke server proxy IFRT.

Node head CPU

Berjalan di VM khusus CPU di cluster Anda (node pool node CPU di GKE, atau node komputasi CPU di Cluster Director):

  • Server proxy IFRT: Penampung server gRPC yang menerima permintaan dari klien proxy IFRT dan meneruskannya ke library klien Pathways yang disematkan.
  • Klien Pathways: Library runtime IFRT yang disematkan di dalam penampung server proxy IFRT. Sistem ini mengirimkan program High-Level Optimizer (HLO) ke layanan kompilasi di pengelola resource Pathways dan mengoordinasikan penempatan melalui gRPC. Kemudian, Pathways mengirimkan permintaan eksekusi dan data tensor ke worker Pathways dan menampilkan tampilan perangkat terpadu ke JAX.
  • Pengelola resource Pathways: Penampung bidang kontrol pusat. Pathways mengelola slice akselerator, memantau kondisi worker, menjadwalkan tugas, dan menghosting layanan kompilasi Pathways, yang mengompilasi program HLO menjadi file yang dapat dieksekusi XLA yang disimpan dalam cache kompilasi di --gcs_scratch_location.

VM worker Cloud TPU

Setiap VM worker TPU mengelola chip Cloud TPU yang terpasang (yang menjalankan komputasi XLA yang dikompilasi) melalui container CPU host:

  • Worker Pathways: Memuat file yang dapat dieksekusi yang telah dikompilasi dari cache kompilasi dan menerima permintaan eksekusi dan data tensor dari klien Pathways melalui gRPC. Worker ini menjalankan komputasi pada chip Cloud TPU yang terpasang, bertukar data dengan worker lain melalui interkoneksi berkecepatan tinggi, dan melaporkan kondisi ke resource manager.
  • Server sidecar (opsional, khusus GKE): Container gRPC (colocated-python-sidecar) yang menjalankan fungsi Python yang ditentukan pengguna (seperti pemuatan data dan checkpointing) di VM TPU. Framework ini bertukar buffer tensor dengan worker Pathways lokal melalui memori host bersama tanpa salinan. Lihat Menjalankan Python yang ditempatkan bersama dengan Pathways.

Komponen Pathways di GKE

Di GKE, Pod pathways-head berjalan di node pool CPU dan menghosting pathways-rm dan pathways-proxy (ditambah container workload batch Anda, jika berlaku). Setiap Pod TPU worker menjalankan worker (atau pathways-worker) dan, jika Python yang dicolokasikan diaktifkan, colocated-python-sidecar.

Anda dapat menemukan image container Pathways di lokasi berikut:

Jenis penampung Lokasi

Server proxy IFRT

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-JAX_VERSION

Pengelola resource dan worker Pathways

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-JAX_VERSION

Sidecar Python yang ditempatkan bersama (opsional)

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/colocated_python_sidecar:jax-JAX_VERSION

Pengelola resource Pathways

Setelah membuat cluster GKE, Anda dapat menggunakan containerSpec berikut untuk men-deploy resource manager Pathways:

  - name: pathways-rm
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
    imagePullPolicy: Always
    env:
    - name: HOST_ADDRESS
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    - name: TPU_SKIP_MDS_QUERY
      value: "true"
    args:
    - --server_port=29001
    - --node_type=resource_manager
    - --instance_count=WORKLOAD_NODEPOOL_COUNT
    - --instance_type=SLICE_TOPOLOGY
    - --gcs_scratch_location=gs://BUCKET_NAME

Ganti kode berikut:

  • WORKLOAD_NODEPOOL_COUNT: jumlah slice TPU.
  • SLICE_TOPOLOGY: jenis TPU dan topologi slice, dalam format tpuTPU_TYPE:TOPOLOGY—misalnya, tpuv5e:4x4.
  • BUCKET_NAME: bucket Cloud Storage yang digunakan untuk file sementara.

Container juga menggunakan argumen berikut:

  • --server_port: port yang digunakan resource manager Pathways untuk berkomunikasi dengan komponen Pathways lainnya (29001 dalam contoh ini).
  • --node_type: jenis node. Tetapkan argumen ini ke resource_manager untuk pengelola resource Pathways. Kontainer ini tidak diperlukan untuk kontainer lainnya.

Server proxy IFRT

Anda dapat menggunakan containerSpec berikut untuk men-deploy server proxy IFRT:

  - name: pathways-proxy
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest
    imagePullPolicy: Always
    env:
    - name: PATHWAYS_HEAD
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    args:
    - --resource_manager_address=$(PATHWAYS_HEAD):29001
    - --server_port=29000
    - --gcs_scratch_location=gs://BUCKET_NAME
    ports:
    - containerPort: 29000

Ganti BUCKET_NAME dengan nama bucket Cloud Storage yang digunakan untuk file sementara.

Container juga menggunakan argumen berikut:

  • --resource_manager_address: nama host dan port yang digunakan server proxy untuk berkomunikasi dengan resource manager Pathways. Port harus cocok dengan nilai --server_port yang digunakan untuk container pengelola resource Pathways.
  • --server_port: port yang digunakan server proxy IFRT untuk berkomunikasi dengan klien proxy IFRT (29000 dalam contoh ini).
  • --gcs_scratch_location: jalur Cloud Storage yang digunakan untuk file sementara.

Pekerja Pathways

Anda dapat menggunakan containerSpec berikut untuk men-deploy worker Pathways:

- name: worker
  image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
  imagePullPolicy: Always
  env:
  - name: PATHWAYS_HEAD
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
  - name: MEGASCALE_NUM_SLICES
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']"
  - name: MEGASCALE_SLICE_ID
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']"
  - name: MEGASCALE_COORDINATOR_ADDRESS
    value: "$(PATHWAYS_HEAD)"
  args:
  - --server_port=29001
  - --resource_manager_address=$(PATHWAYS_HEAD):29001
  - --gcs_scratch_location=gs://BUCKET_NAME
  ports:
  - containerPort: 29001
  resources:
    limits:
      google.com/tpu: "4"

Ganti BUCKET_NAME dengan nama bucket Cloud Storage yang digunakan untuk file sementara.

Container juga menggunakan argumen berikut:

  • --server_port: port yang digunakan worker untuk berkomunikasi dengan server proxy dan pengelola resource Pathways (29001 dalam contoh ini).
  • --resource_manager_address: nama host dan port yang digunakan TPU worker untuk berkomunikasi dengan resource manager Pathways. Port harus cocok dengan nilai --server_port yang digunakan untuk container pengelola resource Pathways.
  • --gcs_scratch_location: jalur Cloud Storage yang digunakan untuk file sementara.

Resource manager Pathways, server proxy IFRT, dan worker Pathways semuanya dapat memiliki port yang berbeda, tetapi dalam contoh ini, resource manager Pathways dan worker Pathways menggunakan port yang sama.

Komponen Pathways di Cluster Director

Bagian ini memetakan komponen Pathways ke tugas Slurm di cluster Cluster Director.

Skrip Pathways menjalankan komponen Pathways dengan Enroot. Skrip setup_env.sh menggunakan image container berikut, yang cocok dengan versi JAX (0.11.1) dari lingkungan Python yang dibangunnya:

Jenis penampung Lokasi

Server proxy IFRT

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-0.11.1

Pengelola resource dan worker Pathways

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-0.11.1

Anda memulai komponen Pathways dengan mengirimkan skrip start_pathways.sh sebagai tugas layanan Pathways. Anda tidak perlu menulis sendiri perintah berikut. Skrip mendapatkan argumen dari variabel lingkungan yang Anda tetapkan saat mengirimkan start_pathways.sh, seperti SLICE_SHAPE, MIN_SLICES, MAX_SLICES, dan GCS_BUCKET.

Pengelola resource Pathways

Tugas layanan Pathways menjalankan pengelola resource Pathways di satu node CPU. Perintah ini menjalankan perintah berikut di penampung server Pathways:

/pathways/server \
    --server_port=29001 \
    --node_type=resource_manager \
    --instance_type=tpuTPU_TYPE:TOPOLOGY \
    --instance_count=MAX_SLICES \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

Skrip akan mengisi placeholder berikut dalam perintah:

  • TPU_TYPE dan TOPOLOGY: jenis TPU dan topologi setiap slice, yang berasal dari SLICE_SHAPE—misalnya, SLICE_SHAPE=2x4 menetapkan tpuv6e:2x4.
  • MAX_SLICES: jumlah maksimum slice TPU, dari MAX_SLICES.
  • BUCKET_NAME: nama bucket Cloud Storage Anda, dari GCS_BUCKET.

Perintah ini menggunakan argumen berikut:

  • --server_port: port yang diproses oleh resource manager Pathways. Server proxy IFRT dan worker Pathways terhubung ke port ini.
  • --node_type: jenis node, resource_manager. Hanya pengelola resource Pathways yang menetapkan argumen ini.
  • --instance_type: jenis TPU dan topologi setiap slice.
  • --instance_count: jumlah slice TPU.
  • --gcs_scratch_location: jalur Cloud Storage yang digunakan untuk file sementara seperti cache kompilasi.
  • --enable_gcs_olm: apakah Pathways membuat aturan siklus proses objek Cloud Storage untuk membersihkan entri cache kompilasi lama. Skrip menonaktifkan ini karena memerlukan izin tambahan pada bucket.

Server proxy IFRT

Tugas layanan Pathways menjalankan server proxy IFRT di node CPU yang sama dengan pengelola resource Pathways. Perintah ini menjalankan perintah berikut di penampung server proxy IFRT:

/pathways/proxy_server \
    --server_port=29000 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --num_elastic_instances=MAX_SLICES

Skrip akan mengisi placeholder berikut dalam perintah:

  • RM_IP: alamat IP internal node CPU yang menjalankan pengelola resource Pathways.
  • BUCKET_NAME: nama bucket Cloud Storage Anda, dari GCS_BUCKET.
  • MAX_SLICES: jumlah maksimum slice TPU, dari MAX_SLICES.

Perintah ini menggunakan argumen berikut:

  • --server_port: port yang dipantau oleh server proxy IFRT. Program JAX Anda terhubung ke port ini.
  • --resource_manager_address: alamat dan port resource manager Pathways.
  • --gcs_scratch_location: jalur Cloud Storage yang sama dengan resource manager Pathways.
  • --num_elastic_instances: jumlah slice yang dapat tidak tersedia tanpa menghentikan sesi proxy IFRT, dari MAX_SLICES. Workload Anda menerapkan MIN_SLICES.

Saat setidaknya MIN_SLICES slice berjalan, tugas layanan akan menulis alamat server proxy IFRT ke ~/pathways/cluster.env. Program JAX Anda, klien proxy IFRT, membaca file ini untuk terhubung ke Pathways. Program JAX berjalan sebagai workload Anda—misalnya, run_maxtext.sh—atau di notebook Jupyter.

Pekerja Pathways

Tugas layanan Pathways mengirimkan array tugas Slurm (run_worker_slice.sh) dengan satu tugas array untuk setiap slice TPU. Setiap tugas array menjalankan perintah berikut di penampung server Pathways pada setiap VM TPU di slicenya:

/pathways/server \
    --server_port=29001 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

Skrip ini mengisi RM_IP dengan alamat IP internal node CPU dan BUCKET_NAME dengan nama bucket Cloud Storage Anda.

Perintah ini menggunakan argumen berikut:

  • --server_port: port yang diproses oleh worker Pathways. Resource manager Pathways dan server proxy IFRT terhubung ke port ini.
  • --resource_manager_address: alamat resource manager Pathways, sama seperti untuk server proxy IFRT.
  • --gcs_scratch_location dan --enable_gcs_olm: sama seperti untuk Resource manager Pathways.

Skrip ini juga menetapkan variabel lingkungan topologi TPU dan MEGASCALE_* untuk setiap worker dari node slice dan indeks tugas array.

Jika slice TPU di-preempt atau gagal, Slurm akan mengantrekan ulang tugas array-nya. Jika Anda memiliki sudo tanpa sandi pada node cluster, tugas layanan juga akan mematikan node slice sehingga Slurm dapat membuatnya kembali. Resource manager Pathways dan server proxy IFRT terus berjalan, sehingga program JAX Anda tidak perlu terhubung ke alamat baru.

Langkah berikutnya