Pathways は、単一コントローラの実行モデルを使用して、1 つ以上の TPU スライスにまたがる大規模なマルチタスクのスパース活性化 ML ワークロードをオーケストレートする JAX の分散ランタイムです。これにより、単一の Python プロセス(コントローラ)で数千または数万の TPU チップにわたる計算を調整し、タスク間でコンピューティングを動的に割り当てることができます。
JAX ワークロードは、すべての TPU VM で Python プログラムの個別のコピーを実行するのではなく、クライアント CPU プロセス(コントローラ)で実行され、CPU ヘッドノードの Pathways コントロール プレーンと gRPC 経由で通信します。CPU ヘッドノードは、Pathways の調整サービスとコンパイル サービスをホストする、クラスタ内の専用の CPU のみの VM です。コントロール プレーンはコードをコンパイルし、TPU VM で実行されている Pathways ワーカーに計算をディスパッチします。
Google は、Gemini などの大規模モデルのトレーニングに Pathways を社内で使用しています。Pathways on Cloud は、同じアーキテクチャを Google Cloud のお客様に提供します。
始める前に
Pathways は、Google Kubernetes Engine(GKE)または Slurm を使用する Cluster Director クラスタで実行できます。プラットフォームのタブを選択して、前提条件を確認してください。
GKE
次の前提条件を満たしていることを確認してください。
このドキュメントは、GKE での TPU(シングルスライスと GKE でのマルチスライス TPU の両方)の使用に精通しており、マルチスライス TPU の使用経験があることを前提としています。
クラスタを作成するには、Pathways を使用して GKE クラスタを作成するをご覧ください。
Cluster Director
次の前提条件を満たしていることを確認してください。
このドキュメントは、Cluster Director、Cluster Director の TPU マシン、Slurm でのジョブの実行に精通しており、マルチスライス TPU の使用経験があることを前提としています。
クラスタを作成するには、Pathways を使用して Cluster Director クラスタを作成するをご覧ください。
シングル コントローラとマルチコントローラ
TPU 上の分散 ML ワークロードは、マルチコントローラ実行モデル(JAX のデフォルト)または単一コントローラ実行モデル(Pathways で使用)を使用します。2 つのモデルは、Python コードの実行場所、プログラムによるアクセラレータの表示方法、TPU スライス間でのワークロードの調整方法が異なります。
マルチコントローラ ワークロード(JAX のデフォルト)
マルチコントローラ モデルでは、TPU スライスのすべての TPU VM が同じ Python スクリプトを実行します。各 TPU VM は、そのホストに直接接続されている TPU チップの独立したコントローラとして機能します。マルチコントローラ ワークロードには次の特徴があります。
- 分散制御: すべての TPU VM が Python スクリプトのコピーをロックステップで実行し、プロセス間で集合オペレーションを調整します。
- ローカライズされたデバイスビュー: 各 Python プロセスは、ローカル VM(
jax.local_devices())に接続された TPU チップのみを直接管理します。一方、jax.devices()はクラスタ内のすべてのデバイスを一覧表示します。 - 単一プログラム、複数データ(SPMD)の実行: すべてのホストが同じスクリプトを同時に実行するため、マルチコントローラ ワークロードは主に SPMD パラダイムに従います。TPU スライスの異なるサブセットで異なるオペレーションをオーケストレートするには、カスタムのマルチホスト調整ロジックが必要です。
- ホスト結合ライフサイクル: Python コントローラは TPU VM 上で直接実行されるため、TPU VM がプリエンプトされるか失敗すると、すべてのコントローラ プロセスを停止して再起動する必要があります。
単一コントローラ ワークロード(Pathways)
Pathways の単一コントローラ モデルでは、単一の Python プロセスがワークロード全体のセントラル コントローラとして機能します。JAX プログラム(コントローラ)は、CPU ヘッドノード上のバッチコンテナや外部クライアント VM などの CPU ホストで実行され、TPU VM で直接実行されるのではなく、gRPC を介して Pathways ランタイムと通信します。単一コントローラ ワークロードには次の特性があります。
- 一元管理: 1 つの Python コントローラ プロセスを実行してモニタリングします。このプロセスは、すべての TPU VM で実行を管理する Pathways ランタイムに計算をディスパッチします。
- 統合デバイスビュー: JAX プログラムは、すべての TPU スライスを単一の統合システムとして認識します。コードでは、
jax.process_index()は常に0であり、jax.devices()とjax.local_devices()の両方が、割り当てられたすべてのスライスにわたるすべての TPU チップを、1 つの大きなマシンに接続されているかのように返します。 - 柔軟な計算パターン: 標準の SPMD トレーニングに加えて、単一のコントローラでアクセラレータの異なるサブセットに異なる計算をスケジュールできるため、非対称パイプライン並列処理、マルチタスク ワークロード、計算のスパース性がサポートされます。
- 分離されたコントローラのライフサイクル: Python プログラムは TPU VM の外部で実行されるため、Pathways リソース マネージャーがプリエンプトされた TPU スライスを復元または置換している間も、コントローラ プロセスは実行を継続できます。高スループットのデータ読み込み、前処理、チェックポイント作成など、TPU VM でホストローカルの Python コードを実行する必要がある場合は、コロケーションされた Python を使用して、サイドカー サーバーを介して TPU ホスト CPU で特定の Python 関数を実行できます。
Pathways コンポーネント
Pathways アーキテクチャでは、コンポーネントが 3 つの環境(クライアント CPU 環境、CPU ヘッドノード、TPU ワーカー VM)に分散されます。次の図は、これらのコンポーネントがどのように相互作用し、各コンポーネントがどこで実行されるかを示しています。
クライアントの CPU 環境
CPU ヘッドノードのワークロード コンテナ(GKE のバッチジョブで一般的)または別のクライアント コンテナ、Slurm ジョブ、外部 CPU VM(インタラクティブ ワークロードまたは Cluster Director の場合)で実行されます。
- ユーザー プログラム(コントローラ): モデル、トレーニング ループ、デバイス シャーディングを定義し、スライス全体のすべての TPU チップをローカル デバイスとして認識する Python JAX プロセス。
- IFRT プロキシ クライアント: JAX プロセスに埋め込まれたオープンソースの Interim Framework Runtime(IFRT)ライブラリ。
pathwaysutilsをインポートしてJAX_PLATFORMS=proxyを設定すると、コードが基盤となるランタイムから切り離され、gRPC 経由で IFRT プロキシ サーバーにリクエストが送信されます。
CPU ヘッドノード
クラスタ内の専用の CPU のみの VM(GKE の CPU ノードプール ノード、または Cluster Director の CPU コンピューティング ノード)で実行されます。
- IFRT プロキシ サーバー: IFRT プロキシ クライアントからリクエストを受信し、埋め込まれた Pathways クライアント ライブラリに転送する gRPC サーバー コンテナ。
- Pathways クライアント: IFRT プロキシ サーバー コンテナ内に埋め込まれた IFRT ランタイム ライブラリ。High-Level Optimizer(HLO)プログラムを Pathways リソース マネージャーのコンパイル サービスに送信し、gRPC を介して配置を調整します。次に、実行リクエストとテンソルデータを Pathways ワーカーにディスパッチし、統合されたデバイスビューを JAX に提示します。
- Pathways リソース マネージャー: 中央コントロール プレーン コンテナ。アクセラレータ スライスの管理、ワーカーの健全性のモニタリング、ジョブのスケジューリング、Pathways コンパイル サービスのホストを行います。Pathways コンパイル サービスは、HLO プログラムを XLA 実行可能ファイルにコンパイルし、
--gcs_scratch_locationのコンパイル キャッシュに保存します。
Cloud TPU ワーカー VM
各 TPU ワーカー VM は、ホスト CPU コンテナを介して、接続された Cloud TPU チップ(コンパイル済みの XLA 計算を実行する)を管理します。
- Pathways ワーカー: コンパイル キャッシュからコンパイル済みの実行可能ファイルを読み込み、gRPC 経由で Pathways クライアントから実行リクエストとテンソルデータを受信します。接続された Cloud TPU チップで計算を実行し、高速相互接続を介して他のワーカーとデータを交換し、リソース マネージャーに健全性を報告します。
- サイドカー サーバー(省略可、GKE のみ): TPU VM でユーザー指定の Python 関数(データの読み込みやチェックポイント作成など)を実行する gRPC コンテナ(
colocated-python-sidecar)。ゼロコピー共有ホストメモリを介して、ローカル Pathways ワーカーとテンソル バッファを交換します。Pathways でコロケーションされた Python を実行するをご覧ください。
GKE の Pathways コンポーネント
GKE では、pathways-head Pod は CPU ノードプールで実行され、pathways-rm と pathways-proxy(および該当する場合はバッチ ワークロード コンテナ)をホストします。各 TPU ワーカー Pod は worker(または pathways-worker)を実行し、コロケーションされた Python が有効になっている場合は colocated-python-sidecar を実行します。
Pathways コンテナ イメージは次の場所にあります。
| コンテナのタイプ | ロケーション |
|---|---|
IFRT プロキシ サーバー |
|
Pathways リソース マネージャーとワーカー |
|
コロケーションされた Python サイドカー(省略可) |
|
Pathways リソース マネージャー
GKE クラスタを作成したら、次の containerSpec を使用して Pathways リソース マネージャーをデプロイできます。
- name: pathways-rm image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest imagePullPolicy: Always env: - name: HOST_ADDRESS valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" - name: TPU_SKIP_MDS_QUERY value: "true" args: - --server_port=29001 - --node_type=resource_manager - --instance_count=WORKLOAD_NODEPOOL_COUNT - --instance_type=SLICE_TOPOLOGY - --gcs_scratch_location=gs://BUCKET_NAME
次のように置き換えます。
WORKLOAD_NODEPOOL_COUNT: TPU スライスの数。SLICE_TOPOLOGY: スライスの TPU タイプとトポロジ。tpuTPU_TYPE:TOPOLOGY形式(例:tpuv5e:4x4)。BUCKET_NAME: 一時ファイルに使用される Cloud Storage バケット。
コンテナは次の引数も使用します。
--server_port: Pathways リソース マネージャーが他の Pathways コンポーネントとの通信に使用するポート(この例では29001)。--node_type: ノードタイプ。Pathways リソース マネージャーの場合は、この引数をresource_managerに設定します。他のコンテナには必要ありません。
IFRT プロキシ サーバー
次の containerSpec を使用して、IFRT プロキシ サーバーをデプロイできます。
- name: pathways-proxy image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest imagePullPolicy: Always env: - name: PATHWAYS_HEAD valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" args: - --resource_manager_address=$(PATHWAYS_HEAD):29001 - --server_port=29000 - --gcs_scratch_location=gs://BUCKET_NAME ports: - containerPort: 29000
BUCKET_NAME は、一時ファイルに使用される Cloud Storage バケットの名前に置き換えます。
コンテナは次の引数も使用します。
--resource_manager_address: プロキシ サーバーが Pathways リソース マネージャーとの通信に使用するホスト名とポート。ポートは、Pathways リソース マネージャー コンテナに使用される--server_port値と一致する必要があります。--server_port: IFRT プロキシ サーバーが IFRT プロキシ クライアントとの通信に使用するポート(この例では29000)。--gcs_scratch_location: 一時ファイルに使用される Cloud Storage パス。
Pathways ワーカー
次の containerSpec を使用して、Pathways ワーカーをデプロイできます。
- name: worker image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest imagePullPolicy: Always env: - name: PATHWAYS_HEAD valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']" - name: MEGASCALE_NUM_SLICES valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']" - name: MEGASCALE_SLICE_ID valueFrom: fieldRef: fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']" - name: MEGASCALE_COORDINATOR_ADDRESS value: "$(PATHWAYS_HEAD)" args: - --server_port=29001 - --resource_manager_address=$(PATHWAYS_HEAD):29001 - --gcs_scratch_location=gs://BUCKET_NAME ports: - containerPort: 29001 resources: limits: google.com/tpu: "4"
BUCKET_NAME は、一時ファイルに使用される Cloud Storage バケットの名前に置き換えます。
コンテナは次の引数も使用します。
--server_port: ワーカーがプロキシ サーバーと Pathways リソース マネージャーとの通信に使用するポート(この例では29001)。--resource_manager_address: TPU ワーカーが Pathways リソース マネージャーとの通信に使用するホスト名とポート。ポートは、Pathways リソース マネージャー コンテナに使用される--server_port値と一致する必要があります。--gcs_scratch_location: 一時ファイルに使用される Cloud Storage パス。
Pathways リソース マネージャー、IFRT プロキシ サーバー、Pathways ワーカーはすべて異なるポートを使用できますが、この例では、Pathways リソース マネージャーと Pathways ワーカーが同じポートを共有しています。
Cluster Director の Pathways コンポーネント
このセクションでは、Pathways コンポーネントを Cluster Director クラスタの Slurm ジョブにマッピングします。
Pathways スクリプトは、Enroot を使用して Pathways コンポーネントを実行します。setup_env.sh スクリプトは、ビルドする Python 環境の JAX バージョン(0.11.1)に一致する次のコンテナ イメージを使用します。
| コンテナのタイプ | ロケーション |
|---|---|
IFRT プロキシ サーバー |
|
Pathways リソース マネージャーとワーカー |
|
Pathways コンポーネントを起動するには、start_pathways.sh スクリプトを Pathways サービスジョブとして送信します。次のコマンドを自分で記述する必要はありません。スクリプトは、start_pathways.sh の送信時に設定した環境変数(SLICE_SHAPE、MIN_SLICES、MAX_SLICES、GCS_BUCKET など)から引数を取得します。
Pathways リソース マネージャー
Pathways サービスジョブは、1 つの CPU ノードで Pathways リソース マネージャーを実行します。Pathways サーバー コンテナで次のコマンドを実行します。
/pathways/server \ --server_port=29001 \ --node_type=resource_manager \ --instance_type=tpuTPU_TYPE:TOPOLOGY \ --instance_count=MAX_SLICES \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --enable_gcs_olm=false
このスクリプトは、コマンドの次のプレースホルダに値を入力します。
TPU_TYPEとTOPOLOGY:SLICE_SHAPEから派生した各スライスの TPU タイプとトポロジ。たとえば、SLICE_SHAPE=2x4はtpuv6e:2x4を設定します。MAX_SLICES: TPU スライスの最大数(MAX_SLICESから)。BUCKET_NAME:GCS_BUCKETの Cloud Storage バケット名。
このコマンドでは、次の引数を使用します。
--server_port: Pathways リソース マネージャーがリッスンするポート。IFRT プロキシ サーバーと Pathways ワーカーは、このポートに接続します。--node_type: ノードタイプresource_manager。この引数を設定するのは、Pathways リソース マネージャーのみです。--instance_type: 各スライスの TPU タイプとトポロジ。--instance_count: TPU スライスの数。--gcs_scratch_location: コンパイル キャッシュなどの一時ファイルに使用される Cloud Storage パス。--enable_gcs_olm: Pathways が Cloud Storage オブジェクトのライフサイクル ルールを作成して、古いコンパイル キャッシュ エントリをクリーンアップするかどうか。このスクリプトでは、バケットに対する追加の権限が必要になるため、この機能をオフにしています。
IFRT プロキシ サーバー
Pathways サービスジョブは、Pathways リソース マネージャーと同じ CPU ノードで IFRT プロキシ サーバーを実行します。IFRT プロキシ サーバー コンテナで次のコマンドを実行します。
/pathways/proxy_server \ --server_port=29000 \ --resource_manager_address=RM_IP:29001 \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --num_elastic_instances=MAX_SLICES
このスクリプトは、コマンドの次のプレースホルダに値を入力します。
RM_IP: Pathways リソース マネージャーを実行している CPU ノードの内部 IP アドレス。BUCKET_NAME:GCS_BUCKETの Cloud Storage バケット名。MAX_SLICES: TPU スライスの最大数(MAX_SLICESから)。
このコマンドでは、次の引数を使用します。
--server_port: IFRT プロキシ サーバーがリッスンするポート。JAX プログラムは、このポートに接続します。--resource_manager_address: Pathways リソース マネージャーのアドレスとポート。--gcs_scratch_location: Pathways リソース マネージャーと同じ Cloud Storage パス。--num_elastic_instances: IFRT プロキシ セッションを停止せずに使用不可にできるスライスの数(MAX_SLICES)。ワークロードはMIN_SLICESを適用します。
少なくとも MIN_SLICES スライスが実行されている場合、サービスジョブは IFRT プロキシ サーバーのアドレスを ~/pathways/cluster.env に書き込みます。JAX プログラム(IFRT プロキシ クライアント)は、このファイルを読み取って Pathways に接続します。JAX プログラムは、ワークロード(run_maxtext.sh など)として、または Jupyter ノートブックで実行されます。
Pathways ワーカー
Pathways サービスジョブは、TPU スライスごとに 1 つの配列タスクを含む Slurm ジョブ配列(run_worker_slice.sh)を送信します。各配列タスクは、スライス内のすべての TPU VM の Pathways サーバー コンテナで次のコマンドを実行します。
/pathways/server \ --server_port=29001 \ --resource_manager_address=RM_IP:29001 \ --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \ --enable_gcs_olm=false
このスクリプトは、RM_IP に CPU ノードの内部 IP アドレスを入力し、BUCKET_NAME に Cloud Storage バケット名を入力します。
このコマンドでは、次の引数を使用します。
--server_port: Pathways ワーカーがリッスンするポート。Pathways リソース マネージャーと IFRT プロキシ サーバーは、このポートに接続します。--resource_manager_address: Pathways リソース マネージャーのアドレス。IFRT プロキシ サーバーと同じです。--gcs_scratch_locationと--enable_gcs_olm: Pathways リソース マネージャーと同じ。
このスクリプトは、スライスのノードと配列タスク インデックスから、各ワーカーの TPU トポロジと MEGASCALE_* 環境変数も設定します。
TPU スライスがプリエンプトされるか失敗すると、Slurm は配列タスクを再キューイングします。クラスタノードにパスワードなしの sudo がある場合、サービスジョブはスライスのノードをパワーダウンして、Slurm がノードを再作成できるようにします。Pathways リソース マネージャーと IFRT プロキシ サーバーは引き続き実行されるため、JAX プログラムは新しいアドレスに接続する必要はありません。