Cloud 上的路徑簡介

Pathways 是 JAX 的分散式執行階段,採用單一控制器執行模型,可在一或多個 TPU 磁碟區中,自動調度管理大規模、多工且稀疏啟動的機器學習 (ML) 工作負載。這項功能可讓單一 Python 程序 (控制器) 協調數千或數萬個 TPU 晶片的運算作業,並在各項任務之間動態分配運算資源。

JAX 工作負載會在「用戶端 CPU 程序」(控制器) 中執行,並透過 gRPC 與「CPU 標頭節點」上的 Pathways 控制層通訊,而不是在每個 TPU VM 上執行 Python 程式的個別副本。CPU 標頭節點是叢集中專用的 CPU VM,用於託管 Pathways 協調和編譯服務。控制層會編譯程式碼,並將運算作業調度至在 TPU VM 上執行的 Pathways worker。

Google 內部會使用 Pathways 訓練 Gemini 等大型模型。Pathways on Cloud 則為 Google Cloud 客戶提供相同的架構。

事前準備

您可以在 Google Kubernetes Engine (GKE) 或搭配 Slurm 的 Cluster Director 叢集上執行 Pathways。選取平台分頁標籤,查看必要條件。

GKE

請完成下列前置作業:

本文件假設您已熟悉在 GKE 中使用 TPU,包括在 GKE 中使用單配量和多配量 TPU,且具備多配量 TPU 的一般經驗。

如要建立叢集,請參閱「使用 Pathways 建立 GKE 叢集」。

Cluster Director

請完成下列前置作業:

本文假設您已熟悉 Cluster Director、Cluster Director 中的 TPU 機器,以及使用 Slurm 執行工作,並具備多切片 TPU 的一般經驗。

如要建立叢集,請參閱「使用 Pathways 建立 Cluster Director 叢集」。

單一控制器和多控制器

TPU 上的分散式機器學習工作負載會使用多控制器執行模型 (JAX 中的預設模型) 或單一控制器執行模型 (Pathways 使用的模型)。這兩種模型的差異在於 Python 程式碼的執行位置、程式如何看待加速器,以及工作負載在 TPU 切片之間的協調方式。

多控制器工作負載 (JAX 預設)

在多控制器模型中,TPU 切片中的每個 TPU VM 都會執行相同的 Python 指令碼。每個 TPU VM 都是獨立控制器,負責管理直接連結至該主機的 TPU 晶片。多控制器工作負載具有下列特性:

  • 分散式控制:每個 TPU VM 都會同步執行 Python 指令碼副本,並協調跨程序集體作業。
  • 本機裝置檢視畫面:每個 Python 程序只會直接管理連接至本機 VM 的 TPU 晶片 (jax.local_devices()),而 jax.devices() 則會列出叢集中的所有裝置。
  • 單一程式多重資料 (SPMD) 執行:由於每個主機都會同時執行相同的指令碼,因此多控制器工作負載主要遵循 SPMD 範式。如要在不同的 TPU 切片子集上自動調度管理不同的作業,必須使用自訂的多主機協調邏輯。
  • 主機耦合生命週期:由於 Python 控制器直接在 TPU VM 上執行,因此如果任何 TPU VM 遭到先占或失敗,所有控制器程序都必須停止並重新啟動。

單一控制器工作負載 (Pathways)

在 Pathways 單一控制器模型中,單一 Python 程序會做為整個工作負載的中央控制器。JAX 程式 (控制器) 會在 CPU 主機上執行,例如 CPU 標頭節點上的批次容器或外部用戶端 VM,並透過 gRPC 與 Pathways 執行階段通訊,而非直接在 TPU VM 上執行。單一控制器工作負載具有下列特性:

  • 集中控管:您執行及監控一個 Python 控制器程序 ,該程序會將運算作業調度至 Pathways 執行階段,由 Pathways 執行階段管理所有 TPU VM 的執行作業。
  • 統一裝置檢視畫面:JAX 程式會將所有 TPU 切片視為單一統一系統。在程式碼中,jax.process_index() 一律為 0,且 jax.devices() 和 jax.local_devices() 都會傳回所有已分配切片中的每個 TPU 晶片,就像這些晶片都連接到一部大型機器一樣。
  • 彈性運算模式:除了標準 SPMD 訓練外,單一控制器還能排定不同加速器子集的運算作業,支援非對稱管道平行處理、多工工作負載和運算稀疏性。
  • 分離的控制器生命週期:由於 Python 程式是在 TPU VM 外部執行,因此在 Pathways 資源管理工具復原或替換已先占的 TPU 配量時,控制器程序可以保持執行狀態。如果需要在 TPU VM 上執行主機本機 Python 程式碼 (例如高處理量資料載入、預先處理或檢查點),可以使用共置 Python,透過 Sidecar 伺服器在 TPU 主機 CPU 上執行特定 Python 函式。

Pathways 元件

Pathways 架構會將元件分散到三個環境:用戶端 CPU 環境、CPU head 節點和 TPU worker VM。下圖說明這些元件如何互動,以及各元件的執行位置:

架構圖顯示使用者 JAX 程式和內嵌 IFRT Proxy 用戶端如何與 IFRT Proxy 伺服器、內嵌 Pathways 用戶端和 CPU 標頭節點上的 Pathways 資源管理工具通訊,以及這些元件如何將工作調度至 Pathways worker、選用的 sidecar 伺服器,以及每個 Cloud TPU 工作站 VM 上附加的 Cloud TPU 晶片。
Pathways 元件和主機位置

用戶端 CPU 環境

在 CPU 標頭節點的工作負載容器中執行 (通常用於 GKE 上的批次工作),或在獨立用戶端容器、Slurm 工作或外部 CPU VM 中執行 (用於互動式工作負載或叢集導向器):

  • 使用者程式 (控制器):Python JAX 程序,用於定義模型、訓練迴圈和裝置 sharding,並將所有 TPU 晶片視為本機裝置。
  • IFRT Proxy 用戶端:嵌入 JAX 程序的開放原始碼臨時框架執行階段 (IFRT) 程式庫。匯入 pathwaysutils 並設定 JAX_PLATFORMS=proxy 後,程式碼會與基礎執行階段分離,並透過 gRPC 將要求傳送至 IFRT Proxy 伺服器。

CPU 首節點

在叢集中的專用 CPU VM 上執行 (GKE 上的 CPU 節點集區節點,或 Cluster Director 上的 CPU 運算節點):

  • IFRT Proxy 伺服器:gRPC 伺服器容器,可接收 IFRT Proxy 用戶端的要求,並轉送至內嵌的 Pathways 用戶端程式庫。
  • Pathways 用戶端:內嵌在 IFRT Proxy 伺服器容器中的 IFRT 執行階段程式庫。它會將高階最佳化工具 (HLO) 程式傳送至 Pathways 資源管理工具中的編譯服務,並透過 gRPC 協調放置。接著,它會將執行要求和張量資料調度至 Pathways worker,並向 JAX 呈現統一的裝置檢視畫面。
  • Pathways 資源管理工具:中央控制層容器。這項服務會管理加速器切片、監控 worker 健康狀態、排定工作,以及託管 Pathways 編譯服務,將 HLO 程式編譯成 XLA 可執行檔,並儲存在 --gcs_scratch_location 下方的編譯快取中。

Cloud TPU worker VM

每個 TPU worker VM 都會透過主機 CPU 容器,管理附加的 Cloud TPU 晶片 (執行已編譯的 XLA 運算):

  • Pathways worker:從編譯快取載入編譯的可執行檔,並透過 gRPC 從 Pathways 用戶端接收執行要求和張量資料。它會在附加的 Cloud TPU 晶片上執行運算,透過高速互連網路與其他 worker 交換資料,並向資源管理工具回報健康狀態。
  • Sidecar 伺服器 (選用,僅限 GKE):gRPC 容器 (colocated-python-sidecar),在 TPU VM 上執行使用者指定的 Python 函式 (例如資料載入和檢查點設定)。它會透過零複製共用主機記憶體,與本機 Pathways worker 交換張量緩衝區。請參閱「使用 Pathways 執行共置 Python」。

GKE 上的 Pathways 元件

在 GKE 上,pathways-head Pod 會在 CPU 節點集區上執行,並託管 pathways-rm 和 pathways-proxy (以及批次工作負載容器,如適用)。每個 TPU 工作站 Pod 都會執行 worker (或 pathways-worker),如果啟用共置 Python,則會執行 colocated-python-sidecar。

Pathways 容器映像檔位於下列位置:

容器類型 位置

IFRT Proxy 伺服器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-JAX_VERSION

Pathways 資源管理員和 worker

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-JAX_VERSION

共置 Python sidecar (選用)

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/colocated_python_sidecar:jax-JAX_VERSION

Pathways 資源管理工具

建立 GKE 叢集後,您可以使用下列 containerSpec 部署 Pathways 資源管理工具:

  - name: pathways-rm
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
    imagePullPolicy: Always
    env:
    - name: HOST_ADDRESS
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    - name: TPU_SKIP_MDS_QUERY
      value: "true"
    args:
    - --server_port=29001
    - --node_type=resource_manager
    - --instance_count=WORKLOAD_NODEPOOL_COUNT
    - --instance_type=SLICE_TOPOLOGY
    - --gcs_scratch_location=gs://BUCKET_NAME

更改下列內容:

  • WORKLOAD_NODEPOOL_COUNT:TPU 配量數量。
  • SLICE_TOPOLOGY:配量的 TPU 類型和拓撲,格式為 tpuTPU_TYPE:TOPOLOGY,例如 tpuv5e:4x4。
  • BUCKET_NAME:用於暫存檔案的 Cloud Storage bucket。

容器也會使用下列引數:

  • --server_port:Pathways 資源管理工具用於與其他 Pathways 元件通訊的通訊埠 (在本例中為 29001)。
  • --node_type:節點類型。請將 Pathways 資源管理工具的這個引數設為 resource_manager。其他容器則不需要。

IFRT Proxy 伺服器

您可以使用下列 containerSpec 部署 IFRT Proxy 伺服器:

  - name: pathways-proxy
    image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:latest
    imagePullPolicy: Always
    env:
    - name: PATHWAYS_HEAD
      valueFrom:
        fieldRef:
          fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
    args:
    - --resource_manager_address=$(PATHWAYS_HEAD):29001
    - --server_port=29000
    - --gcs_scratch_location=gs://BUCKET_NAME
    ports:
    - containerPort: 29000

將 BUCKET_NAME 替換為用於暫存檔案的 Cloud Storage bucket 名稱。

容器也會使用下列引數:

  • --resource_manager_address:Proxy 伺服器用於與 Pathways 資源管理工具通訊的主機名稱和通訊埠。通訊埠必須與 Pathways 資源管理工具容器使用的 --server_port 值相符。
  • --server_port:IFRT Proxy 伺服器用於與 IFRT Proxy 用戶端通訊的通訊埠 (在本例中為 29000)。
  • --gcs_scratch_location:用於暫存檔案的 Cloud Storage 路徑。

Pathways 工作人員

您可以使用下列 containerSpec 部署 Pathways worker:

- name: worker
  image: us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:latest
  imagePullPolicy: Always
  env:
  - name: PATHWAYS_HEAD
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/coordinator']"
  - name: MEGASCALE_NUM_SLICES
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/replicatedjob-replicas']"
  - name: MEGASCALE_SLICE_ID
    valueFrom:
      fieldRef:
        fieldPath: "metadata.labels['jobset.sigs.k8s.io/job-index']"
  - name: MEGASCALE_COORDINATOR_ADDRESS
    value: "$(PATHWAYS_HEAD)"
  args:
  - --server_port=29001
  - --resource_manager_address=$(PATHWAYS_HEAD):29001
  - --gcs_scratch_location=gs://BUCKET_NAME
  ports:
  - containerPort: 29001
  resources:
    limits:
      google.com/tpu: "4"

將 BUCKET_NAME 替換為用於暫存檔案的 Cloud Storage bucket 名稱。

容器也會使用下列引數:

  • --server_port:worker 用來與 Proxy 伺服器和 Pathways 資源管理工具通訊的通訊埠 (在本範例中為 29001)。
  • --resource_manager_address:TPU 工作站用來與 Pathways Resource Manager 通訊的主機名稱和通訊埠。通訊埠必須與 Pathways 資源管理工具容器使用的 --server_port 值相符。
  • --gcs_scratch_location:用於暫存檔案的 Cloud Storage 路徑。

Pathways 資源管理工具、IFRT Proxy 伺服器和 Pathways worker 可以使用不同的通訊埠,但在這個範例中,Pathways 資源管理工具和 Pathways worker 共用同一個通訊埠。

Cluster Director 上的 Pathways 元件

本節說明如何將 Pathways 元件對應至 Cluster Director 叢集上的 Slurm 工作。

Pathways 指令碼會使用 Enroot 執行 Pathways 元件。setup_env.sh 指令碼會使用下列容器映像檔,這些映像檔與其建構的 Python 環境 JAX 版本 (0.11.1) 相符:

容器類型 位置

IFRT Proxy 伺服器

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/proxy_server:jax-0.11.1

Pathways 資源管理員和 worker

us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways/server:jax-0.11.1

如要啟動 Pathways 元件,請將 start_pathways.sh 指令碼提交為 Pathways 服務工作。您不必自行編寫下列指令。指令碼會從您提交 start_pathways.sh 時設定的環境變數 (例如 SLICE_SHAPE、MIN_SLICES、MAX_SLICES 和 GCS_BUCKET) 衍生引數。

Pathways 資源管理工具

Pathways 服務工作會在一個 CPU 節點上執行 Pathways 資源管理工具。在 Pathways 伺服器容器中執行下列指令:

/pathways/server \
    --server_port=29001 \
    --node_type=resource_manager \
    --instance_type=tpuTPU_TYPE:TOPOLOGY \
    --instance_count=MAX_SLICES \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

指令碼會填入指令中的下列預留位置:

  • TPU_TYPE 和 TOPOLOGY:每個 slice 的 TPU 類型和拓撲,衍生自 SLICE_SHAPE,例如 SLICE_SHAPE=2x4 會設定 tpuv6e:2x4。
  • MAX_SLICES:TPU 配量數量上限,MAX_SLICES。
  • BUCKET_NAME:Cloud Storage bucket 名稱,來自 GCS_BUCKET。

這個指令會使用下列引數:

  • --server_port:Pathways 資源管理工具監聽的通訊埠。IFRT Proxy 伺服器和 Pathways worker 會連線至這個通訊埠。
  • --node_type:節點類型,resource_manager。只有 Pathways 資源管理員會設定這個引數。
  • --instance_type:每個配量的 TPU 類型和拓撲。
  • --instance_count:TPU 配量數量。
  • --gcs_scratch_location:用於暫存檔案 (例如編譯快取) 的 Cloud Storage 路徑。
  • --enable_gcs_olm:Pathways 是否建立 Cloud Storage 物件生命週期規則,清除舊的編譯快取項目。指令碼會關閉這項功能,因為這需要 bucket 的額外權限。

IFRT Proxy 伺服器

Pathways 服務工作會在與 Pathways 資源管理工具相同的 CPU 節點上,執行 IFRT Proxy 伺服器。在 IFRT Proxy 伺服器容器中執行下列指令:

/pathways/proxy_server \
    --server_port=29000 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --num_elastic_instances=MAX_SLICES

指令碼會填入指令中的下列預留位置:

  • RM_IP:執行 Pathways 資源管理工具的 CPU 節點內部 IP 位址。
  • BUCKET_NAME:Cloud Storage bucket 名稱,來自 GCS_BUCKET。
  • MAX_SLICES:TPU 配量數量上限,MAX_SLICES。

這個指令會使用下列引數:

  • --server_port:IFRT Proxy 伺服器監聽的通訊埠。JAX 程式會連線至這個通訊埠。
  • --resource_manager_address:Pathways 資源管理器的位址和通訊埠。
  • --gcs_scratch_location:與 Pathways 資源管理工具相同的 Cloud Storage 路徑。
  • --num_elastic_instances:在不停止 IFRT Proxy 工作階段的情況下,可無法使用的配量數量,從 MAX_SLICES 開始。工作負載會強制執行 MIN_SLICES。

當至少有 MIN_SLICES 個 slice 執行時,服務工作會將 IFRT Proxy 伺服器位址寫入 ~/pathways/cluster.env。JAX 程式 (IFRT Proxy 用戶端) 會讀取這個檔案,連線至 Pathways。JAX 程式會以工作負載 (例如 run_maxtext.sh) 或在 Jupyter 筆記本中執行。

Pathways 工作人員

Pathways 服務工作會提交 Slurm 工作陣列 (run_worker_slice.sh),每個 TPU slice 都有一個陣列任務。每個陣列工作都會在切片中每個 TPU VM 的 Pathways 伺服器容器中,執行下列指令:

/pathways/server \
    --server_port=29001 \
    --resource_manager_address=RM_IP:29001 \
    --gcs_scratch_location=gs://BUCKET_NAME/pathways-scratch/shared \
    --enable_gcs_olm=false

指令碼會將 RM_IP 填入 CPU 節點的內部 IP 位址,並將 BUCKET_NAME 填入 Cloud Storage bucket 名稱。

這個指令會使用下列引數:

  • --server_port:Pathways worker 監聽的通訊埠。Pathways 資源管理工具和 IFRT Proxy 伺服器會連線至這個通訊埠。
  • --resource_manager_address:Pathways 資源管理工具的位址,與 IFRT Proxy 伺服器相同。
  • --gcs_scratch_location 和 --enable_gcs_olm:與 Pathways 資源管理工具相同。

指令碼也會根據切片的節點和陣列工作索引,為每個 worker 設定 TPU 拓撲和 MEGASCALE_* 環境變數。

如果 TPU 磁碟區遭到先占或失敗,Slurm 會重新排入陣列工作。如果叢集節點上有無密碼 sudo,服務工作也會關閉切片節點,以便 Slurm 重新建立。Pathways 資源管理工具和 IFRT Proxy 伺服器會持續運作,因此 JAX 程式不需要連線至新位址。

後續步驟