本文適用對象為機器學習工程師,說明如何將 JAX 工作負載移植到 Google Kubernetes Engine (GKE) 上的 Pathways。說明單一控制器執行作業如何影響裝置索引、CPU 主機大小、pathwaysutils 整合、檢查點、資料載入、編譯快取、剖析和 XLA 旗標。
事前準備
請完成下列前置作業:
- 使用 Pathways 建立 GKE 叢集。
- 設定 Cluster Toolkit。
- 安裝 Kubernetes 工具。
- 安裝 Google Cloud CLI。
- 啟用 Kubernetes Engine API。
- 建立 Cloud Storage bucket,用於存放檢查點、編譯快取構件和分析器追蹤記錄。
- 在工作負載環境中安裝
jax和pathwaysutils。
程序索引
JAX with Pathways 會將 Pathways 叢集中的所有裝置視為本機裝置,這可簡化裝置管理作業,並讓 JAX 使用所有可用資源。具體做法如下:
jax.process_index()一律會為所有裝置傳回0。jax.devices()和jax.local_devices()會傳回整個工作的所有 Cloud TPU 裝置。
硬體類型和主機代管
為達到最佳效能,請將所有 Pathways 元件和 JAX 工作放在同一個Google Cloud 區域。在專用的高容量 CPU VM 上執行 CPU 頭節點元件,例如 IFRT Proxy 伺服器、Pathways 資源管理工具和 JAX 控制器程序 (適用於批次工作負載),以處理編譯和協調負擔。請至少使用 n2-standard-64 機型,該機型提供 64 個 vCPU 和 256 GB 記憶體。
pathwaysutils 套件
Pathways-utils 是開放原始碼 Python 套件,可將 JAX 工作負載與 Cloud 上的 Pathways 整合。這項服務提供下列功能,可協助您專注於機器學習工作流程,只需稍微調整設定:
- Proxy JAX 後端:設定
JAX_PLATFORMS=proxy環境變數時,啟用 Pathways 後端。 - 整合式剖析公用程式:可讓您使用標準 JAX 剖析 API (例如
jax.profiler.start_trace和jax.profiler.start_server),剖析 JAX 程式碼和基礎 Pathways 元件。 - 使用 Orbax 進行分散式檢查點:匯入
pathwaysutils時,註冊自訂 Orbax 檢查點處理常式,讓您儲存及還原分散式檢查點,而不必變更 Orbax 程式碼。 - 彈性訓練原始物件:提供彈性訓練的建構模塊,讓訓練工作能動態調整,因應可用 Cloud TPU 切片的變化。
查核點機制
Orbax 經過 Pathways 測試,可透過 Cloud Storage 執行分散式檢查點和還原作業。當您設定 ENABLE_PATHWAYS_PERSISTENCE=1 環境變數,並在訓練指令碼中呼叫 import pathwaysutils; pathwaysutils.initialize() 時,Pathways 會註冊自訂 ArrayHandler。這項服務會透過臨時架構執行階段 (IFRT) Proxy 執行查核點作業,讓加速器上的 Pathways worker 直接儲存及還原資料。
共置 Python
Colocated Python 是開放原始碼 JAX API,可讓您直接在連結至加速器的主機 CPU 上,執行使用者指定的 Python 程式碼。在 GKE 上,Pathways 會在 Cloud TPU worker VM 上執行共置的 Python,避免透過控制器傳輸主機資料,以便載入資料和建立檢查點。
如要建構自訂邊車容器映像檔,並使用零複製共用主機記憶體設定 Pathways JobSet,請參閱「使用 Pathways 執行共置 Python」。
資料載入
在訓練期間,工作負載會反覆從資料集載入批次,並將其輸入模型。使用高效的非同步資料載入器,將每個批次資料分散到各個主機,避免加速器閒置。在標準 Pathways 訓練中,資料載入器會在 CPU VM 上執行 (而非像多控制器設定一樣在 Cloud TPU worker VM 上執行),並將資料傳送至 Cloud TPU VM。透過網路讀取會增加延遲時間,Pathways 會在 CPU 主機上預先讀取多個批次,並以非同步方式將資料調度至 Cloud TPU,藉此部分緩解延遲時間。這種方法適用於中小型規模。
在 GKE 的 head 工作負載容器中執行多程序資料載入器 (例如 Grain) 時,容器會與 pathways-proxy 和 pathways-rm 容器共用 head 節點。由於這個共用主機,請設定下列項目:
- 明確設定 worker 數量:在容器中,
os.cpu_count()會回報主機 VM 的 vCPU 總數,而非容器的 CPU 限制。請傳遞明確的工作站數量 (不超過容器的 CPU 限制),而非從os.cpu_count()衍生。 - 掛接記憶體支援的
/dev/shm磁碟區:多程序資料載入器會使用 POSIX 共用記憶體 (/dev/shm) 進行程序間通訊。在/dev/shm掛接記憶體支援的emptyDir(medium: Memory) 磁碟區,確保預先擷取的批次不會超過預設容器共用記憶體限制。
如要大規模提升效能,請使用共置 Python 共置輸入資料管道,直接在 Cloud TPU 工作站主機上執行。這可消除 CPU 瓶頸,並使用 Cloud TPU 互連網路快速移轉資料。
如需遷移 TFDS 輸入管道的參考範例,請參閱 multihost_dataloading.py 中的 RemoteIterator 實作。這項實作會使用共置的 Python JAX API,在多控制器 JAX 和 Pathways 上運作。
JAX 版本管理
Pathways 版本與 JAX 版本緊密結合,以確保相容性和穩定性。確認 Pathways 容器映像檔和 JAX 版本一致。每個 Pathways 版本都會透過 jax-<version> 格式的映像檔標記,指定相容的 JAX 版本。
編譯快取
Pathways 永久編譯快取會將編譯後的 XLA 執行檔儲存在永久位置 (例如 Cloud Storage),避免重複編譯。將 --gcs_scratch_location 傳遞至 pathways-proxy、pathways-rm 和 pathways-worker (或 worker) 容器時,系統預設會啟用這項功能。為降低儲存空間費用,快取會將物件生命週期政策附加至 Cloud Storage bucket。Cloud Storage 限制每個 bucket 只能有 50 項生命週期政策,因此請在所有工作負載中使用共同的 Cloud Storage 位置。
如果省略 --gcs_scratch_location 旗標或留空,Pathways 會改用記憶體內編譯快取。這個快取不會在 Pathways 部署作業中保留已編譯的 XLA 執行檔。
這個快取與 JAX 編譯快取類似,pathwaysutils.initialize()會為 Pathways 工作負載停用。
編譯快取需要下列 Cloud Storage 權限:
storage.buckets.get:擷取 bucket 中繼資料。storage.buckets.update:允許 Pathways 設定物件生命週期政策,強制執行快取淘汰的存留時間。storage.objects.list:列出 bucket 內現有的快取物件。storage.objects.create:將新編譯的可執行檔寫入快取。storage.objects.get::從 bucket 讀取快取的可執行檔。
分析
您可以使用 JAX 分析器,透過下列兩種方式產生 JAX 程式的追蹤記錄:
無論是哪種情況,Pathways 都會將設定檔寫入 Cloud Storage bucket,並建立多個追蹤檔,可能位於不同的時間戳記目錄下,例如:
- 叫用追蹤記錄的主要 Python 程序 (通常是筆記本 VM):
JAX_CLIENT_VM_NAME.xplane.pb - Pathways IFRT Proxy:
client.PATHWAYS_HEAD_NODE_NAME.xplane.pb - Pathways 資源管理工具:
server.*PATHWAYS_HEAD_NODE_NAME.xplane.pb - Pathways worker:
server.*TPU_NODE_NAME.xplane.pb
您可以執行下列指令,使用 TensorBoard 分析這些追蹤檔。如要進一步瞭解 TensorBoard 和其剖析工具,請參閱「使用 Profiler 最佳化 TensorFlow 效能」。
# Verify that trace files are present gcloud storage ls -l -r gs://BUCKET/PREFIX # View on TensorBoard tensorboard --load_fast=false --logdir=gs://BUCKET/PREFIX
更改下列內容:
BUCKET:儲存追蹤檔的 Cloud Storage bucket。PREFIX:Cloud Storage bucket 中儲存追蹤檔的路徑。
透過程式輔助擷取設定檔
從程式碼中擷取設定檔。Pathways 會將設定檔儲存在 gs://BUCKET/PREFIX 的時間戳記目錄下:
import jax import pathwaysutils pathwaysutils.initialize() jax.profiler.start_trace("gs://BUCKET/PREFIX") # Run the operations to be profiled key = jax.random.key(0) x = jax.random.normal(key, (5000, 5000)) y = x @ x y.block_until_ready() jax.profiler.stop_trace()
手動擷取設定檔
如要手動擷取設定檔資訊,請從 Python 程式碼啟動分析器伺服器:
import jax import pathwaysutils pathwaysutils.initialize() jax.profiler.start_server(JAX_PROFILER_PORT) # Your JAX code jax.profiler.stop_server()
將 JAX_PROFILER_PORT 替換為 JAX 分析器伺服器的通訊埠編號。
在分析器伺服器執行期間,擷取設定檔並將資料匯出至目標 Cloud Storage 位置。在工作負載容器中執行下列指令,或從 pathways-head Pod 轉送 JAX_PROFILER_PORT 後執行:
export DURATION_IN_SECS=6 export OUTPUT_DIR="gs://BUCKET/PREFIX/" curl -X POST http://localhost:JAX_PROFILER_PORT/profiling \ -H "Content-Type: application/json" \ -d "{\"duration_ms\": $((DURATION_IN_SECS * 1000)), \"repository_path\": \"${OUTPUT_DIR}\"}"
您可以在程式追蹤記錄中,找到 Compile 和 Execute 等 IFRT Proxy 用戶端方法的時間資訊。這些事件會詳細記錄編譯和執行期間與 IFRT Proxy gRPC 伺服器的互動,並顯示在名為 GrpcClientSessionUserFuturesWorkQueue 的執行緒中。在追蹤記錄中檢查這個執行緒,即可深入瞭解這些作業的效能。
XLA 旗標
使用 Pathways 時,請在 pathways-proxy 容器中設定 XLA 旗標。
使用 Cluster Toolkit (gcluster job submit 指令) 時,請透過 --pathways-proxy-args 設定 XLA 旗標:
--pathways-proxy-args="--xla_flag_1=value1 --xla_flag_2=value2"
HLO 轉儲
如要檢查傳遞至 XLA 編譯器的高階最佳化工具 (HLO) 輸入內容,請使用 --pathways-proxy-args 設定 Pathways,將 HLO 轉儲至 Cloud Storage 位置:
--pathways-proxy-args="--xla_dump_to=gs://BUCKET_NAME/HLO_PREFIX/"
更改下列內容:
BUCKET_NAME:HLO 轉儲的 Cloud Storage bucket。HLO_PREFIX:bucket 內的路徑前置字串。