使用機器學習診斷功能執行及剖析 vLLM 工作負載
vLLM 是開放原始碼程式庫,用於大型語言模型 (LLM) 推論和提供。將機器學習診斷與 vLLM 整合,即可追蹤服務設定、監控工作負載遙測資料,以及擷取 Google Cloud上的 XProf 設定檔。本文說明 vLLM 的機器學習診斷包裝函式指令,並介紹如何將 vLLM 工作負載容器化、執行及剖析。
包裝函式指令列引數
ML Diagnostics 提供內建的包裝函式指令 google_cloud_mldiagnostics.commands.run_vllm,可啟動 vLLM 服務和推論工作負載,並自動設定遙測和剖析功能。您可以將 run_vllm 包裝函式設為 vLLM Docker 容器中的進入點,或直接在 Google Kubernetes Engine (GKE) 或 Compute Engine 的指令列執行。
使用 run_vllm 指令啟動工作負載時,包裝函式會執行下列動作:
- 註冊執行作業:建立並註冊為 vLLM 服務工作負載設定的代管
MLRun資源。 - 設定分析:設定分析器環境變數,並更新 Cloud Storage 中的分析器輸出路徑,以便在目錄中整理機器學習執行的追蹤記錄。
- 轉送引數:將所有剩餘的指令列引數直接傳遞至
vllm指令。
下表說明 run_vllm 包裝函式接受的指令列引數:
| 引數 | 說明 |
|---|---|
--mlrun_name |
這是必要旗標,機器學習執行作業 (MLRun) 資源的專屬 ID。 |
--mlrun_gcs_path |
這是必要旗標,儲存分析器追蹤記錄和構件的 Cloud Storage bucket 路徑。例如 gs://my-bucket/vllm-profiles。 |
--project |
選用。您的 Google Cloud 專案 ID。 |
--region |
選用。儲存 MLRun 中繼資料的區域。預設值:us-central1。 |
--run_group |
選用。將多個相關執行作業分組的 ID。 |
--configs |
選用。以 JSON 物件字串形式傳遞的使用者定義設定。例如 '{"user":"my-team", "running_on":"TPU"}'。 |
--framework |
選用。工作負載的基礎機器學習架構 (pytorch 或 jax)。預設值:pytorch。 |
--jax_profiler_port |
選用。JAX 分析器伺服器通訊埠。預設值:9999。 |
--phased_profiling_dir |
選用。JAX 分階段剖析追蹤記錄的基本 Cloud Storage 目錄。包裝函式會附加 RUN_NAME/plugins/profile/ 路徑,並將結果匯出為 PHASED_PROFILING_DIR 環境變數,傳送至 vLLM 程序。使用這個引數可啟用分階段剖析。 |
在多主機設定中分階段剖析
如要在多主機設定 (例如 GKE LeaderWorkerSet 上的 Ray 後端) 中啟用 JAX 分階段剖析,請傳遞 --phased_profiling_dir 引數,並省略作業系統環境中的 PHASED_PROFILING_DIR 環境變數。
如果您設定 PHASED_PROFILING_DIR 環境變數,但未傳遞 --phased_profiling_dir 引數,分階段設定檔可能不會顯示在 Google Cloud 控制台的 XProf 中,原因如下:
run_vllm包裝函式會偵測作業系統環境中的PHASED_PROFILING_DIR變數、附加執行範圍後置字串、將路徑轉送至vllm serve指令,並記錄警告。- vLLM 的 Ray 執行器會使用
os.environ.setdefault方法,在遠端工作站上套用驅動程式環境變數。 - 如果遠距工作者環境中已有
PHASED_PROFILING_DIR變數,則會保留現有路徑,而非採用執行範圍路徑,這會將追蹤記錄寫入MLRun目錄以外的位置。
執行及剖析 vLLM 工作負載
如要使用 vLLM 和 ML Diagnostics 提供模型,請完成下列步驟:
- 建構 Docker 容器映像檔,將 vLLM 與 ML Diagnostics SDK 封裝在一起,並將
run_vllm包裝函式設為進入點。 - 將
MLRun引數與vllm serve引數一併傳遞,在 GKE 或 Compute Engine 上執行容器。 - 在伺服器處理推論要求時,使用分階段、手動或隨選剖析功能擷取效能追蹤記錄,並在Google Cloud 控制台中查看結果。
準備 vLLM 的 Docker 映像檔
如要在容器中使用 run_vllm 包裝函式,請建構 Docker 映像檔,在 vLLM TPU 基本映像檔上安裝 ML Diagnostics SDK、xprof 套件和記錄依附元件。在 Dockerfile 中,將 google_cloud_mldiagnostics.commands.run_vllm 模組設為容器進入點。
下列 Dockerfile 範例會將 vLLM TPU 映像檔與 ML Diagnostics SDK 封裝:
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
使用機器學習診斷執行 vLLM
建構 Docker 映像檔後,您可以在 GKE 或 Compute Engine 上執行容器。啟動容器時,請設定分析器環境變數,並將 MLRun 引數與標準 vllm serve 引數一併傳遞。
執行 vLLM 容器,並啟用機器學習診斷功能:
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
更改下列內容:
BUCKET_NAME:用於儲存分析器追蹤記錄和構件的 Cloud Storage bucket 名稱HF_TOKEN:您的 Hugging Face 存取權杖VLLM_IMAGE:vLLM Docker 映像檔的名稱或 URIPROJECT_ID:您的 Google Cloud 專案 ID
剖析 vLLM 工作負載
使用 run_vllm 指令啟動容器時,包裝函式會設定分析器環境,並將所有分析器追蹤記錄儲存在 Cloud Storage 的 MLRUN_GCS_PATH/RUN_NAME/plugins/profile/ 目錄下:
MLRUN_GCS_PATH:您使用--mlrun_gcs_path引數指定的 Cloud Storage bucket 路徑RUN_NAME:MLRun資源的專屬 ID
vLLM 容器處理推論要求時,您可以透過分階段、手動或隨選分析,擷取分析器追蹤記錄。
分階段剖析
分階段分析會自動擷取不同推論工作負載階段的追蹤記錄,例如 PREFILL_ONLY、PREFILL_HEAVY、BALANCED 和 DECODE_HEAVY。提供基本 Cloud Storage 路徑時,run_vllm 包裝函式會附加 RUN_NAME/plugins/profile/ 子目錄,並將產生的路徑匯出至 PHASED_PROFILING_DIR 環境變數。
如要在啟動容器時啟用分階段剖析,請進行下列設定:
- 設定
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True環境變數。 - 將
PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR環境變數設為要剖析的步驟數。 - 使用
--phased_profiling_dir包裝函式引數傳遞基本 Cloud Storage 路徑 (或在單一主機設定中設定PHASED_PROFILING_DIR環境變數)。
手動 (API 觸發) 分析
手動剖析可讓您透過程式輔助方式,針對特定推論流量期間啟動及停止剖析工作階段。啟動容器時,run_vllm 包裝函式會更新 VLLM_TORCH_PROFILER_DIR 環境變數和 --profiler-config.torch_profiler_dir 引數,將追蹤記錄儲存在機器學習執行的設定檔目錄中。
如要擷取手動設定檔,請按照下列步驟操作:
- 啟動容器時,請設定
VLLM_TORCH_PROFILER_DIR環境變數,並將--profiler-config.profiler=torch和--profiler-config.torch_profiler_dir引數傳遞至vllm serve指令。 - 對伺服器產生負載時,請將 HTTP 要求傳送至 vLLM 的
/start_profile和/stop_profileAPI 端點,啟動及停止剖析工作階段。
在 Google Cloud 控制台隨選剖析
隨選剖析可讓您透過 Google Cloud 控制台,以互動方式觸發即時設定檔擷取作業,不必重新啟動工作負載或傳送 API 要求。啟動容器時,run_vllm 包裝函式會設定 USE_JAX_PROFILER_SERVER=True 和 JAX_PROFILER_SERVER_PORT 環境變數,自動啟動 JAX 分析器伺服器。
如要在工作負載處理要求時擷取隨選設定檔,請完成下列步驟:
- 在Google Cloud 控制台中,前往「Run Diagnostics」(執行診斷) 分頁,然後選取
MLRun資源:- Cluster Director:前往「Cluster Director」頁面,然後按一下「Run Diagnostics」(執行診斷) 分頁標籤。
- GKE:前往「Kubernetes」頁面,點選導覽選單中的「AI/ML」,然後點選「Run Diagnostics」(執行診斷) 分頁標籤。
- 選取「設定檔」分頁標籤。
- 啟動擷取工作階段。