הפעלה וניתוח פרופיל של עומסי עבודה ב-vLLM באמצעות "אבחון ML"
vLLM היא ספריית קוד פתוח להסקה ולפרסום של מודלים גדולים של שפה (LLM). שילוב של כלי האבחון של ML עם vLLM מאפשר לעקוב אחרי הגדרות ההצגה, לעקוב אחרי נתוני הטלמטריה של עומסי העבודה ולתעד פרופילים של XProf ב- Google Cloud. במאמר הזה מוסבר איך להשתמש בפקודת המעטפת של ML Diagnostics ל-vLLM, ואיך להריץ עומס עבודה של vLLM בקונטיינר, להפעיל אותו ולנתח את הפרופיל שלו.
ארגומנטים של שורת הפקודה של Wrapper
ב-ML Diagnostics יש פקודת wrapper מובנית, google_cloud_mldiagnostics.commands.run_vllm, להפעלת עומסי עבודה של הצגת מודעות והסקת מסקנות ב-vLLM, ולהגדרה אוטומטית של טלמטריה ופרופיילינג. אתם יכולים להגדיר את ה-wrapper של run_vllm כנקודת הכניסה בקונטיינר Docker של vLLM, או להריץ אותו ישירות משורת הפקודה ב-Google Kubernetes Engine (GKE) או ב-Compute Engine.
כשמפעילים עומס עבודה באמצעות הפקודה run_vllm, ה-wrapper מבצע את הפעולות הבאות:
- רישום ההרצה: יוצר ורושם משאב
MLRunמנוהל שמוגדר לעומסי עבודה של הצגת מודעות ב-vLLM. - הגדרת פרופיילינג: הגדרת משתני סביבה של פרופיילר ועדכון נתיבי הפלט של הפרופיילר ב-Cloud Storage כדי לארגן את המעקבים בספרייה של הרצת ה-ML.
- העברת ארגומנטים: מעבירה את כל הארגומנטים שנותרו בשורת הפקודה ישירות לפקודה
vllm.
בטבלה הבאה מתוארים הארגומנטים של שורת הפקודה ש-wrapper של run_vllm מקבל:
| ארגומנט | תיאור |
|---|---|
--mlrun_name |
חובה. מזהה ייחודי של המשאב של הרצת ה-ML (MLRun). |
--mlrun_gcs_path |
חובה. הנתיב לקטגוריה של Cloud Storage שבה מאוחסנים פריטי המידע שנוצרו וקובצי המעקב של ה-profiler. לדוגמה,
gs://my-bucket/vllm-profiles. |
--project |
זה שינוי אופציונלי. מזהה הפרויקט ב- Google Cloud . |
--region |
זה שינוי אופציונלי. האזור שבו מאוחסנים המטא-נתונים של MLRun.
ברירת המחדל: us-central1. |
--run_group |
זה שינוי אופציונלי. מזהה שמקבץ כמה הפעלות קשורות. |
--configs |
זה שינוי אופציונלי. הגדרות אישיות שאתם מעבירים כמחרוזת אובייקט JSON. לדוגמה,
'{"user":"my-team", "running_on":"TPU"}'. |
--framework |
זה שינוי אופציונלי. מסגרת למידת המכונה הבסיסית של עומס העבודה (pytorch או jax). ברירת המחדל: pytorch. |
--jax_profiler_port |
זה שינוי אופציונלי. יציאת השרת של כלי הניתוח של JAX. ברירת המחדל:
9999. |
--phased_profiling_dir |
זה שינוי אופציונלי. ספריית Cloud Storage בסיסית למעקבי פרופילים בשלבים של JAX. ה-wrapper מוסיף את הנתיב RUN_NAME/plugins/profile/ ומייצא את התוצאה כמשתנה הסביבה PHASED_PROFILING_DIR לתהליך ה-vLLM. משתמשים בארגומנט הזה כדי להפעיל יצירת פרופילים בשלבים. |
יצירת פרופילים בשלבים בהגדרות של כמה מארחים
כדי להפעיל פרופיילינג בשלבים של JAX בהגדרות של כמה מארחים, כמו קצה עורפי של Ray ב-GKE LeaderWorkerSet, מעבירים את הארגומנט --phased_profiling_dir ומשמיטים את משתנה הסביבה PHASED_PROFILING_DIR בסביבה של מערכת ההפעלה.
אם מגדירים את משתנה הסביבה PHASED_PROFILING_DIR בלי להעביר את הארגומנט --phased_profiling_dir, יכול להיות שהפרופילים המדורגים לא יופיעו ב-XProf במסוף Google Cloud מהסיבות הבאות:
- ה-wrapper של
run_vllmמזהה את המשתנהPHASED_PROFILING_DIRבסביבת מערכת ההפעלה, מוסיף את הסיומת ברמת ההרצה, מעביר את הנתיב לפקודהvllm serveומתעד אזהרה ביומן. - מנהל ההפעלה של Ray ב-vLLM מחיל משתני סביבה של מנהלי התקנים על עובדים מרחוק באמצעות השיטה
os.environ.setdefault. - עובדים מרחוק שכבר יש להם את המשתנה
PHASED_PROFILING_DIRבסביבה שלהם שומרים על הנתיב הקיים שלהם במקום לאמץ את הנתיב ברמת ההרצה, שכותב את העקבות שלהם מחוץ לספרייהMLRun.
הרצה וניתוח של עומסי עבודה ב-vLLM
כדי להציג מודל באמצעות vLLM ו-ML Diagnostics:
- יוצרים קובץ אימג' של קונטיינר Docker שמכיל את vLLM עם ML Diagnostics SDK ומגדירים את ה-wrapper של
run_vllmכנקודת הכניסה. - מריצים את הקונטיינר ב-GKE או ב-Compute Engine על ידי העברת הארגומנטים של
MLRunלצד הארגומנטים שלvllm serve. - אתם יכולים לתעד את נתוני המעקב אחרי הביצועים בזמן שהשרת מעבד בקשות להסקת מסקנות, באמצעות יצירת פרופילים בשלבים, באופן ידני או מתי שנוח, ולראות את התוצאות במסוףGoogle Cloud .
הכנת קובץ אימג' של Docker ל-vLLM
כדי להשתמש ב-wrapper של run_vllm בקונטיינר, צריך ליצור קובץ אימג' של Docker שמתקין את ML Diagnostics SDK, את החבילה xprof ואת יחסי התלות של הרישום ביומן מעל קובץ האימג' הבסיסי של vLLM TPU. ב-Dockerfile, מגדירים את המודול google_cloud_mldiagnostics.commands.run_vllm כנקודת הכניסה של הקונטיינר.
בדוגמה הבאה ל-Dockerfile, תמונת TPU של vLLM נארזת עם ML Diagnostics SDK:
FROM vllm/vllm-tpu:latest
WORKDIR /app
RUN pip install --no-cache-dir --upgrade pip && \
pip install --no-cache-dir \
google-cloud-mldiagnostics \
xprof \
google-cloud-logging \
packaging \
tensorflow-cpu
EXPOSE 8000 9999
ENTRYPOINT ["python3", "-m", "google_cloud_mldiagnostics.commands.run_vllm"]
CMD ["--help"]
הפעלת vLLM עם ML Diagnostics
אחרי שיוצרים את קובץ האימג' של Docker, אפשר להריץ את הקונטיינר ב-GKE או ב-Compute Engine. כשמפעילים את הקונטיינר, מגדירים את משתני הסביבה של ה-profiler ומעבירים את הארגומנטים של MLRun יחד עם הארגומנטים הרגילים של vllm serve.
מריצים את קונטיינר ה-vLLM כשהאבחון של ML מופעל:
docker run --name vllm_diagnostics -d --privileged --net=host \
-e HF_HUB_DISABLE_XET=1 \
-e USE_MOE_EP_KERNEL=1 \
-e PJRT_DEVICE=TPU \
-e ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True \
-e VLLM_LOGGING_LEVEL=DEBUG \
-e VLLM_TORCH_PROFILER_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PHASED_PROFILING_DIR="gs://BUCKET_NAME/vllm_profiles" \
-e PYTHONUNBUFFERED=1 \
-e PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FOR=100 \
-e HF_TOKEN="HF_TOKEN" \
-e HUGGING_FACE_HUB_TOKEN="HF_TOKEN" \
VLLM_IMAGE \
--mlrun_name="vllm-tpu-run" \
--run_group="vllm-benchmark" \
--configs='{"user":"ml-team", "running_on":"TPU"}' \
--mlrun_gcs_path="gs://BUCKET_NAME/vllm_profiles" \
--project="PROJECT_ID" \
--region="us-central1" \
-- serve Qwen/Qwen2-1.5B \
--kv-cache-dtype=fp8 \
--tensor-parallel-size=1 \
--data-parallel-size=1 \
--max-model-len=2048 \
--max-num-batched-tokens=2048 \
--max-num-seqs=64 \
--no-enable-prefix-caching \
--block-size=256 \
--gpu-memory-utilization=0.95 \
--port=8000 \
--profiler-config.profiler=torch \
--profiler-config.torch_profiler_dir="gs://BUCKET_NAME/vllm_profiles"
מחליפים את מה שכתוב בשדות הבאים:
-
BUCKET_NAME: השם של הקטגוריה של Cloud Storage שבה נשמרים פריטי המידע והמעקבים של ה-profiler -
HF_TOKEN: טוקן הגישה שלכם ל-Hugging Face -
VLLM_IMAGE: השם או ה-URI של קובץ האימג' של vLLM Docker -
PROJECT_ID: מזהה הפרויקט ב- Google Cloud
יצירת פרופיל של עומסי עבודה ב-vLLM
כשמפעילים את הקונטיינר באמצעות הפקודה run_vllm, ה-wrapper מגדיר את סביבת ה-profiler ושומר את כל המעקבים של ה-profiler ב-Cloud Storage בספרייה MLRUN_GCS_PATH/RUN_NAME/plugins/profile/:
-
MLRUN_GCS_PATH: הנתיב לקטגוריה של Cloud Storage שמציינים באמצעות הארגומנט--mlrun_gcs_path -
RUN_NAME: המזהה הייחודי של המשאבMLRun
בזמן שמארז ה-vLLM משרת בקשות להסקת מסקנות, אתם יכולים לתעד את המעקב של כלי הניתוח באמצעות ניתוח בשלבים, ידני או על פי דרישה.
יצירת פרופילים בשלבים
הפרופיילינג המדורג מתעד באופן אוטומטי את המעקבים בשלבים שונים של עומס העבודה של ההסקה, כמו PREFILL_ONLY, PREFILL_HEAVY, BALANCED ו-DECODE_HEAVY. כשמציינים נתיב בסיס של Cloud Storage, ה-wrapper של run_vllm מוסיף את תת-הספרייה RUN_NAME/plugins/profile/ ומייצא את הנתיב שנוצר למשתנה הסביבה PHASED_PROFILING_DIR.
כדי להפעיל יצירת פרופילים בשלבים כשמפעילים את הקונטיינר, צריך לקבוע את ההגדרות הבאות:
- מגדירים את משתנה הסביבה
ENABLE_GOOGLE_DIAGON_ML_DIAGNOSTICS=True. - מגדירים את משתנה הסביבה
PHASED_PROFILER_NUM_STEPS_TO_PROFILE_FORלמספר השלבים לפרופיל. - מעבירים את נתיב הבסיס של Cloud Storage באמצעות הארגומנט של ה-wrapper
--phased_profiling_dir(או מגדירים את משתנה הסביבהPHASED_PROFILING_DIRבהגדרות של מארח יחיד).
יצירת פרופילים ידנית (מופעלת באמצעות API)
יצירת פרופילים באופן ידני מאפשרת להתחיל ולהפסיק סשנים של יצירת פרופילים באופן פרוגרמטי לחלונות ספציפיים של תנועת הסקה. כשמפעילים את הקונטיינר, ה-wrapper של run_vllm מעדכן את משתנה הסביבה VLLM_TORCH_PROFILER_DIR ואת הארגומנט --profiler-config.torch_profiler_dir כדי לשמור את המעקבים בספריית הפרופיל של הרצת ה-ML.
כדי לתעד פרופיל באופן ידני:
- כשמפעילים את הקונטיינר, מגדירים את משתנה הסביבה
VLLM_TORCH_PROFILER_DIRומעבירים את הארגומנטים--profiler-config.profiler=torchו---profiler-config.torch_profiler_dirלפקודהvllm serve. - בזמן שיוצרים עומס על השרת, שולחים בקשות HTTP לנקודות קצה ל-API
/start_profileו-/stop_profileשל vLLM כדי להתחיל ולהפסיק את סשן הפרופיילינג.
יצירת פרופילים על פי דרישה במסוף Google Cloud
יצירת פרופילים על פי דרישה מאפשרת להפעיל תיעוד פרופילים בזמן אמת באופן אינטראקטיבי ממסוף Google Cloud , בלי להפעיל מחדש את עומס העבודה או לשלוח בקשות API. כשמפעילים את הקונטיינר, ה-wrapper של run_vllm מפעיל באופן אוטומטי את שרת ה-profiler של JAX על ידי הגדרת משתני הסביבה USE_JAX_PROFILER_SERVER=True ו-JAX_PROFILER_SERVER_PORT.
כדי לתעד פרופיל על פי דרישה בזמן שעומס העבודה מטפל בבקשות:
- במסוףGoogle Cloud , נכנסים לכרטיסייה Run Diagnostics ובוחרים את המשאב של
MLRun:- Cluster Director: נכנסים לדף Cluster Director ולוחצים על הכרטיסייה Run Diagnostics.
- GKE: נכנסים לדף Kubernetes, לוחצים על AI/ML בתפריט הניווט ואז על הכרטיסייה Run Diagnostics.
- לוחצים על הכרטיסייה פרופילים.
- מתחילים סשן צילום.