שימוש ב-vLLM ב-GKE להרצת היקש עם DeepSeek-V3.1-Base

במדריך הזה נראה לכם איך לפרוס ולהכניס לשימוש בסביבת הייצור מודל שפה DeepSeek-V3.1-Base באמצעות מסגרת vLLM. פורסים את המודל הזה באשכול במצב Autopilot של מהדורת Google Kubernetes Engine ‏(GKE) Enterprise ומשתמשים במכונה וירטואלית אחת מסוג A4 עם 8 מעבדי GPU מסוג B200.

חשוב: כדי להשלים את המדריך הזה, צריך לשריין את הקיבולת ליצירת מכונה וירטואלית מסוג A4. מידע נוסף על האפשרויות להזמנת קיבולת ב-AI Hypercomputer לתאריך ולשעה עתידיים זמין במאמר בחירת אפשרות צריכה.

המדריך הזה מיועד למהנדסי למידת מכונה (ML), לאדמינים ולאופרטורים של פלטפורמות ולמומחי נתונים ו-AI שרוצים להשתמש ביכולות של Kubernetes לניהול קונטיינרים כדי לטפל בעומסי עבודה של הסקת מסקנות.

מטרות

1. אפשר לגשת אל DeepSeek-V3.1-Base באמצעות Hugging Face.
2. מכינים את הסביבה.
3. יוצרים אשכול GKE במצב אוטומטי.
4. יוצרים סוד של Kubernetes לפרטי הכניסה של Hugging Face.
5. יצירת קטגוריה של Cloud Storage.
6. מורידים את המודל לקטגוריה של Cloud Storage.
7. פריסת קונטיינר vLLM לאשכול GKE.
8. כדי ליצור אינטראקציה עם DeepSeek-V3.1-Base, משתמשים ב-curl.
9. לפנות.

עלויות

במדריך הזה נעשה שימוש ברכיבים של Google Cloudשחלים עליהם חיובים, כולל:

• תמחור של Google Kubernetes Engine‏ (GKE)
• תמחור של מעבדים גרפיים ל-Cloud

כדי ליצור הערכת עלויות על סמך השימוש החזוי, אתם יכולים להשתמש במחשבון עלויות.

לפני שמתחילים

1. התקינו את ה-CLI של Google Cloud.

2. הגדירו שה-CLI של gcloud ישתמש בזהות המאוחדת שלכם.

   איך נכנסים ל-CLI של gcloud באמצעות הזהות המאוחדת?

3. כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

   gcloud init

4. יוצרים או בוחרים Google Cloud פרויקט.

   תפקידים שנדרשים כדי לבחור או ליצור פרויקט

   • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
   • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים
   הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

   • יוצרים Google Cloud פרויקט:

     gcloud projects create PROJECT_ID

     מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

   • בוחרים את הפרויקט שיצרתם: Google Cloud

     gcloud config set project PROJECT_ID

     מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

5. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

6. מפעילים את ממשק ה-API הנדרש:

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   gcloud services enable container.googleapis.com

7. מעניקים תפקידים לחשבון המשתמש. מריצים את הפקודה הבאה לכל אחד מהתפקידים הבאים ב-IAM: roles/container.admin

   gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫USER_IDENTIFIER: המזהה של חשבון המשתמש חשבון. דוגמאות מופיעות במאמר ייצוג המשתמשים במאגרי כוח עבודה בכללי מדיניות IAM.
   • ‫ROLE: תפקיד ה-IAM שאתם מקצים לחשבון המשתמש.
8. נכנסים לחשבון Hugging Face או יוצרים חשבון.

גישה ל-DeepSeek באמצעות Hugging Face

כדי להשתמש ב-Hugging Face כדי לגשת ל-DeepSeek:

1. נכנסים ל-Hugging Face ומעיינים במודל DeepSeek-V3.1-Base.
2. יוצרים טוקן גישה ל-Hugging Face read.
3. מעתיקים ושומרים את ערך הטוקן read access. תשתמשו בו בהמשך המדריך הזה.

הכנת הסביבה

כדי להכין את הסביבה, מגדירים את משתני הסביבה שמוגדרים כברירת מחדל:

export PROJECT_ID="YOUR_PROJECT_ID"
export RESERVATION_URL="YOUR_RESERVATION_NAME"
export REGION="YOUR_REGION"
export CLUSTER_NAME="YOUR_CLUSTER_NAME"
export GCS_BUCKET="YOUR_GCS_BUCKET"
export HUGGING_FACE_TOKEN="YOUR_HF_TOKEN"
export NETWORK="YOUR_NETWORK_NAME"
export SUBNETWORK="YOUR_SUBNETWORK_NAME"
export PROJECT_NUMBER=$(gcloud projects describe "${PROJECT_ID}" --format="value(projectNumber)")

gcloud config set project "${PROJECT_ID}"
gcloud config set billing/quota_project "${PROJECT_ID}"

מחליפים את מה שכתוב בשדות הבאים:

• ‫YOUR_PROJECT_ID: המזהה של Google Cloud הפרויקט Google Cloud שבו רוצים ליצור את אשכול GKE.

• ‫YOUR_RESERVATION_NAME: כתובת ה-URL של ההזמנה שבה רוצים להשתמש כדי ליצור את אשכול GKE. בהתאם לפרויקט שבו קיימת ההזמנה, מציינים אחד מהערכים הבאים:

  • ההזמנה קיימת בפרויקט: RESERVATION_NAME

  • ההזמנה קיימת בפרויקט אחר, והפרויקט שלכם יכול להשתמש בה: projects/RESERVATION_PROJECT_ID/reservations/RESERVATION_NAME

• ‫YOUR_REGION: האזור שבו רוצים ליצור את אשכול GKE. אפשר ליצור את האשכול רק באזור שבו קיימת ההזמנה.

• ‫YOUR_CLUSTER_NAME: השם של אשכול GKE שרוצים ליצור.

• ‫YOUR_GCS_BUCKET: השם של קטגוריית Cloud Storage שממנה מורידים את המודל.

• ‫YOUR_HF_TOKEN: טוקן הגישה ל-Hugging Face שיצרתם בקטע הקודם.

• ‫YOUR_NETWORK_NAME: הרשת שבה נעשה שימוש באשכול GKE. מציינים אחד מהערכים הבאים:

  • אם יצרתם רשת בהתאמה אישית, צריך לציין את שם הרשת.

  • אחרת, מציינים את הערך default.

• ‫YOUR_SUBNETWORK_NAME: רשת המשנה שבה נעשה שימוש באשכול GKE. מציינים אחד מהערכים הבאים:

  • אם יצרתם רשת משנה בהתאמה אישית, צריך לציין את השם של רשת המשנה. אפשר לציין רק רשת משנה שנמצאת באותו אזור של השריין.

  • אחרת, מציינים את הערך default.

יצירת אשכול GKE במצב אוטומטי

כדי ליצור אשכול GKE במצב Autopilot, מריצים את הפקודה הבאה:

gcloud container clusters create-auto $CLUSTER_NAME \
    --project=$PROJECT_ID \
    --region=$REGION \
    --release-channel=rapid \
    --network=$NETWORK \
    --subnetwork=$SUBNETWORK

יצירת אשכול GKE עשויה להימשך זמן מה. כדי לוודא ש- Google Cloud סיים ליצור את האשכול, עוברים אל Kubernetes clusters במסוף Google Cloud .

יצירת סוד של Kubernetes לפרטי הכניסה של Hugging Face

כדי ליצור סוד של Kubernetes לפרטי הכניסה של Hugging Face:

1. מגדירים את kubectl לתקשורת עם אשכול GKE:

   gcloud container clusters get-credentials $CLUSTER_NAME \
       --location=$REGION

2. יוצרים סוד של Kubernetes לאחסון הטוקן של Hugging Face:

   kubectl create secret generic hf-secret \
       --from-literal=hf_token=${HUGGING_FACE_TOKEN} \
       --dry-run=client -o yaml | kubectl apply -f -

יצירת קטגוריה של Cloud Storage

אם רוצים להשתמש בדלי חדש לאחסון המודל, מריצים את הפקודה הבאה:

gcloud storage buckets create gs://$GCS_BUCKET --location=$REGION --uniform-bucket-level-access

נותנים הרשאות write בקטגוריית Cloud Storage לחשבון השירות שמוגדר כברירת מחדל:

gcloud storage buckets add-iam-policy-binding gs://$GCS_BUCKET \
    --member="principal://iam.googleapis.com/projects/$PROJECT_NUMBER/locations/global/workloadIdentityPools/$PROJECT_ID.svc.id.goog/subject/ns/default/sa/default" \
    --role="roles/storage.objectAdmin"

אם רוצים להשתמש בקטגוריה קיימת של Cloud Storage, אפשר לדלג על השלב הזה. עם זאת, צריך לוודא שהקטגוריה נמצאת באותו אזור כמו האשכול, ושלחשבון השירות יש את ההרשאות הנדרשות write לקטגוריה.

הורדת המודל לקטגוריה שלכם ב-Cloud Storage

1. יוצרים קובץ deepseek-download-job.yaml:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: deepseek-download-job
     namespace: default
   spec:
     template:
       metadata:
         labels:
           app: deepseek-oss-downloader
       spec:
         restartPolicy: OnFailure
         containers:
         - name: downloader
           image: google/cloud-sdk:slim
           resources:
             requests:
               cpu: "8"
               memory: "32Gi"
             limits:
               cpu: "8"
               memory: "32Gi"
           env:
           - name: HUGGING_FACE_HUB_TOKEN
             valueFrom:
               secretKeyRef:
                 name: hf-secret
                 key: hf_token
           - name: HF_XET_HIGH_PERFORMANCE
             value: "0"
           - name: PIP_BREAK_SYSTEM_PACKAGES
             value: "1"
           command: ["/bin/sh", "-c"]
           args:
           - |
             set -e
             echo "Installing Hugging Face Hub CLI..."
             pip install -U "huggingface_hub[cli]"
   
             LOCAL_DIR="/mnt/model-download/deepseek-v3-1"
             mkdir -p "$LOCAL_DIR"
   
             echo "Downloading model from HF to local SSD using parallel workers..."
             hf download deepseek-ai/DeepSeek-V3.1-Base \
               --token "$HUGGING_FACE_HUB_TOKEN" \
               --local-dir "$LOCAL_DIR" \
               --max-workers 8
   
             DOWNLOAD_STATUS=$?
   
             if [ $DOWNLOAD_STATUS -ne 0 ]; then
               echo "ERROR: Model download failed with exit code $DOWNLOAD_STATUS"
               exit $DOWNLOAD_STATUS
             fi
   
             echo "Download to SSD complete. Syncing to GCS..."
             gcloud storage rsync "$LOCAL_DIR" "gs://$GCS_BUCKET/deepseek-v3-1" --recursive
   
             echo "Process successfully completed!"
           volumeMounts:
           - mountPath: /mnt/model-download
             name: download-storage
         volumes:
         - name: download-storage
           ephemeral:
             volumeClaimTemplate:
               spec:
                 accessModes: [ "ReadWriteOnce" ]
                 storageClassName: premium-rwo
                 resources:
                   requests:
                     storage: 800Gi

2. מחילים את קובץ המניפסט deepseek-download-job.yaml כדי לאתחל את משימת ההורדה:

   envsubst '$GCS_BUCKET' < deepseek-download-job.yaml | kubectl apply -f -

3. כדי לראות את סטטוס ההשלמה, מריצים את הפקודה הבאה:

   kubectl wait \
       --for=condition=Complete \
       --timeout=7200s job/deepseek-download-job

   הדגל --timeout מציין כמה זמן הפקודה תנטר את העבודה לפני שהזמן הקצוב יסתיים.

   משאב העבודה מוריד את משקלי המודל DeepSeek-V3.1-Base מ-Hugging Face לקטגוריה של Google Cloud Storage באמצעות נפח SSD. ההורדה נמשכת כ-40 דקות. אחרי שההורדה מסתיימת, ממשיכים לקטע הבא כדי להפעיל את פריסת המודל.

4. כדי למחוק את העבודה, מריצים את הפקודה הבאה:

   kubectl delete job deepseek-download-job

פריסת קונטיינר vLLM באשכול GKE

אחרי שמורידים את המודל לקטגוריה של Cloud Storage, פורסים קונטיינר vLLM לאשכול GKE באמצעות השלבים הבאים:

1. יוצרים קובץ vllm-deepseek3-1-base.yaml עם הפריסה של vLLM שבחרתם:

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: deepseek3-1-deploy
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: deepseek
     template:
       metadata:
         labels:
           app: deepseek
           ai.gke.io/model: deepseek-v3-1-base
           ai.gke.io/inference-server: vllm
           examples.ai.gke.io/source: user-guide
         annotations:
           gke-gcsfuse/volumes: "true"
       spec:
         containers:
         - name: vllm-inference
           image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250819_0916_RC01
           resources:
             requests:
               cpu: "10"
               memory: "1000Gi"
               ephemeral-storage: "1Ti"
               nvidia.com/gpu: "8"
             limits:
               cpu: "10"
               memory: "1000Gi"
               ephemeral-storage: "1Ti"
               nvidia.com/gpu: "8"
           command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
           args:
           - --model=/mnt/gcs/deepseek-v3-1
           - --tensor-parallel-size=8
           - --host=0.0.0.0
           - --port=8000
           - --max-model-len=8192
           - --max-num-seqs=4
           volumeMounts:
           - mountPath: /dev/shm
             name: dshm
           - mountPath: /mnt/gcs
             name: gcs-bucket-volume
             readOnly: true
           livenessProbe:
             httpGet:
               path: /health
               port: 8000
             initialDelaySeconds: 1800
             periodSeconds: 10
           readinessProbe:
             httpGet:
               path: /health
               port: 8000
             initialDelaySeconds: 1800
             periodSeconds: 5
         volumes:
         - name: dshm
           emptyDir:
               medium: Memory
         - name: gcs-bucket-volume
           csi:
             driver: gcsfuse.csi.storage.gke.io
             volumeAttributes:
               bucketName: $GCS_BUCKET
               mountOptions: "implicit-dirs,file-cache:max-size-mb:-1,file-cache:enable-parallel-downloads:true,file-cache:max-parallel-downloads:32,file-cache:parallel-downloads-per-file:8,file-cache:download-chunk-size-mb:16"
         nodeSelector:
           cloud.google.com/gke-accelerator: nvidia-b200
           cloud.google.com/reservation-name: $RESERVATION_URL
           cloud.google.com/reservation-affinity: "specific"
           cloud.google.com/gke-gpu-driver-version: latest
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: deepseek-service
   spec:
     selector:
       app: deepseek
     type: ClusterIP
     ports:
       - protocol: TCP
         port: 8000
         targetPort: 8000
   ---
   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
     name: deepseek-monitoring
   spec:
     selector:
       matchLabels:
         app: deepseek
     endpoints:
     - port: 8000
       path: /metrics
       interval: 30s

2. מחילים את קובץ vllm-deepseek3-1-base.yaml על אשכול GKE:

   envsubst < vllm-deepseek3-1-base.yaml | kubectl apply -f -

3. כדי לראות את סטטוס ההשלמה, מריצים את הפקודה הבאה:

   kubectl wait \
     --for=condition=Available \
     --timeout=7200s deployment/deepseek3-1-deploy

   הדגל --timeout מאפשר לפקודה לעקוב אחרי הפריסה למשך פרק הזמן שצוין.

אינטראקציה עם DeepSeek-V3.1-Base באמצעות curl

כדי לאמת את מודל DeepSeek-V3.1-Base שפרסתם:

1. הגדרת העברה ליציאה אחרת ל-DeepSeek-V3.1-Base:

   kubectl port-forward service/deepseek-service 8000:8000

2. פותחים חלון טרמינל חדש. אחרי זה תוכלו לשוחח עם המודל באמצעותcurl:

   curl http://127.0.0.1:8000/v1/chat/completions \
   -X POST \
   -H "Content-Type: application/json" \
   -d '{
     "model": "deepseek-ai/DeepSeek-V3.1-Base",
     "messages": [
       {
         "role": "user",
         "content": "Describe how generative AI works in one short and easy to understand sentence"
       }
     ],
   "stream":false
   }' | jq .

3. הפלט שיוצג יהיה דומה לזה:

   {
     "id": "chatcmpl-1a47172070544a5d83199ed5548befca",
     "object": "chat.completion",
     "created": 1755891024,
     "model": "deepseek-ai/DeepSeek-V3.1-Base",
     "choices": [
       {
         "index": 0,
         "message": {
           "role": "assistant",
           "content": "\nGenerative AI uses patterns from existing data to create new, similar content, like text, images, or music.\n",
           "refusal": null,
           "annotations": null,
           "audio": null,
           "function_call": null,
           "tool_calls": [],
           "reasoning_content": null
         },
         "logprobs": null,
         "finish_reason": "stop",
         "stop_reason": null
       }
     ],
     "service_tier": null,
     "system_fingerprint": null,
     "usage": {
       "prompt_tokens": 17,
       "total_tokens": 42,
       "completion_tokens": 25,
       "prompt_tokens_details": null
     },
     "prompt_logprobs": null,
     "kv_transfer_params": null
   }
   

בדיקת הביצועים של המודל

אם רוצים לבחון את הביצועים של המודל, אפשר להשתמש בשילוב של לוח הבקרה של vLLM ב-Cloud Monitoring. לוח הבקרה הזה מאפשר לכם לראות מדדים קריטיים של ביצועי המודל, כמו תפוקת טוקנים, זמן אחזור ברשת ושיעורי שגיאות. מידע נוסף מופיע במאמר בנושא vLLM במסמכי התיעוד בנושא Monitoring.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

מחיקת המשאבים

אחרי שמסיימים את המדריך, מוחקים את המשאבים שכבר לא צריך:

1. כדי למחוק את הפריסה והשירות שהוגדרו בקובץ vllm-deepseek3-1-base.yaml ואת הסוד של Kubernetes מאשכול GKE, מריצים את הפקודה הבאה:

   envsubst < vllm-deepseek3-1-base.yaml | kubectl delete -f -
   kubectl delete secret hf-secret

2. כדי למחוק את הקטגוריה של Cloud Storage, מריצים את הפקודה הבאה:

   gcloud storage rm --recursive gs://$GCS_BUCKET

3. כדי למחוק את אשכול GKE:

   gcloud container clusters delete $CLUSTER_NAME \
       --region=$REGION \
       --quiet

מחיקת פרויקט

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

כדי למחוק פרויקט Google Cloud :

gcloud projects delete PROJECT_ID

המאמרים הבאים

• ניהול אשכולות GKE שעברו אופטימיזציה באמצעות AI