Utilizza vLLM su GKE per gestire l'inferenza di Gemma 3 27B

Questo tutorial mostra come eseguire il deployment e la pubblicazione di un modello linguistico di grandi dimensioni (LLM) Gemma 3 27B con il framework di pubblicazione vLLM. Esegui il deployment di Gemma 3 su una singola istanza di macchina virtuale (VM) A4 in Google Kubernetes Engine (GKE).

Questo tutorial è destinato a ingegneri di machine learning (ML), amministratori e operatori di piattaforme e specialisti di dati e AI interessati a utilizzare le funzionalità di orchestrazione dei container Kubernetes per gestire i carichi di lavoro di inferenza.

Obiettivi

  1. Accedi a Gemma 3 utilizzando Hugging Face.

  2. Prepara l'ambiente.

  3. Crea un cluster GKE in modalità Autopilot.

  4. Crea un secret di Kubernetes per le credenziali di Hugging Face.

  5. Esegui il deployment di un container vLLM nel cluster GKE.

  6. Interagisci con Gemma 3 utilizzando curl.

  7. Libera spazio.

Costi

Questo tutorial utilizza i componenti fatturabili di Google Cloud, tra cui:

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi.

Prima di iniziare

  1. Installa Google Cloud CLI.

  2. Configura gcloud CLI per utilizzare la tua identità federata.

    Per ulteriori informazioni, vedi Accedi a gcloud CLI con la tua identità federata.

  3. Per inizializzare gcloud CLI, esegui questo comando: 

    gcloud init

  4. Crea o seleziona un Google Cloud progetto.

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto su cui ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l' resourcemanager.projects.create autorizzazione. Scopri come concedere i ruoli.

    • Crea un Google Cloud progetto:

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il Google Cloud progetto che stai creando.

    • Seleziona il Google Cloud progetto che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del Google Cloud progetto.

  5. Verifica che la fatturazione sia attivata per il tuo Google Cloud progetto.

  6. Abilita l'API richiesta:

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli. 

    gcloud services enable container.googleapis.com

  7. Concedi i ruoli al tuo account utente. Esegui il seguente comando una volta per ciascuno dei seguenti ruoli IAM: roles/container.admin 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Sostituisci quanto segue:

  8. Accedi o crea un account Hugging Face account.

Accedi a Gemma 3 utilizzando Hugging Face

Per utilizzare Hugging Face per accedere a Gemma 3:

  1. Accedi a Hugging Face
  2. Crea un token di accesso read di Hugging Face. Fai clic su Il tuo profilo > Impostazioni > Token di accesso > +Crea nuovo token
  3. Copia e salva il valore del token di read access. Lo utilizzerai più avanti in questo tutorial.

Prepara l'ambiente

Per preparare l'ambiente, imposta le variabili di ambiente predefinite:

export PROJECT_ID="YOUR_PROJECT_ID"
export RESERVATION_URL="YOUR_RESERVATION_NAME"
export REGION="YOUR_REGION"
export CLUSTER_NAME="YOUR_CLUSTER_NAME"
export HUGGING_FACE_TOKEN="YOUR_HF_TOKEN"
export NETWORK="YOUR_NETWORK_NAME"
export SUBNETWORK="YOUR_SUBNETWORK_NAME"

gcloud config set project "${PROJECT_ID}"
gcloud config set billing/quota_project "${PROJECT_ID}"

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del Google Cloud progetto in cui vuoi creare il cluster GKE.

  • RESERVATION_URL: l'URL della prenotazione che vuoi utilizzare per creare il cluster GKE. In base al progetto in cui esiste la prenotazione, specifica uno dei seguenti valori:

    • La prenotazione esiste nel tuo progetto: RESERVATION_NAME

    • La prenotazione esiste in un progetto diverso e il tuo progetto può utilizzare la prenotazione: projects/RESERVATION_PROJECT_ID/reservations/RESERVATION_NAME

  • REGION: la regione in cui vuoi creare il cluster GKE. Puoi creare il cluster solo nella regione in cui esiste la prenotazione.

  • CLUSTER_NAME: il nome del cluster GKE da creare.

  • YOUR_HF_TOKEN: il token di accesso a Hugging Face che hai creato nella sezione precedente.

  • NETWORK: la rete utilizzata dal cluster GKE. Specifica uno dei seguenti valori:

    • Se hai creato una rete personalizzata, specifica il nome della rete.

    • In caso contrario, specifica default.

  • SUBNETWORK: la subnet utilizzata dal cluster GKE. Specifica uno dei seguenti valori:

    • Se hai creato una subnet personalizzata, specifica il nome della subnet. Puoi specificare solo una subnet che si trova nella stessa regione della prenotazione.

    • In caso contrario, specifica default.

Crea un cluster GKE in modalità Autopilot

Per creare un cluster GKE in modalità Autopilot, esegui questo comando:

gcloud container clusters create-auto $CLUSTER_NAME \
    --project=$PROJECT_ID \
    --region=$REGION \
    --release-channel=rapid \
    --network=$NETWORK \
    --subnetwork=$SUBNETWORK

La creazione del cluster GKE potrebbe richiedere un po' di tempo. Per verificare che Google Cloud abbia terminato la creazione del cluster, vai a Cluster Kubernetes nella Google Cloud console.

Crea un secret di Kubernetes per le credenziali di Hugging Face

Per creare un secret di Kubernetes per le credenziali di Hugging Face:

  1. Configura kubectl per comunicare con il cluster GKE:

    gcloud container clusters get-credentials $CLUSTER_NAME \
    --location=$REGION

  2. Crea un secret di Kubernetes per archiviare il token di Hugging Face:

    kubectl create secret generic hf-secret \
    --from-literal=hf_api_token=${HUGGING_FACE_TOKEN} \
    --dry-run=client -o yaml | kubectl apply -f -

Esegui il deployment di un container vLLM nel cluster GKE

Per eseguire il deployment del container vLLM per pubblicare il modello Gemma 3 27B utilizzando i deployment di Kubernetes:

  1. Crea un file vllm-3-27b-it.yaml con il deployment vLLM scelto:

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-gemma-deployment
spec:
  progressDeadlineSeconds: 900
  replicas: 1
  selector:
    matchLabels:
      app: gemma-server
  template:
    metadata:
      labels:
        app: gemma-server
        ai.gke.io/model: gemma-3-27b-it
        ai.gke.io/inference-server: vllm
        examples.ai.gke.io/source: user-guide
    spec:
      containers:
      - name: inference-server
        image: us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/pytorch-vllm-serve:20250801_0916_RC01
        resources:
          requests:
            cpu: "10"
            memory: "128Gi"
            ephemeral-storage: "120Gi"
            nvidia.com/gpu: "8"
          limits:
            cpu: "10"
            memory: "128Gi"
            ephemeral-storage: "120Gi"
            nvidia.com/gpu: "8"
        command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
        args:
        - --model=$(MODEL_ID)
        - --tensor-parallel-size=8
        - --host=0.0.0.0
        - --port=8000
        - --max-model-len=4096
        - --max-num-seqs=4
        env:
        - name: MODEL_ID
          value: google/gemma-3-27b-it
        - name: HUGGING_FACE_HUB_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secret
              key: hf_api_token
        volumeMounts:
        - mountPath: /dev/shm
          name: dshm
        livenessProbe:
          httpGet:
            path: /health
            port: 8000
          initialDelaySeconds: 720
          periodSeconds: 10
        readinessProbe:
          httpGet:
            path: /health
            port: 8000
          initialDelaySeconds: 720
          periodSeconds: 5
      volumes:
      - name: dshm
        emptyDir:
            medium: Memory
      nodeSelector:
        cloud.google.com/gke-accelerator: nvidia-b200
        cloud.google.com/reservation-name: $RESERVATION_URL
        cloud.google.com/reservation-affinity: "specific"
        cloud.google.com/gke-gpu-driver-version: latest
---
apiVersion: v1
kind: Service
metadata:
  name: llm-service
spec:
  selector:
    app: gemma-server
  type: ClusterIP
  ports:
    - protocol: TCP
      port: 8000
      targetPort: 8000

  2. Applica il file vllm-3-27b-it.yaml al cluster GKE:

    envsubst < vllm-3-27b-it.yaml | kubectl apply -f -

    Durante il processo di deployment, il container deve scaricare Gemma 3 da Hugging Face. Per questo motivo, il completamento del deployment del container potrebbe richiedere fino a 30 minuti.

  3. Attendi il completamento del deployment:

    kubectl wait \
    --for=condition=Available \
    --timeout=1800s deployment/vllm-gemma-deployment

Interagisci con Gemma 3 utilizzando curl

Per verificare i modelli Gemma 3 27B ottimizzati per le istruzioni di cui hai eseguito il deployment:

  1. Configura il port forwarding per Gemma 3:

    kubectl port-forward service/llm-service 8000:8000

  2. Apri una nuova finestra del terminale. Puoi quindi chattare con il modello utilizzando curl:

    curl http://127.0.0.1:8000/v1/chat/completions \
-X POST \
-H "Content-Type: application/json" \
-d '{
  "model": "google/gemma-3-27b-it",
  "messages": [
    {
      "role": "user",
      "content": "Why is the sky blue?"
    }
  ]
}' | jq .

    L'output è simile al seguente:

    {
  "id": "chatcmpl-e4a2e624bea849d9b09f838a571c4d9e",
  "object": "chat.completion",
  "created": 1741763029,
  "model": "google/gemma-3-27b-it",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "reasoning_content": null,
        "content": "Okay, let's break down why the sky appears blue! It's a fascinating phenomenon rooted in physics, specifically something called **Rayleigh scattering**. Here's the explanation: ...",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop",
      "stop_reason": 106
    }
  ],
  "usage": {
    "prompt_tokens": 15,
    "total_tokens": 668,
    "completion_tokens": 653,
    "prompt_tokens_details": null
  },
  "prompt_logprobs": null
}

Se vuoi osservare le prestazioni del modello, puoi utilizzare l'integrazione della dashboard vLLM in Cloud Monitoring. Questa dashboard ti aiuta a visualizzare le metriche di prestazioni critiche per il tuo modello, come la velocità effettiva dei token, la latenza di rete e le percentuali di errore. Per informazioni, consulta vLLM nella documentazione di Monitoring.

Libera spazio

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina le risorse

  1. Per eliminare il deployment e il servizio definiti nel file vllm-3-27b-it.yaml e il secret di Kubernetes dal cluster GKE, esegui questo comando:

    envsubst < vllm-3-27b-it.yaml | kubectl delete -f -
kubectl delete secret hf-secret

  2. Per eliminare il cluster GKE, esegui questo comando:

    gcloud container clusters delete $CLUSTER_NAME \
    --region=$REGION \
    --quiet

Elimina il progetto

Elimina un Google Cloud progetto:

gcloud projects delete PROJECT_ID

Passaggi successivi