Ce tutoriel explique comment affiner un grand modèle de langage (LLM) Gemma 4 sur un cluster Google Kubernetes Engine (GKE) à hôte unique et GPU multiples sur Google Cloud. Ce cluster utilise une seule instance de machine virtuelle (VM) A4 à laquelle sont associés huit GPU NVIDIA B200.
Les deux principaux processus décrits dans ce tutoriel sont les suivants :
- Déployez un cluster GKE hautes performances à l'aide de GKE Autopilot. Dans le cadre de ce déploiement, vous allez utiliser Cloud Build pour créer une image de conteneur personnalisée avec les logiciels nécessaires préinstallés.
- Une fois le cluster déployé, vous exécutez un job de réglage qui utilise le parallélisme des données entièrement segmentées (FSDP) pour segmenter le modèle sur les huit GPU d'un seul nœud A4 (
a4-highgpu-8g). Le job utilise l'ensemble de scripts qui accompagne ce tutoriel et exploite la bibliothèque Hugging Face Accelerate.
Ce tutoriel est destiné aux ingénieurs en machine learning (ML), aux chercheurs, aux administrateurs et opérateurs de plate-forme, ainsi qu'aux spécialistes des données et de l'IA qui souhaitent déployer des clusters GKE sur Google Cloud pour entraîner des LLM.
Objectifs
Accédez au modèle Gemma 4 à l'aide de Hugging Face.
Préparez votre environnement.
Créer et déployer un cluster GKE A4.
Affinez le modèle Gemma 4 à l'aide de la bibliothèque Hugging Face Accelerate avec le parallélisme des données entièrement segmentées (FSDP).
surveiller votre job ;
Effectuer un nettoyage.
Coûts
Dans ce document, vous utilisez les composants facturables de Google Cloudsuivants :
- Compute Engine
- Google Kubernetes Engine (GKE)
- Artifact Registry
- Cloud Build
- Cloud Storage
- Cloud Logging
Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.
Avant de commencer
Activez les API requises, si elles ne sont pas déjà activées :
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.gcloud services enable compute.googleapis.com
container.googleapis.com artifactregistry.googleapis.com cloudbuild.googleapis.com logging.googleapis.com cloudresourcemanager.googleapis.com servicenetworking.googleapis.com Activez le compte de service par défaut pour votre projet Google Cloud :
export PROJECT_NUMBER="$(gcloud projects describe "YOUR_PROJECT_ID" --format "value(project_number)")" gcloud iam service-accounts enable "${PROJECT_NUMBER}-compute@" \ --project=YOUR_PROJECT_ID
Attribuez les rôles dont le compte de service par défaut a besoin pour exécuter la charge de travail de réglage :
ROLES=("roles/artifactregistry.writer" "roles/cloudbuild.builds.builder" "roles/logging.logWriter" "roles/monitoring.metricWriter" "roles/monitoring.viewer" "roles/stackdriver.resourceMetadata.writer" "roles/storage.objectViewer") for role in "${ROLES[@]}"; do gcloud projects add-iam-policy-binding YOUR_PROJECT_ID \ --member="serviceAccount:${PROJECT_NUMBER}-compute@" \ --role="${role}" 1>/dev/null done unset ROLES
Pour vérifier que les rôles ont bien été attribués, exécutez la commande suivante :
gcloud projects get-iam-policy YOUR_PROJECT_ID \ --flatten="bindings[].members" \ --filter="bindings.members:serviceAccount:${PROJECT_NUMBER}-compute@" \ --format="table(bindings.role)"Créez des identifiants d'authentification locaux pour votre compte utilisateur :
gcloud auth application-default login
Activez OS Login pour votre projet :
gcloud compute project-info add-metadata \ --metadata=enable-oslogin=TRUE \ --project=YOUR_PROJECT_ID
Pour obtenir les autorisations nécessaires pour suivre ce tutoriel, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet :
- Administrateur Kubernetes Engine (
roles/container.admin) - Administrateur de Compute (
roles/compute.admin) - Administrateur de l'espace de stockage (
roles/storage.admin) - Administrateur Artifact Registry (
roles/artifactregistry.admin) - Éditeur Cloud Build (
roles/cloudbuild.builds.editor) -
Utilisateur du compte de service (
roles/iam.serviceAccountUser) - Administrateur de compte de service (
roles/iam.serviceAccountAdmin) - Administrateur de projet IAM (
roles/resourcemanager.projectIamAdmin) - Administrateur Service Usage (
roles/serviceusage.serviceUsageAdmin)
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
Accéder à Gemma 4 à l'aide de Hugging Face
Pour utiliser Hugging Face afin d'accéder à Gemma 4, procédez comme suit :
- Se connecter à Hugging Face
- Créez un jeton d'accès Hugging Face
write.
Cliquez sur Your Profile > Settings > Access tokens > +Create new token (Votre profil > Paramètres > Jetons d'accès > +Créer un jeton). - Copiez et enregistrez la valeur du jeton
write access. Vous en aurez besoin dans la suite de ce tutoriel.
Préparer votre environnement
Pour préparer votre environnement, définissez les éléments suivants :
Remplacez les éléments suivants :
YOUR_PROJECT_ID : ID du projet Google Cloud dans lequel vous souhaitez créer le cluster GKE.
YOUR_CLUSTER_NAME : nom du cluster GKE à créer.
YOUR_REGION : région dans laquelle vous souhaitez créer votre cluster GKE. Vous ne pouvez créer le cluster que dans la région où se trouve votre réservation.
YOUR_RESERVATION_NAME : identifiant de votre capacité réservée.
YOUR_HF_TOKEN : jeton d'accès Hugging Face que vous avez créé dans la section précédente.
YOUR_ARTIFACT_REGISTRY_LOCATION : région Google Cloud dans laquelle vous souhaitez créer votre dépôt Artifact Registry. Pour réduire la latence d'extraction d'images, nous vous recommandons d'utiliser la même région que celle utilisée pour YOUR_REGION.
Créer un cluster GKE en mode Autopilot
Pour créer un cluster GKE en mode Autopilot, exécutez la commande suivante :
La création du cluster GKE peut prendre un certain temps. Pour vérifier que Google Cloud a terminé de créer votre cluster, accédez à la page Clusters Kubernetes de la console Google Cloud .
Créer un secret Kubernetes pour les identifiants Hugging Face
Pour créer un secret Kubernetes pour les identifiants Hugging Face, procédez comme suit :
Configurez
kubectlpour communiquer avec votre cluster GKE :Créez un secret Kubernetes pour stocker votre jeton Hugging Face :
Préparer votre charge de travail
Pour préparer votre charge de travail, procédez comme suit :
Créer des scripts de charge de travail
Pour créer les scripts utilisés par votre charge de travail d'affinage, procédez comme suit :
Créez un répertoire pour les scripts de charge de travail. Utilisez ce répertoire comme répertoire de travail.
Créez le fichier
cloudbuild.yamlpour utiliser Google Cloud Build. Ce fichier crée votre conteneur de charge de travail et le stocke dans Artifact Registry :Créez un fichier
Dockerfilepour exécuter le job de réglage :Créez le fichier
accel_fsdp_gemma4_config.yaml. Ce fichier de configuration indique à Hugging Face Accelerate de répartir le job de réglage sur les huit GPU locaux de votre hôte unique à l'aide de FSDP :Créez le fichier
finetune.yaml:Créez le fichier
finetune.py:
Utiliser Docker et Cloud Build pour créer un conteneur d'affinage
Créez un dépôt Docker Artifact Registry :
Dans le répertoire
llm-finetuning-gemmaque vous avez créé précédemment, exécutez la commande suivante pour créer l'image de réglage et la transférer vers Artifact Registry.Exportez l'URL de l'image. Vous en aurez besoin lors d'une prochaine étape de ce tutoriel :
Démarrer votre charge de travail d'affinage
Pour démarrer votre charge de travail de réglage, procédez comme suit :
Appliquez le fichier manifeste d'affinage pour créer le job d'affinage :
Comme vous utilisez des clusters en mode GKE Autopilot, le démarrage de votre nœud compatible avec les GPU peut prendre quelques minutes.
Surveillez le job en exécutant la commande suivante :
Une fois les pods en cours d'exécution, vérifiez les journaux du job :
La ressource du job télécharge les données du modèle, puis affine le modèle sur les huit GPU. Le téléchargement prend environ cinq minutes. Une fois le téléchargement terminé, le processus de réglage prend environ 45 minutes. Le job enregistre un point de contrôle toutes les 20 étapes et transfère l'adaptateur LoRA (adaptation à faible rang) affiné vers un dépôt Hugging Face privé nommé
gemma-31b-text-to-sql.Une fois le job terminé, récupérez l'URL de votre modèle affiné sur Hugging Face, puis ouvrez-la dans votre navigateur :
Surveiller votre charge de travail
Vous pouvez surveiller l'utilisation des GPU dans votre cluster GKE pour vérifier que votre job d'affinage s'exécute efficacement. Pour ce faire, ouvrez le lien suivant dans votre navigateur :
Lorsque vous surveillez votre charge de travail, vous pouvez voir les éléments suivants :
- Utilisation des GPU : pour un job de réglage sain, vous devriez voir l'utilisation de vos huit GPU augmenter et se stabiliser à un niveau élevé tout au long de l'entraînement.
- Durée du job : le job devrait prendre environ 45 minutes sur le cluster A4 spécifié.
Effectuer un nettoyage
Pour éviter que des frais supplémentaires ne vous soient facturés, supprimez les ressources créées lors de ce tutoriel.
Supprimer vos ressources
Pour supprimer votre job d'ajustement, exécutez la commande suivante :
Pour supprimer votre cluster GKE, exécutez la commande suivante :
Pour supprimer votre dépôt Artifact Registry, exécutez la commande suivante :