Neste tutorial, mostramos como ajustar um modelo de linguagem grande (LLM) Gemma 3 em um cluster do GKE Autopilot com vários hosts no Google Cloud. Esse cluster usa duas instâncias de máquina virtual (VM) A4 com um total de 16 GPUs NVIDIA B200.
Os dois processos principais descritos neste tutorial são os seguintes:
- Implantar um cluster do GKE de alto desempenho e vários hosts usando o Autopilot do GKE. Como parte dessa implantação, você cria uma imagem de VM personalizada com o software necessário pré-instalado.
- Depois que o cluster for implantado, execute um job de ajuste fino distribuído usando o conjunto de scripts que acompanha este tutorial. O job usa a biblioteca Hugging Face Accelerate.
Este tutorial é destinado a engenheiros de machine learning (ML), pesquisadores, administradores e operadores de plataforma, além de especialistas em dados e IA que têm interesse em implantar clusters do GKE no Google Cloud para treinar LLMs.
Objetivos
Acesse o modelo Gemma 3 usando o Hugging Face.
Prepare o ambiente.
Criar e implantar um cluster do GKE A4.
Ajuste o modelo Gemma 3 usando a biblioteca Accelerate do Hugging Face com paralelismo de dados totalmente fragmentados (FSDP).
Monitorar o job.
Fazer a limpeza.
Custos
Neste documento, você vai usar os seguintes componentes faturáveis do Google Cloud:
Para gerar uma estimativa de custo baseada na sua projeção de uso,
use a calculadora de preços.
Antes de começar
-
Instale a CLI do Google Cloud.
-
Configure a CLI gcloud para usar sua identidade federada.
Para mais informações, consulte Fazer login na CLI gcloud com sua identidade federada.
-
Para inicializar a CLI gcloud, execute o seguinte comando:
gcloud init -
Crie ou selecione um projeto do Google Cloud .
Papéis necessários para selecionar ou criar um projeto
- Selecionar um projeto: para selecionar um projeto, não é necessário ter um papel específico do IAM. É possível selecionar qualquer projeto em que você tenha um papel.
-
Criar um projeto: para criar um projeto, é preciso ter o papel de Criador de projetos
(
roles/resourcemanager.projectCreator), que contém a permissãoresourcemanager.projects.create. Saiba como conceder papéis.
-
Crie um projeto do Google Cloud :
gcloud projects create PROJECT_ID
Substitua
PROJECT_IDpor um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto do Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_IDpelo nome do projeto do Google Cloud .
-
Verifique se o faturamento está ativado para o projeto do Google Cloud .
Ative as APIs necessárias, se ainda não estiverem ativadas:
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão
serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.gcloud services enable compute.googleapis.com
container.googleapis.com file.googleapis.com logging.googleapis.com cloudresourcemanager.googleapis.com servicenetworking.googleapis.com -
Conceda papéis à sua conta de usuário. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM:
roles/compute.admin, roles/iam.serviceAccountUser, roles/cloudbuild.builds.editor, roles/artifactregistry.admin, roles/storage.admin, roles/serviceusage.serviceUsageAdmingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Substitua:
PROJECT_ID: o ID do projeto.USER_IDENTIFIER: o identificador da sua conta de usuário . Para ver exemplos, consulte Representar usuários do pool de força de trabalho nas políticas do IAM.ROLE: o papel do IAM que você concede à sua conta de usuário.
- Ative a conta de serviço padrão do projeto do Google Cloud :
export PROJECT_NUMBER="$(gcloud projects describe "PROJECT_ID" --format "value(project_number)")" gcloud iam service-accounts enable "${PROJECT_NUMBER}-compute@ \ --project=PROJECT_ID
- Conceda o papel de Editor (
roles/editor) à conta de serviço padrão:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@" \ --role=roles/editor
- Crie credenciais de autenticação local para sua conta de usuário:
gcloud auth application-default login
- Ative o Login do SO no seu projeto:
gcloud compute project-info add-metadata --metadata=enable-oslogin=TRUE
- Faça login ou crie uma conta do Hugging Face.
Acessar o Gemma 3 usando o Hugging Face
Para usar o Hugging Face para acessar o Gemma 3, faça o seguinte:
- Faça login no Hugging Face
- Crie um token de acesso do Hugging Face
write.
Clique em Seu perfil > Configurações > Tokens de acesso > +Criar novo token. - Copie e salve o valor do token
write access. Você vai usá-lo mais adiante neste tutorial.
Preparar o ambiente
Para preparar o ambiente, defina o seguinte:
Substitua:
PROJECT_ID: o nome do projeto do Google Cloud em que você quer criar o cluster do GKE.
CLUSTER_NAME: o nome do cluster do GKE a ser criado.
CLUSTER_REGION: a região em que você quer criar o cluster do GKE. Só é possível criar o cluster na região em que a reserva está.
RESERVATION: o identificador da capacidade reservada.
HF_TOKEN: o token de acesso do Hugging Face que você criou na seção anterior.
ARTIFACT_REPO_LOCATION: o local em que você quer criar o repositório do Artifact Registry.
NUM_NODES: o número de nós que você quer que o cluster do GKE tenha.
NETWORK: a rede a ser usada.
Criar um cluster do GKE de vários hosts no modo Autopilot
Crie um cluster do GKE de vários hosts no modo Autopilot:
A criação do cluster do GKE pode levar algum tempo. Para verificar se o Google Cloud concluiu a criação do cluster, acesse Clusters do Kubernetes no console do Google Cloud .
Receba as credenciais do cluster do GKE
Configure kubectl para se comunicar com o cluster do GKE recém-criado executando o seguinte comando:
Criar um secret do Kubernetes para as credenciais do Hugging Face
Para criar um secret do Kubernetes para as credenciais do Hugging Face, siga estas etapas:
Configure
kubectlpara se comunicar com o cluster do GKE:Crie um secret do Kubernetes para armazenar o token do Hugging Face:
Preparar sua carga de trabalho
Para preparar a carga de trabalho, faça o seguinte:
Criar scripts de carga de trabalho
Para criar os scripts que a carga de trabalho de ajuste usa, faça o seguinte:
Crie um diretório para os scripts de carga de trabalho. Use esse diretório como seu diretório de trabalho.
Crie o arquivo
cloudbuild.yamlpara usar o Google Cloud Build. Esse arquivo cria o contêiner de carga de trabalho e o armazena no Artifact Registry:Crie um arquivo
Dockerfilepara definir o ambiente e instale as dependências necessárias para concluir o job de ajuste:Crie o arquivo
accel_fsdp_gemma3_config.yaml. Esse arquivo de configuração direciona o Hugging Face Accelerate para dividir o job de ajuste em várias GPUs.Crie o arquivo
finetune.yaml:Crie o arquivo
finetune.py:
Usar o Docker e o Cloud Build para criar um contêiner de ajuste fino
Crie um repositório Docker do Artifact Registry:
Instale as definições de recursos personalizados (CRDs) do JobSet necessárias para orquestrar cargas de trabalho de vários hosts.
O JobSet é uma extensão do Kubernetes usada para gerenciar grupos de jobs relacionados. Para mais informações sobre o JobSet, consulte a documentação externa do JobSet.
No diretório
llm-finetuning-gemmaque você criou em uma etapa anterior, execute o comando a seguir para criar a imagem de ajuste e enviá-la para o Artifact Registry.Exporte o URL da imagem. Você vai usá-lo em uma etapa posterior deste tutorial:
Iniciar a carga de trabalho de ajuste fino
Para iniciar a carga de trabalho de ajuste, faça o seguinte:
Aplique o manifesto de ajuste para criar o job de ajuste:
Como você está usando clusters no modo Autopilot do GKE, pode levar alguns minutos para iniciar o nó com GPU ativada.
Monitore o job executando o seguinte comando:
Verifique os registros do pod do worker primário executando o seguinte comando:
O recurso de job faz o download dos dados do modelo e, em seguida, ajusta o modelo em todas as oito GPUs. O download leva cerca de cinco minutos para ser concluído. Depois que o download for concluído, o processo de ajuste vai levar aproximadamente duas horas e 30 minutos para ser concluído.
Monitorar a carga de trabalho
É possível monitorar o uso das GPUs no cluster do GKE para verificar se o job de ajuste está sendo executado de maneira eficiente. Para fazer isso, abra o seguinte link no navegador:
Ao monitorar sua carga de trabalho, você pode ver o seguinte:
- Uso de GPUs: para um job de ajuste saudável, o uso de todas as oito GPUs deve aumentar e se estabilizar em um nível alto durante o treinamento.
- Duração do job: o job deve levar aproximadamente 10 minutos para ser concluído no cluster A4 especificado.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Excluir os recursos
Para excluir o JobSet, execute o seguinte comando:
Para excluir o cluster do GKE, execute o seguinte comando:
Para excluir o repositório do Artifact Registry, execute o seguinte comando:
Excluir o projeto
Excluir um projeto do Google Cloud :
gcloud projects delete PROJECT_ID