Sobre a inferência de modelos de IA/ML no GKE

Nesta página, descrevemos os principais conceitos, benefícios e etapas para executar cargas de trabalho de inferência de modelos de IA/ML generativa no Google Kubernetes Engine (GKE) usando os recursos de IA generativa do GKE.

A disponibilização de inferência é fundamental para implantar seus modelos de IA generativa em aplicativos reais. O GKE oferece uma plataforma robusta e escalonável para gerenciar suas cargas de trabalho conteinerizadas, o que o torna uma opção atraente para disponibilizar seus modelos em desenvolvimento ou produção. Com o GKE, é possível usar os recursos do Kubernetes para orquestração, escalonamento e alta disponibilidade para implantar e gerenciar com eficiência seus serviços de inferência.

Reconhecendo as demandas específicas da inferência de IA/ML, o Google Cloud introduziu os recursos de IA generativa do GKE, um conjunto de recursos projetado especificamente para aprimorar e otimizar a disponibilização de inferência no GKE. Para mais informações sobre recursos específicos, consulte Recursos de IA generativa do GKE.

Começar a usar a inferência de modelos de IA/ML no GKE

Comece a explorar a inferência de modelos de IA/ML no GKE em minutos. Use o nível sem custo financeiro do GKE, que permite começar a usar o Kubernetes sem gerar custos de gerenciamento de clusters.

  1. Acesse a página de IA/ML do GKE no console do Google Cloud

  2. Siga as etapas em Implantar modelos para implantar um modelo conteinerizado e um servidor de modelos.
  3. Leia a Visão geral das práticas recomendadas de inferência no GKE, que tem orientações e recursos para planejar e executar suas cargas de trabalho de inferência no GKE.

Terminologia

Nesta página, usamos a seguinte terminologia relacionada à inferência no GKE:

  • Inferência: o processo de execução de um modelo de IA generativa, como um modelo de linguagem grande ou de difusão, em um cluster do GKE para gerar texto gerado, embeddings ou outras saídas com base em dados de entrada. A inferência de modelos no GKE usa aceleradores para lidar com eficiência com cálculos complexos para processamento em tempo real ou em lote.
  • Modelo: um modelo de IA generativa que aprendeu padrões com dados e é usado para inferência. Os modelos variam em tamanho e arquitetura, desde modelos menores específicos de domínio até redes neurais massivas de bilhões de parâmetros otimizadas para diversas tarefas de linguagem.
  • Servidor de modelos: um serviço conteinerizado responsável por receber solicitações de inferência e retornar inferências. Esse serviço pode ser um app Python ou uma solução mais robusta, como vLLM, TensorFlow Serving ou Triton Inference Server. O servidor de modelos lida com o carregamento de modelos na memória e executa cálculos em aceleradores para retornar inferências de maneira eficiente.
  • Acelerador: hardware especializado, como unidades de processamento gráfico (GPUs) da NVIDIA e Unidades de Processamento de Tensor (TPUs) do Google, que podem ser anexadas a nós do GKE para acelerar os cálculos, principalmente para tarefas de treinamento e inferência.
  • Quantização: técnica usada para reduzir o tamanho dos modelos de IA/ML e melhorar a velocidade de inferência convertendo pesos e ativações de modelos de tipos de dados de maior precisão para tipos de dados de menor precisão.

Benefícios do GKE para inferência

A disponibilização de inferência no GKE oferece vários benefícios:

  • Relação custo-benefício eficiente: tenha valor e velocidade para suas necessidades de veiculação de inferência. Com o GKE, você tem acesso a vários aceleradores de alto desempenho (GPUs e TPUs) e só paga pela capacidade de computação que precisar.
  • Implantação mais rápida: acelere o tempo de lançamento no mercado com práticas recomendadas, qualificações e práticas recomendadas personalizadas fornecidas pelos recursos de IA generativa do GKE.
  • Desempenho escalonável: escalonar horizontalmente o desempenho com o monitoramento pré-criado usando o GKE Inference Gateway, o escalonamento automático horizontal de pods (HPA) e métricas personalizadas. É possível executar uma variedade de modelos pré-treinados ou personalizados, de 8 bilhões a 671 bilhões de parâmetros.
  • Portabilidade total: aproveite a portabilidade total com padrões abertos. O Google contribui para as principais APIs do Kubernetes, incluindo Gateway e LeaderWorkerSet, e todas as APIs são portáteis com distribuições do Kubernetes.
  • Suporte ao ecossistema: use o ecossistema robusto do GKE, que oferece suporte a ferramentas como o Kueue para enfileiramento e gerenciamento avançados de recursos e o Ray para computação distribuída, facilitando o treinamento e a inferência de modelos escalonáveis e eficientes.

Como funciona a inferência no GKE

Nesta seção, descrevemos, em alto nível, as etapas para usar o GKE para veiculação de inferência:

  1. Conteinerizar o modelo: conteinerizar um aplicativo é criar uma imagem de contêiner, que é um pacote executável que inclui tudo o que é necessário para executar o aplicativo: código, ambiente de execução, ferramentas do sistema, bibliotecas do sistema e configurações. Um aplicativo simples pode ser conteinerizado como uma única unidade, enquanto um aplicativo mais complexo pode ser dividido em vários componentes conteinerizados. Implante um modelo conteinerizando o servidor de modelos (como o vLLM) e carregando os pesos do modelo do Cloud Storage ou de um repositório como o Hugging Face. Quando você usa o Guia de início rápido de inferência do GKE, a imagem do contêiner é gerenciada automaticamente no manifesto.

  2. Criar um cluster do GKE: crie um cluster do GKE para hospedar sua implantação. Escolha o Autopilot para uma experiência gerenciada ou o Standard para personalização. Configure o tamanho do cluster, os tipos de nó e os aceleradores. Para uma configuração otimizada, use o Inference Quickstart.

  3. Implantar o modelo como uma implantação do Kubernetes: crie uma implantação do Kubernetes para gerenciar o serviço de inferência. Uma implantação é um objeto da API Kubernetes que permite executar várias réplicas de pods distribuídos entre os nós de um cluster. Especifique a imagem Docker, as réplicas e as configurações. O Kubernetes extrai a imagem e executa os contêineres nos nós do cluster do GKE. Configure os pods com o servidor de modelos e o modelo, incluindo adaptadores LoRA, se necessário.

  4. Expor o serviço de inferência: torne o serviço de inferência acessível criando um serviço do Kubernetes para fornecer um endpoint de rede para a implantação. Use o Gateway de inferência para balanceamento de carga e roteamento inteligentes, adaptados especificamente para cargas de trabalho de inferência de IA generativa, ou consulte a comparação de estratégias de balanceamento de carga para escolher a melhor opção para suas necessidades.

  5. Processar solicitações de inferência: envie dados dos clientes do aplicativo para o endpoint do serviço no formato esperado (JSON, gRPC). Se você estiver usando um balanceador de carga, ele vai distribuir as solicitações para as réplicas do modelo. O servidor de modelos processa a solicitação, executa o modelo e retorna a inferência.

  6. Escalonar e monitorar a implantação de inferência: escalone a inferência com o HPA para ajustar automaticamente as réplicas com base na CPU ou na latência. O Autoescalonador Horizontal de Pods (HPA) é um controlador do Kubernetes que aumenta ou diminui automaticamente o número de pods em uma carga de trabalho (como uma implantação) com base em métricas observadas, como uso da CPU ou métricas personalizadas. Use o Inference Quickstart para receber recomendações de escalonamento geradas automaticamente. Para acompanhar o desempenho, use o Cloud Monitoring e o Cloud Logging com observabilidade pré-criada, incluindo painéis para servidores de modelos conhecidos, como o vLLM.

Para exemplos detalhados que usam modelos, servidores de modelos e aceleradores específicos, consulte Exemplos de inferência.

Recursos de IA generativa do GKE

É possível usar esses recursos juntos ou individualmente para lidar com os principais desafios na disponibilização de modelos de IA generativa e melhorar a utilização de recursos no ambiente do GKE, sem custo financeiro adicional.

Nome Descrição Vantagens
Guia de início rápido de inferência do GKE

Analise o desempenho e a economia das suas cargas de trabalho de inferência. Especifique as necessidades da sua empresa e receba práticas recomendadas personalizadas para a combinação de aceleradores, configurações de escalonamento e armazenamento e servidores de modelos que melhor atendem às suas necessidades. É possível acessar esse serviço com a CLI gcloud e o console do Google Cloud .

Para mais informações, consulte Analisar o desempenho e os custos da disponibilização de modelos com o guia de início rápido do GKE Inference.

  • Economiza tempo ao automatizar as etapas iniciais de escolha e configuração da infraestrutura.
  • Permite que você mantenha o controle total sobre a configuração do Kubernetes para ajustes adicionais.
GKE Inference Gateway

Receba roteamento com base em métricas, como uso do cache KV, para melhorar a latência.

Para mais informações, consulte Sobre o GKE Inference Gateway.

  • Compartilhe modelos ajustados que usam arquivos LoRA, com seleção de endpoint baseada em afinidade para maior custo-benefício.
  • Tenha alta disponibilidade acessando dinamicamente a capacidade de GPU e TPU em várias regiões.
  • Melhore a segurança dos seus modelos com as políticas de complemento do Model Armor.
Aceleradores de carregamento de peso do modelo

Acesse dados no Cloud Storage rapidamente usando o Cloud Storage FUSE com armazenamento em cache e downloads paralelos. Para mais informações sobre como usar o Cloud Storage FUSE para cargas de trabalho de IA/ML, consulte a arquitetura de referência.

O Google Cloud Managed Lustre é um sistema de arquivos paralelos de alto desempenho e totalmente gerenciado, otimizado para IA,que pode ser anexado a 10.000 ou mais pods. Para mais informações sobre como usar o Managed Lustre para cargas de trabalho de IA/ML, consulte a arquitetura de referência.

O Google Cloud Hyperdisk ML é um disco conectado à rede que pode ser anexado a até 2.500 pods.

  • Otimize o tempo de inicialização da inferência minimizando a latência do modelo de carregamento de peso no GKE.
  • Para implantações com escalonamento de nós limitado, use o Cloud Storage FUSE para montar pesos de modelo.
  • Para cargas de trabalho de inferência que exigem desempenho consistente escalonar horizontalmente, o Google Cloud Managed Lustre oferece acesso a arquivos de alta capacidade de processamento e baixa latência em vários pods simultaneamente.
  • Para cenários em grande escala que exigem acesso consistente e de baixa latência a pesos de modelos grandes, o Google Cloud Hyperdisk ML oferece uma solução dedicada de armazenamento em blocos.

Métricas de performance de inferência

Para otimizar as cargas de trabalho de inferência, é importante entender como medir o desempenho delas. A tabela a seguir descreve as principais métricas para comparar o desempenho de inferência no GKE.

Indicadores de comparativo de mercado Métrica (unidade) Descrição
Latência Tempo até o primeiro token (TTFT) (ms) Tempo necessário para gerar o primeiro token de uma solicitação.
Tempo normalizado por token de saída (NTPOT) (ms) Latência de solicitação normalizada pelo número de tokens de saída, medida como request_latency / total_output_tokens.
Tempo por token de saída (TPOT) (ms) Tempo necessário para gerar um token de saída, medido como (request_latency - time_to_first_token) / (total_output_tokens - 1).
Latência entre tokens (ITL) (ms) Mede a latência entre duas gerações de tokens de saída. Ao contrário do TPOT, que mede a latência em toda a solicitação, o ITL mede o tempo para gerar cada token de saída individual. Essas medições individuais são agregadas para produzir valores de média, mediana e percentil, como p90.
Latência da solicitação (ms) Tempo total para concluir uma solicitação.
Capacidade Solicitações por segundo Número total de solicitações que você veicula por segundo. Essa métrica pode não ser uma maneira confiável de medir a capacidade de processamento do LLM, porque pode variar muito para diferentes tamanhos de contexto.
Tokens de saída por segundo Uma métrica comum que é medida como total_output_tokens_generated_by_server / elapsed_time_in_seconds.
Tokens de entrada por segundo Medido como total_input_tokens_generated_by_server / elapsed_time_in_seconds.
Tokens por segundo Medido como total_tokens_generated_by_server / elapsed_time_in_seconds. Essa métrica conta os tokens de entrada e saída, ajudando a comparar cargas de trabalho com tempos de pré-preenchimento altos em relação a tempos de decodificação altos.

Planejamento para inferência

Uma implantação de inferência bem-sucedida requer um planejamento cuidadoso em várias áreas importantes, incluindo custo-benefício, desempenho, flexibilidade, eficiência e disponibilidade da capacidade do acelerador. Para recomendações detalhadas sobre como criar uma plataforma de inferência escalonável, de alto desempenho e econômica, consulte Visão geral das práticas recomendadas de inferência no GKE.

Testar exemplos de inferência

Encontre exemplos de implantação do GKE para modelos de IA generativa, aceleradores e servidores de modelos. Se você está começando agora, recomendamos o tutorial Disponibilizar modelos abertos do Gemma usando GPUs no GKE com vLLM.

Ou pesquise um tutorial por palavra-chave:

Accelerator Servidor de modelos Tutorial
GPUs vLLM Disponibilizar LLMs como DeepSeek-R1 671B ou Llama 3.1 405B no GKE
GPUs vLLM Disponibilizar modelos abertos do Gemma usando GPUs no GKE com vLLM
GPUs vLLM Disponibilizar um LLM com o GKE Inference Gateway
GPUs vLLM Disponibilizar LLMs abertos no GKE com uma arquitetura pré-configurada
GPUs Ray Serve Disponibilizar um LLM em GPUs L4 com o Ray
GPUs TGI Disponibilizar um LLM com várias GPUs no GKE
GPUs TorchServe Disponibilizar o T5 no GKE com o TorchServe
TPUs vLLM Disponibilizar um LLM usando a TPU Trillium no GKE com o vLLM
TPUs vLLM Disponibilizar um LLM usando TPUs no GKE com o KubeRay
TPUs MaxDiffusion Disponibilizar o Stable Diffusion XL (SDXL) usando TPUs no GKE com o MaxDiffusion
TPUs vLLM Disponibilizar LLMs abertos em TPUs com uma arquitetura pré-configurada

A seguir