Documentação sobre orquestração de IA/ML no Cloud Run

O Cloud Run é uma plataforma totalmente gerenciada que permite executar aplicativos conteinerizados, incluindo cargas de trabalho de IA/ML, diretamente na infraestrutura escalonável do Google. Ele cuida da infraestrutura para você, para que você possa se concentrar em escrever o código em vez de gastar tempo operando, configurando e escalonando os recursos do Cloud Run. Os recursos do Cloud Run oferecem o seguinte:

  • Aceleradores de hardware: acesse e gerencie GPUs para inferência em grande escala.
  • Suporte a frameworks: integração com os frameworks de disponibilização de modelos que você já conhece e confia, como Hugging Face, TGI e vLLM.
  • Plataforma gerenciada: aproveite todos os benefícios de uma plataforma gerenciada para automatizar, escalonar e melhorar a segurança de todo o ciclo de vida de IA/ML, sem perder a flexibilidade.

Confira nossos tutoriais e práticas recomendadas para saber como o Cloud Run pode otimizar suas cargas de trabalho de IA/ML.

Os novos usuários do Google Cloud recebem US$ 300 em créditos ao se inscreverem pela primeira vez.此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

Os novos usuários do Google Cloud recebem US$ 300 em créditos ao se inscreverem pela primeira vez.此外,无论新老用户,均可免费使用20多款产品,积累动手实践经验。

Recursos de documentação

Encontre guias de início rápido, consulte referências de chaves e receba ajuda para problemas comuns.
Entenda o treinamento autoguiado, os casos de uso, as arquiteturas de referência e os exemplos de código sobre como usar e conectar serviços do Google Cloud .
Caso de uso
Casos de uso

Execute códigos não confiáveis gerados com IA com segurança implantando sandboxes do Cloud Run que executam ambientes de execução em contêineres isolados baseados em gVisor.

Segurança Sandboxes Execução de código de IA

Caso de uso
Casos de uso

Otimize a latência de inicialização a frio para inferência de LLM conteinerizada no Cloud Run usando as definições de configuração sem servidor e o ajuste do padrão de design da arquitetura.

Inicializações a frio Latência Otimização LLMs

Caso de uso
Casos de uso

Configurar e aplicar regras de autorização do Protocolo de Contexto de Modelo (MCP) para proteger a conectividade de ferramentas remotas para agentes de IA implantados no Cloud Run.

Segurança MCP Agentes

Caso de uso
Casos de uso

Implante aplicativos full-stack no Cloud Run diretamente do Modo de Criação do Google AI Studio com suporte integrado de backup do Firebase e do Cloud SQL.

AI Studio Firebase Cloud SQL vibe coding

Caso de uso
Casos de uso

Use GPUs NVIDIA L4 no Cloud Run para inferência de IA em tempo real, incluindo os benefícios de inicialização a frio rápida e redução da escala a zero para modelos de linguagem grandes (LLMs).

GPUs LLMs

Caso de uso
Casos de uso

Saiba como usar o Cloud Run para aplicativos de IA prontos para produção. Este guia descreve casos de uso como divisão de tráfego para comandos de teste A/B, padrões de RAG (geração aumentada por recuperação) e conectividade com repositórios de vetores.

Aplicativos de IA divisão de tráfego para testes A/B padrões de RAG armazenamentos de vetores conectividade com armazenamentos de vetores

Caso de uso
Casos de uso

Implantação com um clique do Google AI Studio para o Cloud Run e o servidor MCP (Protocolo de Contexto de Modelo) do Cloud Run para ativar agentes de IA em IDEs ou SDKs de agentes e implantar apps.

Servidores MCP implantações Cloud Run

Caso de uso
Casos de uso

Integre as GPUs NVIDIA L4 ao Cloud Run para disponibilizar LLMs de maneira econômica. Este guia enfatiza a redução da escala a zero e fornece etapas de implantação para modelos como o Gemma 2 com o Ollama.

LLMs GPU Ollama Otimização de custos

Caso de uso
Casos de uso

Desvincule arquivos de modelos grandes da imagem do contêiner usando o Cloud Storage FUSE. A separação melhora os tempos de build, simplifica as atualizações e cria uma arquitetura de veiculação mais escalonável.

Empacotamento de modelos Cloud Storage FUSE Práticas recomendadas Modelos grandes

Caso de uso
Casos de uso

Use o framework Cog, otimizado para disponibilização de ML, para simplificar o empacotamento e a implantação de contêineres no Cloud Run.

Cog Tutorial de implantação de empacotamento de modelos

Caso de uso
Casos de uso

Use o Cloud Run para inferência de ML leve e crie uma pilha de monitoramento econômica usando serviços nativos do Google Cloud , como o Logging e o BigQuery.

Monitoramento MLOps Custo-benefício Inferência

Vídeos relacionados