Executar soluções de IA no Cloud Run

O Cloud Run permite hospedar apps de IA e agentes, disponibilizar inferências de modelos e criar fluxos de trabalho de IA. A infraestrutura gerenciada e o escalonamento sob demanda permitem executar cargas de trabalho de IA conteinerizadas sem gerenciar servidores ou clusters.

Cloud Run para hospedar aplicativos de IA, agentes e endpoints de API escalonáveis

O Cloud Run oferece uma plataforma totalmente gerenciada que escalona seus apps e cargas de trabalho de IA.

Ao hospedar apps de IA no Cloud Run, você geralmente tem os seguintes componentes de arquitetura:

  • Disponibilização e orquestração: você implanta o código do aplicativo ou o contêiner no Cloud Run.
  • Modelos de IA: use os modelos de IA do Google, modelos de código aberto ou modelos personalizados com seu app.
  • Integrações: é possível se conectar a serviços do Google Cloud ou de terceiros para memória, bancos de dados, armazenamento, segurança e muito mais.
  • Ferramentas: é possível se conectar a ferramentas para outras tarefas e operações.

O diagrama a seguir mostra uma visão geral de alto nível do uso do Cloud Run como uma plataforma de hospedagem para apps de IA:

Os quatro componentes de um app de IA hospedado no Cloud Run: 1. Disponibilização e orquestração, 2. modelos de IA, 3. Integrações, 4. análise
Figura 1. Componentes de um app de IA hospedado no Cloud Run.

Conforme mostrado no diagrama:

  1. Na camada de exibição e orquestração, um serviço do Cloud Run atua como um endpoint de API escalonável para a lógica principal do aplicativo. Ele gerencia com eficiência vários usuários simultâneos por meio do escalonamento automático, sob demanda e rápido de instâncias.

    Você traz seu contêiner para implantar no Cloud Run. Você pode empacotar o aplicativo e a dependência dele em um contêiner ou fornecer o código-fonte e deixar que o Cloud Run crie automaticamente o código em um contêiner para implantação. Para implantações de código-fonte, é possível usar qualquer linguagem, frameworks abertos ou SDKs para criar seus apps de IA.

  2. Seu app de IA funciona como um endpoint de API escalonável que processa as solicitações recebidas e envia dados para um modelo de IA pré-treinado para processamento, retornando os resultados.

    O Cloud Run é integrado aos modelos de IA do Google, como os modelos do Gemini e da Vertex AI, e pode ser integrado a modelos de IA de código aberto, como Llama e Gemma. Se você tiver um modelo personalizado que treinou, também poderá usá-lo com o recurso do Cloud Run.

  3. Google Cloud oferece uma ampla variedade de soluções para dar suporte à infraestrutura do seu aplicativo de IA. Algumas integrações doGoogle Cloud que funcionam bem com seu app de IA incluem:

    • Memória e bancos de dados
      • Curto prazo
        • O Memorystore é um serviço de armazenamento em cache e gerenciamento de dados temporários de alto acesso que fornece um cache rápido e externo para armazenamento de dados de curto prazo.
      • Longo prazo
        • O AlloyDB para PostgreSQL é um banco de dados compatível com PostgreSQL, feito para cargas de trabalho exigentes, transacionais e analíticas. Ele oferece geração integrada de embeddings de vetor e um índice de vetor de alta velocidade, o que o torna rápido para pesquisa semântica em comparação com a implementação padrão do pgvector.
        • O Cloud SQL é um serviço de banco de dados relacional para MySQL, PostgreSQL e SQL Server que também pode servir como um repositório de vetores com a extensão pgvector para PostgreSQL.
        • O Firestore é um serviço de banco de dados de documentos NoSQL escalonável que inclui recursos integrados de pesquisa vetorial.
    • Armazenamento
      • O Cloud Storage é uma solução de repositório de objetos para armazenar grandes conjuntos de dados para treinamento de modelo, arquivos de entrada/saída para seu aplicativo ou artefatos de modelo.
    • Segurança
      • O Secret Manager é um serviço de gerenciamento de secrets e credenciais que oferece uma maneira segura e centralizada de armazenar dados sensíveis, como chaves de API, senhas e credenciais, que geralmente são necessárias para que os aplicativos de IA interajam com serviços externos.

    Para saber mais, consulte Conectar-se aos serviços do Google Cloud .

  4. As ferramentas permitem que seus apps de IA e modelos interajam com serviços, APIs ou sites que são executados externamente ou no Cloud Run.

    Por exemplo, se o app de IA for um agente de IA, ele poderá enviar uma solicitação a um servidor MCP para executar uma ferramenta externa ou usar ferramentas em execução no contêiner, como execução de código, uso do computador, recuperação de informações e assim por diante.

Hospedar modelos no Cloud Run para inferência de IA

Além de criar aplicativos e agentes que usam um modelo de linguagem grande (LLM), também é possível ativar GPUs com o Cloud Run para executar modelos pré-treinados ou personalizados autoimplantados para inferência de IA.

As GPUs do Cloud Run possibilitam lidar com o grande número de operações necessárias para executar tarefas computacionalmente exigentes para cargas de trabalho de inferência de IA. Implante modelos de IA como imagens de contêiner ou do código-fonte e use uma variedade de métodos para implantar seus recursos do Cloud Run.

A seguir