Cloud Run te permite alojar apps y agentes de IA, entregar inferencias de modelos y compilar flujos de trabajo de IA. La infraestructura administrada y el escalamiento a pedido te permiten ejecutar cargas de trabajo de IA alojadas en contenedores sin administrar servidores ni clústeres.
Cloud Run para alojar aplicaciones de IA, agentes y endpoints de API escalables
Cloud Run proporciona una plataforma completamente administrada que escala tus apps y cargas de trabajo de IA.
Cuando alojas apps de IA en Cloud Run, por lo general, tienes los siguientes componentes de arquitectura:
- Entrega y organización: Implementas el código o el contenedor de la aplicación en Cloud Run.
- Modelos de IA: Usas los modelos de IA de Google, los modelos de código abierto o los modelos personalizados con tu app.
- Integraciones: Puedes conectarte a servicios de Google Cloud o de terceros para memoria, bases de datos, almacenamiento, seguridad y mucho más.
- Herramientas: Puedes conectarte a herramientas para otras tareas y operaciones.
En el siguiente diagrama, se muestra una descripción general de alto nivel del uso de Cloud Run como plataforma de hosting para apps de IA:
Como se muestra en el diagrama:
Dentro de la capa de entrega y organización, un servicio de Cloud Run actúa como un extremo de API escalable para la lógica principal de tu aplicación. Administra de manera eficiente varios usuarios simultáneos a través del escalamiento automático, a pedido y rápido de las instancias.
Traes tu contenedor para implementarlo en Cloud Run. Puedes empaquetar tu aplicación y su dependencia en un contenedor, o proporcionar tu código fuente y permitir que Cloud Run compile automáticamente tu código en un contenedor para la implementación. Para las implementaciones de código fuente, puedes usar cualquier lenguaje, framework abierto o SDK para compilar tus apps de IA.
Tu app de IA actúa como un extremo de API escalable que controla las solicitudes entrantes y envía datos a un modelo de IA entrenado previamente para su procesamiento y, luego, devuelve los resultados.
Cloud Run se integra en los modelos de IA de Google, como los modelos de Gemini y Vertex AI, y se puede integrar en modelos de IA de código abierto, como Llama y Gemma. Si tienes un modelo personalizado que entrenaste, también puedes usarlo con tu recurso de Cloud Run.
Google Cloud ofrece una amplia variedad de soluciones para respaldar la infraestructura de tu aplicación de IA. Algunas integraciones deGoogle Cloud que funcionan bien con tu app de IA incluyen las siguientes:
- Memoria y bases de datos
- Corto plazo
- Memorystore es un servicio de almacenamiento en caché y administración de datos temporal y de alto acceso que proporciona una caché rápida y externa para el almacenamiento de datos a corto plazo.
- Largo plazo
- AlloyDB para PostgreSQL
es una base de datos compatible con PostgreSQL diseñada para cargas de trabajo
transaccionales y analíticas exigentes. Ofrece generación de embeddings de vectores integrada y un índice de vectores de alta velocidad, lo que agiliza la búsqueda semántica en comparación con la implementación estándar de
pgvector. - Cloud SQL es un servicio de base de base de datos relacional para MySQL, PostgreSQL y SQL Server que también puede
servir como almacén de vectores con la extensión
pgvectorpara PostgreSQL. - Firestore es un servicio de base de datos de documentos NoSQL escalable que incluye capacidades de búsqueda de vectores integradas.
- AlloyDB para PostgreSQL
es una base de datos compatible con PostgreSQL diseñada para cargas de trabajo
transaccionales y analíticas exigentes. Ofrece generación de embeddings de vectores integrada y un índice de vectores de alta velocidad, lo que agiliza la búsqueda semántica en comparación con la implementación estándar de
- Corto plazo
- Almacenamiento
- Cloud Storage es una solución de almacén de objetos para guardar grandes conjuntos de datos para el entrenamiento de modelos, archivos de entrada y salida para tu aplicación o artefactos de modelos.
- Seguridad
- Secret Manager es un servicio de administración de Secrets y credenciales que proporciona una forma segura y centralizada de almacenar datos sensibles, como claves de API, contraseñas y credenciales, que suelen ser necesarias para que las aplicaciones de IA interactúen con servicios externos.
Para obtener más información, consulta Conéctate a los servicios de Google Cloud .
- Memoria y bases de datos
Las herramientas permiten que tus apps y modelos de IA interactúen con servicios, APIs o sitios web que se ejecutan de forma externa o en Cloud Run.
Por ejemplo, si tu app de IA es un agente de IA, este podría enviar una solicitud a un servidor de MCP para ejecutar una herramienta externa o usar herramientas que se ejecutan en tu contenedor, como la ejecución de código, el uso de computadoras, la recuperación de información, etcétera.
Aloja modelos en Cloud Run para la inferencia de IA
Además de compilar aplicaciones y agentes que usen un modelo de lenguaje grande (LLM), también puedes habilitar las GPU con Cloud Run para ejecutar modelos previamente entrenados o personalizados que se implementen de forma automática para la inferencia de IA.
Las GPUs de Cloud Run permiten controlar la gran cantidad de operaciones que se necesitan para ejecutar tareas de procesamiento exigentes para las cargas de trabajo de inferencia de IA. Implementa modelos de IA como imágenes de contenedor o desde el código fuente, y usa una variedad de métodos para implementar tus recursos de Cloud Run.