Menghosting agen AI di resource Cloud Run

Cloud Run memungkinkan Anda men-deploy dan menjalankan agen AI di infrastruktur container terkelola. Entity software otonom ini menggunakan sistem yang didukung LLM untuk memahami, memutuskan, dan bertindak guna mencapai sasaran. Cloud Run secara otomatis menskalakan agen Anda untuk menangani workload yang berfluktuasi, reasoning loop dinamis, dan eksekusi alat.

Untuk pengantar agen AI, lihat Apa yang dimaksud dengan agen AI.

Memilih resource Cloud Run

Bergantung pada desain agentic, Anda dapat menjalankan container agen sebagai salah satu jenis resource Cloud Run berikut:

  • Layanan: Paling cocok untuk agen stateless berbasis permintaan yang menangani traffic pengguna yang bervariasi, mendapatkan manfaat dari penskalaan otomatis, dan dapat diskalakan hingga nol saat tidak ada aktivitas. Contohnya mencakup API chatbot dan backend API web.
  • Instance: Terbaik untuk agent loop singleton khusus, stateful, dan selalu aktif yang memerlukan perintah status siklus proses seperti VM. Contohnya termasuk agen pribadi seperti OpenClaw dan Hermes.
  • Worker pool: Terbaik untuk menjalankan fleet agen terdistribusi di latar belakang yang menggunakan tugas dari antrean pesan, seperti Kafka atau Pub/Sub, dan melakukan penskalaan secara horizontal tanpa mengekspos endpoint HTTP publik.
  • Tugas: Paling cocok untuk alur kerja agen yang berjalan hingga selesai, seperti evaluasi batch, pipeline penyerapan data berskala besar, atau skrip sinkronisasi terjadwal.

Memilih framework agen Anda

Sebelum men-deploy agen ke Cloud Run, pilih dan siapkan framework agen Anda secara lokal atau di platform pengembangan Anda. Contoh framework agen mencakup Agent Development Kit (ADK), Dify, LangGraph, dan n8n.

Di Cloud Run, kode Anda biasanya berjalan sebagai layanan atau instance. Kedua jenis resource ini menjalankan instance container dalam sandbox di lingkungan eksekusi yang sama dan terintegrasi dengan layanan Google Cloud .

Arsitektur agen AI di Cloud Run

Arsitektur agen AI standar yang di-deploy di Cloud Run dapat melibatkan beberapa komponen dari Google Cloud serta dari luar Google Cloud. Arsitektur berikut menunjukkan contoh penerapan agen AI sebagai layanan Cloud Run untuk mengorkestrasi serangkaian tugas asinkron dan memberikan informasi melalui beberapa interaksi permintaan-respons.

Empat komponen agen AI yang dihosting di Cloud Run.
Gambar 1. Arsitektur agen AI di Cloud Run.

Diagram menunjukkan hal berikut:

  • Platform hosting: Layanan Cloud Run adalah endpoint API yang skalabel untuk logika inti aplikasi Anda. Layanan ini mengelola beberapa pengguna serentak secara efisien melalui penskalaan instance yang otomatis, on-demand, dan cepat. Cloud Run menawarkan manfaat berikut:

    • Mendukung menjalankan framework agen apa pun untuk membangun berbagai jenis agen dan arsitektur agentic.
    • Dukungan bawaan untuk Identitas Agen. Menetapkan identitas unik yang dapat diverifikasi secara kriptografis ke agen Anda untuk memanggil API, alat, dan terhubung dengan aman ke agen lain Google Cloud . Untuk mempelajari lebih lanjut, lihat Mengonfigurasi fitur platform agen.
    • Integrasi bawaan dengan Agent Registry. Tetapkan layanan yang di-deploy sebagai agen atau server MCP untuk penemuan otomatis dan mekanisme autentikasi Agent-to-Agent (A2A) yang andal. Untuk mempelajari lebih lanjut, lihat Mengonfigurasi fitur platform agen.
    • Mendukung koneksi framework agen Anda ke layanan lain. Anda dapat menghubungkan agen ke alat pihak pertama atau pihak ketiga yang di-deploy di Cloud Run. Misalnya, untuk mendapatkan visibilitas ke dalam tugas dan eksekusi agen, Anda dapat men-deploy dan menggunakan alat seperti Langfuse dan Arize.

  • Interaksi agen: Cloud Run mendukung streaming respons HTTP kembali ke pengguna, dan WebSockets untuk interaksi real-time.

  • Model AI generatif: Lapisan orkestrasi memanggil model untuk kemampuan penalaran. Model ini dapat dihosting di layanan, seperti berikut:

  • Memori: Agen sering kali memerlukan memori untuk mempertahankan konteks dan belajar dari interaksi sebelumnya. Anda dapat menggunakan layanan berikut:

  • Database vektor: Untuk Retrieval-Augmented Generation (RAG) atau mengambil data terstruktur, gunakan database vektor untuk mengkueri informasi entitas tertentu atau melakukan penelusuran vektor pada embedding. Gunakan ekstensi pgvector dengan layanan berikut:

  • Alat: Orchestrator menggunakan alat untuk melakukan tugas tertentu guna berinteraksi dengan layanan eksternal, API, atau situs. Hal ini dapat mencakup:

    • Model Context Protocol (MCP): Gunakan protokol standar ini untuk berkomunikasi dengan alat eksternal yang dijalankan melalui server MCP.
    • Utilitas dasar: Penghitungan matematika yang akurat, konversi waktu, atau utilitas serupa lainnya.
    • Panggilan API: Melakukan panggilan ke API internal atau pihak ketiga lainnya (akses baca atau tulis).
    • Pembuatan gambar atau diagram: Membuat konten visual dengan cepat dan efektif.
    • Otomatisasi browser dan OS: Jalankan Sistem Operasi headless atau grafis penuh dalam instance container untuk memungkinkan agen menjelajahi web, mengekstrak informasi dari situs, atau melakukan tindakan menggunakan klik dan input keyboard.
    • Eksekusi kode: Jalankan kode di lingkungan yang aman dengan sandboxing berlapis, dengan izin IAM minimal atau tanpa izin IAM.
    • Eksekusi Kode Vertex AI Agent Engine: Menjalankan kode di lingkungan sandbox yang aman, terisolasi, dan terkelola yang mendukung input dan output file, eksekusi kode kurang dari satu detik, dan memori yang tahan lama. Perhatikan bahwa Anda perlu membuat setidaknya satu instance Vertex AI Agent Engine untuk menggunakan fitur ini di Cloud Run.

Langkah berikutnya