Sistem AI multi-agen di Google Cloud

Last reviewed 2026-10-09 UTC

Dokumen ini memberikan arsitektur referensi untuk membantu Anda mendesain sistem AI multi-agen yang andal di Google Cloud. Sistem AI multi-agen mengoptimalkan proses yang kompleks dan dinamis dengan membaginya menjadi tugas-tugas terpisah yang dijalankan secara kolaboratif oleh beberapa agen AI khusus.

Audiens yang dituju untuk dokumen ini mencakup arsitek, developer, dan administrator yang membangun dan mengelola infrastruktur dan aplikasi AI di cloud. Dokumen ini mengasumsikan pemahaman dasar tentang agen dan model AI. Dokumen ini tidak memberikan panduan khusus untuk mendesain dan membuat kode agen AI.

Bagian Deployment dalam dokumen ini mencantumkan contoh kode yang dapat Anda gunakan untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen.

Arsitektur

Diagram berikut menunjukkan arsitektur untuk contoh sistem AI multi-agen yang di-deploy di Google Cloud.

Arsitektur untuk sistem AI multi-agen di Google Cloud. Arsitektur untuk sistem AI multi-agen di Google Cloud.

Komponen arsitektur

Contoh arsitektur di bagian sebelumnya berisi komponen berikut:

Frontend
Pengguna berinteraksi dengan sistem multi-agen melalui frontend, seperti antarmuka chat, yang berjalan sebagai layanan Cloud Run serverless.
Agen

Agen koordinator mengontrol sistem AI agentic dalam contoh ini. Agen koordinator memanggil sub-agen yang sesuai untuk memicu alur agentic. Agen dapat berkomunikasi satu sama lain menggunakan protokol Agent2Agent (A2A), yang memungkinkan interoperabilitas antar-agen, terlepas dari bahasa pemrograman dan runtime-nya. Contoh arsitektur ini menunjukkan agen dalam pola berurutan dan pola penyempurnaan iteratif.

Untuk mengetahui informasi selengkapnya tentang sub-agen dalam contoh ini, lihat bagian Alur agen.

Agent Runtime

Agen AI dapat di-deploy sebagai layanan Cloud Run serverless, sebagai aplikasi dalam container di Google Kubernetes Engine (GKE), atau di Agent Runtime di Gemini Enterprise Agent Platform.

ADK

Agent Development Kit (ADK) menyediakan alat dan framework untuk mengembangkan, menguji, dan men-deploy agen. ADK mengabstraksi kompleksitas pembuatan agen dan memungkinkan developer AI berfokus pada logika dan kemampuan agen.

Model AI dan runtime model

Untuk inferensi, agen dalam contoh arsitektur ini menggunakan model AI di Gemini Enterprise Agent Platform. Arsitektur ini menampilkan Cloud Run dan GKE sebagai runtime alternatif untuk model AI yang Anda pilih untuk digunakan.

Model Armor

Model Armor memungkinkan pemeriksaan dan sanitasi input dan respons untuk model yang di-deploy di Agent Platform dan GKE. Model Armor juga dapat digunakan untuk traffic agen dan alat yang dirutekan melalui Agent Gateway. Untuk mengetahui informasi selengkapnya, lihat Integrasi Model Armor dengan layanan Google Cloud .

Klien, server, dan alat MCP

Model Context Protocol (MCP) memfasilitasi akses ke alat dengan menstandardisasi interaksi antara agen dan alat. Untuk setiap pasangan agen-alat, klien MCP mengirimkan permintaan ke server MCP yang digunakan agen untuk mengakses alat seperti database, sistem file, atau API.

Alur agentic

Contoh sistem multi-agen dalam arsitektur sebelumnya memiliki alur berikut:

  1. Pengguna memasukkan perintah melalui frontend, seperti antarmuka chat, yang berjalan sebagai layanan Cloud Run serverless.
  2. Frontend meneruskan perintah ke agen koordinator.

  3. Agen koordinator memulai salah satu alur agentic berikut berdasarkan intent yang dinyatakan dalam perintah.

    • Berurutan:
      1. Sub-agen tugas-A melakukan tugas.
      2. Sub-agen tugas-A memanggil sub-agen tugas-A.1.

    • Penyempurnaan iteratif:

      1. Sub-agen tugas-B melakukan tugas.
      2. Sub-agen evaluator kualitas meninjau output sub-agen tugas B.
      3. Jika output tidak memuaskan, evaluator kualitas akan memanggil sub-agen pengoptimal perintah untuk menyempurnakan perintah.
      4. Sub-agen tugas B melakukan tugasnya lagi menggunakan perintah yang ditingkatkan.

      Siklus ini berlanjut hingga output memuaskan atau jumlah iterasi maksimum tercapai.

    Contoh arsitektur ini mencakup jalur human-in-the-loop untuk memungkinkan pengguna manusia mengintervensi alur agentic jika diperlukan.

  4. Sub-agen tugas-A.1 dan sub-agen evaluator kualitas secara independen memanggil sub-agen generator respons.

  5. Sub-agen pembuat respons menghasilkan respons, melakukan pemeriksaan validasi dan grounding, lalu mengirimkan respons akhir kepada pengguna melalui agen koordinator.

Produk dan alat yang digunakan

Arsitektur referensi ini menggunakan produk dan alat Google Cloud serta pihak ketiga berikut:

  • Cloud Run: Platform komputasi serverless yang memungkinkan Anda menjalankan container langsung di atas infrastruktur Google yang skalabel.
  • Gemini Enterprise Agent Platform: Platform komprehensif yang memungkinkan Anda membangun, menskalakan, mengatur, dan mengoptimalkan agen AI tingkat perusahaan.
  • Google Kubernetes Engine (GKE): Layanan Kubernetes yang dapat Anda gunakan untuk men-deploy dan mengoperasikan aplikasi dalam container dalam skala besar menggunakan infrastruktur Google.
  • Model Armor: Layanan yang memberikan perlindungan untuk resource AI generatif dan agentic Anda dari injeksi perintah, kebocoran data sensitif, dan konten berbahaya.
  • Agent Development Kit (ADK): Seperangkat alat dan library untuk mengembangkan, menguji, dan men-deploy agen AI.
  • Protokol Agent2Agent (A2A): Protokol terbuka yang memungkinkan komunikasi dan interoperabilitas antara agen, terlepas dari bahasa pemrograman dan runtime-nya.
  • Model Context Protocol (MCP): Standar open source untuk menghubungkan aplikasi AI ke sistem eksternal.

Kasus penggunaan

Sistem AI multi-agen cocok untuk kasus penggunaan kompleks yang memerlukan kolaborasi dan koordinasi di berbagai keahlian khusus untuk mencapai sasaran bisnis. Untuk mengidentifikasi kasus penggunaan yang sesuai untuk sistem AI multi-agen, analisis proses bisnis Anda dan identifikasi tugas tertentu yang dapat ditambah oleh AI. Fokus pada hasil bisnis yang nyata, seperti pengurangan biaya dan pemrosesan yang lebih cepat. Pendekatan ini membantu menyelaraskan investasi Anda dalam AI dengan nilai bisnis.

Berikut adalah contoh kasus penggunaan untuk sistem AI multi-agen.

Penasihat keuangan

Memberikan rekomendasi perdagangan saham yang dipersonalisasi dan mengeksekusi perdagangan. Diagram berikut menunjukkan contoh alur agen untuk kasus penggunaan ini. Contoh ini menggunakan pola berurutan.

Kasus penggunaan penasihat keuangan untuk sistem multi-agen.

Diagram menunjukkan alur berikut:

  1. Agen pengambil data mengambil harga saham real-time dan historis, laporan keuangan perusahaan, dan data relevan lainnya dari sumber yang andal.
  2. Agen penganalisis keuangan menerapkan teknik analisis dan pembuatan diagram yang sesuai pada data, mengidentifikasi pola pergerakan harga, dan membuat prediksi.
  3. Agen pemberi rekomendasi saham menggunakan analisis dan diagram untuk menghasilkan rekomendasi yang dipersonalisasi untuk membeli dan menjual saham tertentu berdasarkan profil risiko dan sasaran investasi pengguna.
  4. Agen eksekutor perdagangan membeli dan menjual saham atas nama pengguna.

Asisten riset

Buat rencana riset, kumpulkan informasi, evaluasi dan sempurnakan riset, lalu susun laporan. Diagram berikut menunjukkan contoh alur agen untuk kasus penggunaan ini. Alur utama dalam contoh ini menggunakan pola berurutan. Contoh ini juga menyertakan pola penyempurnaan iteratif.

Kasus penggunaan asisten riset untuk sistem multi-agen.

Diagram menunjukkan alur berikut:

  1. Agen perencana membuat rencana riset yang mendetail.

  2. Agen peneliti menyelesaikan tugas-tugas berikut:

    1. Menggunakan rencana riset untuk mengidentifikasi sumber data internal dan eksternal yang sesuai.
    2. Mengumpulkan dan menganalisis data yang diperlukan.
    3. Menyiapkan ringkasan riset dan memberikan ringkasan tersebut kepada agen evaluator.

    Agen peneliti mengulangi tugas ini hingga agen evaluator menyetujui riset.

  3. Agen penyusun laporan membuat laporan riset akhir.

Pengoptimal supply chain

Mengoptimalkan inventaris, melacak pengiriman, dan berkomunikasi dengan partner supply chain. Diagram berikut menunjukkan contoh alur agentic untuk kasus penggunaan ini. Contoh ini menggunakan pola berurutan.

Kasus penggunaan pengoptimal supply chain untuk sistem multi-agen.

  1. Agen pengelola gudang memastikan tingkat stok yang optimal dengan membuat pesanan stok ulang berdasarkan inventaris, perkiraan permintaan, dan waktu tunggu pemasok.

    • Agen berinteraksi dengan agen pelacak pengiriman untuk melacak pengiriman.
    • Agen berinteraksi dengan agen komunikator pemasok untuk memberi tahu pemasok tentang perubahan pesanan.

  2. Agen pelacak pengiriman memastikan pemenuhan pesanan yang tepat waktu dan efisien dengan berintegrasi dengan platform logistik pemasok dan sistem ekspedisi.

  3. Agen komunikator pemasok berkomunikasi dengan pemasok eksternal atas nama agen lain dalam sistem.

Alternatif desain

Bergantung pada persyaratan Anda terkait pengelolaan, kontrol, dan fleksibilitas, Anda dapat memilih dari berbagai opsi runtime di Google Cloud untuk agen dan model AI Anda. Untuk mengetahui informasi selengkapnya, lihat Memilih komponen arsitektur AI agentic Anda.

Pertimbangan desain

Bagian ini menjelaskan faktor desain, praktik terbaik, dan rekomendasi yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mengembangkan topologi yang memenuhi persyaratan spesifik Anda terkait keamanan, keandalan, biaya, dan performa.

Panduan di bagian ini tidak lengkap. Bergantung pada persyaratan workload Anda serta produk dan fitur pihak ketiga dan Google Cloud yang Anda gunakan, mungkin ada faktor desain dan konsekuensi tambahan yang harus Anda pertimbangkan.

Desain sistem

Bagian ini memberikan panduan untuk membantu Anda memilih region Google Cloud untuk deployment dan memilih produk dan alat Google Cloud yang sesuai.

Pemilihan wilayah

Saat Anda memilih region Google Cloud untuk aplikasi AI, pertimbangkan faktor-faktor berikut:

Untuk memilih lokasi Google Cloud yang sesuai untuk aplikasi Anda, gunakan alat berikut:

  • Google Cloud Pemilih Region: Alat interaktif berbasis web untuk memilih region Google Cloud yang optimal bagi aplikasi dan data Anda berdasarkan faktor seperti jejak karbon, biaya, dan latensi.
  • Cloud Location Finder API: API publik yang menyediakan cara terprogram untuk menemukan lokasi deployment di Google Cloud, Google Distributed Cloud, dan penyedia cloud lainnya.

Desain agen

Bagian ini memberikan rekomendasi umum untuk mendesain agen AI. Panduan mendetail tentang penulisan kode dan logika agen berada di luar cakupan dokumen ini.

  • Definisi dan desain agen:
    • Tentukan dengan jelas sasaran bisnis sistem AI agentik dan tugas yang dilakukan setiap agen.
    • Pilih pola desain agen yang paling sesuai dengan kebutuhan Anda.
    • Gunakan ADK untuk membuat, men-deploy, dan mengelola arsitektur agentic Anda secara efisien.
  • Interaksi agen:
    • Rancang agen yang berinteraksi dengan manusia dalam arsitektur untuk mendukung interaksi bahasa alami.
    • Pastikan setiap agen mengomunikasikan tindakan dan statusnya dengan jelas kepada klien yang bergantung padanya.
    • Desain agen untuk mendeteksi dan menangani kueri yang ambigu dan interaksi yang bernuansa.
  • Konteks, alat, dan data:
    • Pastikan agen memiliki konteks yang memadai untuk melacak interaksi multi-giliran dan parameter sesi.
    • Jelaskan dengan jelas tujuan, argumen, dan penggunaan alat yang dapat digunakan agen.
    • Pastikan respons agen didasarkan pada sumber data yang dapat diandalkan untuk mengurangi halusinasi.
    • Terapkan logika untuk menangani situasi tidak ada kecocokan, seperti saat perintah tidak sesuai topik.

Keamanan

Bagian ini menjelaskan pertimbangan dan rekomendasi desain untuk mendesain topologi di Google Cloud yang memenuhi persyaratan keamanan workload Anda.

Pertimbangan keamanan untuk agen

Agen AI menimbulkan risiko keamanan unik dan kritis tertentu yang mungkin tidak dapat dimitigasi secara memadai oleh praktik keamanan konvensional dan deterministik. Google merekomendasikan pendekatan untuk mengamankan AI yang menggabungkan kekuatan kontrol keamanan deterministik dengan pertahanan dinamis berbasis penalaran. Pendekatan ini didasarkan pada tiga prinsip inti: pengawasan manusia, otonomi agen yang ditentukan dengan cermat, dan kemampuan observasi. Berikut adalah rekomendasi spesifik yang selaras dengan prinsip-prinsip inti ini.

  • Pengawasan manusia: Sistem AI agentic terkadang dapat gagal atau tidak berfungsi seperti yang diharapkan. Misalnya, model mungkin menghasilkan konten yang tidak akurat atau agen mungkin memilih alat yang tidak sesuai. Dalam sistem AI agentic yang penting bagi bisnis, gabungkan alur human-in-the-loop agar pengawas manusia dapat memantau, mengganti, dan menjeda agen. Misalnya, pengguna manusia dapat meninjau output agen, menyetujui atau menolak output, dan memberikan panduan lebih lanjut untuk memperbaiki error atau membuat keputusan strategis. Pendekatan ini menggabungkan efisiensi sistem AI agen dengan pemikiran kritis dan keahlian domain pengguna manusia.
  • Identitas agen dan akses dengan hak istimewa terendah:
  • Tata kelola traffic ingress dan egress: Rutekan traffic agen melalui Agent Gateway untuk menerapkan kebijakan keamanan runtime di batas ingress dan egress. Untuk mengetahui informasi tentang platform runtime yang mendukung Gateway Agen, lihat Runtime agen yang didukung.
    • Klien-ke-Agen (ingress): Deploy Agent Gateway di depan runtime agen Anda. Gateway membantu mengautentikasi pemanggil dan memeriksa perintah masuk secara real time menggunakan Model Armor.
    • Agen-ke-Mana Saja (egress):
      • Merutekan permintaan keluar agent-to-agent (A2A) dan agent-to-tool (MCP) melalui Agent Gateway dalam mode egress.
      • Terapkan kebijakan akses tolak default menggunakan kebijakan akses IAM dan Identity-Aware Proxy (IAP).
      • Pastikan agen dan alat target terdaftar di Agent Registry.
      • Periksa pemanggilan dan respons alat keluar dengan Model Armor untuk membantu mencegah pemindahan data yang tidak sah, injeksi perintah tidak langsung, dan penyalahgunaan alat.
  • Pemantauan: Pantau perilaku agen menggunakan kemampuan pelacakan komprehensif yang memberi Anda visibilitas tentang setiap tindakan yang dilakukan agen, termasuk proses penalaran, pemilihan alat, dan jalur eksekusi. Untuk mengetahui informasi selengkapnya, lihat Logging agen di Agent Runtime dan Logging di ADK.

Untuk mengetahui informasi selengkapnya tentang cara mengamankan agen AI, lihat Keselamatan dan Keamanan untuk Agen AI.

Pertimbangan keamanan Agent Platform

Untuk membantu memastikan bahwa konfigurasi dan penggunaan Agent Platform Anda memenuhi persyaratan keamanan, pertimbangkan rekomendasi berikut:

  • Tanggung jawab bersama: Keamanan adalah tanggung jawab bersama. Agent Platform mengamankan infrastruktur yang mendasarinya serta menyediakan alat dan kontrol keamanan untuk membantu Anda melindungi data, kode, dan model Anda. Anda bertanggung jawab untuk mengonfigurasi layanan dengan benar, mengelola kontrol akses, dan mengamankan aplikasi Anda. Untuk mengetahui informasi selengkapnya, lihat Tanggung jawab bersama Agent Platform.
  • Kontrol keamanan: Agent Platform mendukung Google Cloud kontrol keamanan yang dapat Anda gunakan untuk memenuhi persyaratan residensi data, kunci enkripsi yang dikelola pelanggan (CMEK), keamanan jaringan menggunakan Kontrol Layanan VPC, dan Transparansi Akses. Untuk informasi selengkapnya, lihat dokumentasi berikut:
  • Keamanan: Model AI mungkin menghasilkan respons berbahaya, terkadang sebagai respons terhadap perintah berbahaya.
    • Untuk meningkatkan keamanan dan memitigasi potensi penyalahgunaan sistem AI agentic, Anda dapat mengonfigurasi filter konten untuk bertindak sebagai penghalang terhadap input dan respons berbahaya. Untuk mengetahui informasi selengkapnya, lihat Filter keamanan dan konten.
    • Untuk memeriksa dan membersihkan permintaan inferensi, perintah agen, panggilan alat, dan respons terhadap ancaman seperti injeksi perintah dan konten berbahaya, Anda dapat menggunakan Model Armor untuk panggilan API model langsung dan untuk permintaan yang dirutekan melalui Agent Gateway. Model Armor membantu Anda mencegah input berbahaya, memverifikasi keamanan konten, melindungi data sensitif, menjaga kepatuhan, serta menerapkan kebijakan keamanan dan keselamatan secara konsisten.
  • Akses model: Anda dapat menyiapkan kebijakan organisasi untuk membatasi jenis dan versi model AI yang dapat digunakan dalam project Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke model Model Garden.
  • Perlindungan data: Untuk menemukan dan melakukan de-identifikasi data sensitif dalam perintah dan respons serta dalam data log, gunakan Cloud Data Loss Prevention API. Untuk mengetahui informasi selengkapnya, lihat Melakukan de-identifikasi data sensitif.

Pertimbangan keamanan MCP

Untuk membantu memastikan bahwa implementasi MCP Anda memenuhi persyaratan keamanan, pertimbangkan rekomendasi berikut:

  • Pendaftaran dan penemuan alat: Daftarkan server dan alat MCP di Agent Registry agar agen hanya terhubung ke endpoint MCP yang diinventarisasi dan disetujui administrator.
  • Kontrol akses dan pemeriksaan traffic: Rutekan traffic agen ke MCP melalui Agent Gateway dalam mode Agent-to-Anywhere (egress) dan lindungi server MCP (seperti server MCP yang dihosting di Cloud Run) menggunakan IAP dan kebijakan akses IAM. Konfigurasikan Model Armor atau kebijakan tata kelola semantik di Agent Gateway untuk memeriksa input dan output alat MCP guna mendeteksi eksposur data sensitif dan injeksi perintah tidak langsung.
  • Keamanan MCP umum: Saat Anda mengonfigurasi agen untuk menggunakan MCP, pastikan akses ke data dan alat eksternal diizinkan, terapkan kontrol privasi seperti enkripsi, terapkan filter untuk melindungi data sensitif, dan pantau interaksi agen. Untuk mengetahui informasi selengkapnya, lihat MCP dan keamanan.

Pertimbangan keamanan A2A

Untuk membantu memastikan bahwa implementasi A2A Anda memenuhi persyaratan keamanan, pertimbangkan rekomendasi berikut:

  • Keamanan transport: A2A protocol mewajibkan HTTPS untuk semua komunikasi A2A di lingkungan produksi dan merekomendasikan Transport Layer Security (TLS) versi 1.2 atau yang lebih tinggi.
  • Autentikasi: Protokol A2A mendelegasikan autentikasi ke mekanisme web standar seperti header HTTP dan ke standar seperti OAuth2 dan OpenID Connect. Setiap agen mengiklankan persyaratan autentikasi di Kartu Agennya. Untuk mengetahui informasi selengkapnya, lihat Autentikasi A2A.
  • Tata kelola antar-agen: Daftarkan agen A2A di Agent Registry dan rutekan permintaan antar-agen melalui Agent Gateway. Dengan menggabungkan Agent Gateway dengan Agent Identity, IAP, dan kebijakan akses IAM, Anda dapat memverifikasi identitas agen pemanggil secara kriptografis, menerapkan otorisasi terperinci antara agen koordinator dan subagen, serta memeriksa payload antar-agen dengan Model Armor.

Pertimbangan keamanan Cloud Run

Untuk membantu memastikan bahwa implementasi Cloud Run Anda memenuhi persyaratan keamanan, pertimbangkan rekomendasi berikut:

  • Keamanan Ingress (untuk layanan frontend): Untuk mengontrol akses ke aplikasi, nonaktifkan URL run.app default layanan Cloud Run frontend dan siapkan Load Balancer Aplikasi eksternal regional. Selain melakukan load balancing pada traffic masuk ke aplikasi, load balancer juga menangani pengelolaan sertifikat SSL. Untuk perlindungan tambahan, Anda dapat menggunakan kebijakan keamanan Google Cloud Armor untuk menyediakan pemfilteran permintaan, perlindungan DDoS, dan pembatasan kapasitas untuk layanan.

  • Autentikasi pengguna:

    • Pengguna di dalam organisasi Anda: Untuk mengautentikasi akses pengguna internal ke layanan Cloud Run frontend, gunakan IAP. Saat pengguna mencoba mengakses resource yang diamankan IAP, IAP akan melakukan pemeriksaan autentikasi dan otorisasi.
    • Pengguna di luar organisasi Anda: Untuk mengautentikasi akses pengguna eksternal ke layanan frontend, gunakan Identity Platform atau Firebase Authentication. Untuk mengelola akses pengguna eksternal, konfigurasikan aplikasi Anda untuk menangani alur login dan melakukan panggilan API yang diautentikasi ke layanan Cloud Run.

    Untuk mengetahui informasi selengkapnya, lihat Mengautentikasi pengguna.

  • Keamanan agen dan server MCP: Saat Anda menghosting agen atau server MCP di Cloud Run, konfigurasikan fitur Agent Platform untuk Cloud Run untuk menetapkan identitas agen terkelola ke layanan, dan gunakan IAP dengan Agent Gateway untuk mengautentikasi dan mengizinkan permintaan agen dan alat yang masuk.

  • Keamanan image container: Untuk memastikan bahwa hanya image container resmi yang di-deploy ke Cloud Run, Anda dapat menggunakan Otorisasi Biner. Untuk mengidentifikasi dan memitigasi risiko keamanan dalam image container, gunakan Artifact Analysis untuk menjalankan pemindaian kerentanan secara otomatis. Untuk mengetahui informasi selengkapnya, lihat Ringkasan pemindaian container.

  • Residensi data: Cloud Run membantu Anda memenuhi persyaratan residensi data. Layanan Cloud Run Anda berjalan dalam region yang dipilih.

Untuk panduan selengkapnya tentang keamanan container, lihat Tips pengembangan Cloud Run umum.

Pertimbangan keamanan untuk semua produk Google Cloud dalam arsitektur

Untuk membantu memastikan bahwa arsitektur Anda memenuhi persyaratan keamanan, pertimbangkan rekomendasi umum berikut:

  • Enkripsi data: Secara default, Google Cloud mengenkripsi data dalam penyimpanan menggunakan Google-owned and Google-managed encryption keys. Untuk melindungi data agen Anda menggunakan kunci enkripsi yang Anda kontrol, Anda dapat menggunakan CMEK yang Anda buat dan kelola di Cloud KMS. Untuk mengetahui informasi tentang layanan Google Cloud yang kompatibel dengan Cloud KMS, lihat Layanan yang kompatibel.
  • Mengurangi risiko pemindahan data yang tidak sah: Untuk mengurangi risiko pemindahan data yang tidak sah, buat perimeter Kontrol Layanan VPC di sekitar infrastruktur. Kontrol Layanan VPC mendukung semua layananGoogle Cloud yang digunakan arsitektur referensi ini.
  • Kontrol akses: Saat Anda mengonfigurasi izin untuk resource dalam topologi, ikuti prinsip hak istimewa terendah.
  • Keamanan lingkungan cloud: Gunakan alat di Security Command Center untuk mendeteksi kerentanan, mengidentifikasi dan memitigasi ancaman, menentukan dan men-deploy postur keamanan, serta mengekspor data untuk analisis lebih lanjut.
  • Pengoptimalan pasca-deployment: Setelah men-deploy aplikasi di Google Cloud, dapatkan rekomendasi untuk lebih mengoptimalkan keamanan dengan menggunakan Active Assist. Tinjau rekomendasi dan terapkan sesuai kebutuhan untuk lingkungan Anda. Untuk mengetahui informasi selengkapnya, lihat Menemukan rekomendasi di Active Assist.

Untuk prinsip dan rekomendasi keamanan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keamanan dalam Framework Arsitektur yang Baik.

Keandalan

Bagian ini menjelaskan pertimbangan dan rekomendasi desain untuk membangun dan mengoperasikan infrastruktur yang andal untuk deployment Anda di Google Cloud.

Pertimbangan keandalan untuk agen

Untuk membantu memastikan bahwa konfigurasi agen Anda memenuhi persyaratan keandalan, pertimbangkan rekomendasi berikut:

  • Fault tolerance: Desain sistem agentic untuk menoleransi atau menangani kegagalan di tingkat agen. Jika memungkinkan, gunakan pendekatan terdesentralisasi yang memungkinkan agen beroperasi secara independen.
  • Simulasikan kegagalan: Sebelum men-deploy sistem AI agentic ke produksi, validasi sistem tersebut dengan menyimulasikan lingkungan produksi. Mengidentifikasi dan memperbaiki masalah koordinasi antar-agen dan perilaku yang tidak terduga.
  • Penanganan error: Untuk memungkinkan diagnosis dan pemecahan masalah error, terapkan logging, penanganan pengecualian, dan mekanisme percobaan ulang.

Pertimbangan keandalan Agent Platform

Untuk membantu memastikan bahwa konfigurasi dan penggunaan Agent Platform Anda memenuhi persyaratan keandalan, pertimbangkan rekomendasi berikut:

  • Perencanaan kapasitas: Jika jumlah permintaan Anda melebihi kapasitas yang dialokasikan, kode error 429 akan ditampilkan. Untuk workload yang penting bagi bisnis dan secara konsisten memerlukan throughput tinggi, Anda dapat memesan throughput menggunakan Throughput yang Disediakan.
  • Ketersediaan endpoint model: Jika data dapat dibagikan di beberapa region atau negara, Anda dapat menggunakan endpoint global untuk model tersebut.

Ketahanan Cloud Run terhadap pemadaman layanan di level zona dan region

Cloud Run adalah layanan regional. Cloud SQL menyimpan data secara sinkron di beberapa zona dalam satu region dan otomatis melakukan load balancing traffic di seluruh zona. Jika terjadi pemadaman layanan zona, Cloud Run akan terus berjalan dan data tidak akan hilang. Jika terjadi pemadaman layanan di suatu region, layanan akan berhenti berjalan hingga Google menyelesaikan pemadaman layanan tersebut.

Pertimbangan keandalan untuk semua produk Google Cloud dalam arsitektur

Setelah men-deploy aplikasi di Google Cloud, dapatkan rekomendasi untuk lebih mengoptimalkan keandalan menggunakan Active Assist. Tinjau rekomendasi dan terapkan sesuai kebutuhan untuk lingkungan Anda. Untuk mengetahui informasi selengkapnya, lihat Menemukan rekomendasi di Active Assist.

Untuk prinsip dan rekomendasi keandalan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keandalan dalam Framework Arsitektur yang Baik.

Operasi

Bagian ini menjelaskan faktor yang perlu dipertimbangkan saat Anda menggunakan arsitektur referensi ini untuk mendesain topologi Google Cloud yang dapat Anda operasikan secara efisien.

Pertimbangan operasi Agent Platform

Untuk membantu memastikan bahwa konfigurasi dan penggunaan Agent Platform Anda memenuhi persyaratan operasional, pertimbangkan rekomendasi berikut:

  • Pemantauan menggunakan log: Secara default, log agen yang ditulis ke aliran data stdout dan stderr dirutekan ke Cloud Logging. Untuk logging lanjutan, Anda dapat mengintegrasikan logger Python dengan Cloud Logging. Jika Anda memerlukan kontrol penuh atas logging dan log terstruktur, gunakan klien Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat Logging agen dan Logging di ADK.
  • Evaluasi berkelanjutan: Lakukan evaluasi kualitatif secara rutin terhadap output agen dan alur atau langkah yang diambil agen untuk menghasilkan output. Untuk menerapkan evaluasi agen, Anda dapat menggunakan layanan evaluasi AI generatif atau metode evaluasi yang didukung ADK.

Pertimbangan operasi MCP

Untuk membantu memastikan bahwa implementasi MCP Anda memenuhi persyaratan operasional, pertimbangkan rekomendasi berikut:

  • Alat database: Untuk mengelola alat database secara efisien bagi agen AI Anda dan untuk memastikan bahwa agen menangani kompleksitas seperti penggabungan koneksi dan autentikasi dengan aman, gunakan MCP Toolbox for Databases. Alat ini menyediakan lokasi terpusat untuk menyimpan dan memperbarui alat database. Anda dapat membagikan alat di seluruh agen dan mengupdate alat tanpa men-deploy ulang agen. Toolbox ini mencakup berbagai alat untuk database Google Cloud seperti AlloyDB untuk PostgreSQL dan untuk database pihak ketiga seperti MongoDB.
  • Model AI generatif: Untuk memungkinkan agen AI menggunakan model AI generatif Google seperti Imagen dan Veo, Anda dapat menggunakan Server MCP untuk API media generatif Google Cloud .
  • Produk dan alat keamanan Google: Untuk memungkinkan agen AI Anda mengakses produk dan alat keamanan Google seperti Google Security Operations, Google Threat Intelligence, dan Security Command Center, gunakan server MCP untuk produk keamanan Google.

Pertimbangan operasi untuk semua produk Google Cloud dalam arsitektur

Mengumpulkan dan menganalisis data trace secara berkelanjutan menggunakan Cloud Trace. Data rekaman aktivitas memungkinkan Anda mengidentifikasi dan mendiagnosis error dengan cepat dalam alur kerja agen yang kompleks. Anda dapat melakukan analisis mendalam melalui visualisasi di alat Trace Explorer. Untuk mengetahui informasi selengkapnya, lihat Melihat trace agen.

Untuk prinsip dan rekomendasi keunggulan operasional yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keunggulan operasional dalam Framework Arsitektur yang Baik.

Pengoptimalan biaya

Bagian ini berisi panduan untuk mengoptimalkan biaya penyiapan dan pengoperasian topologi Google Cloud yang Anda bangun menggunakan arsitektur referensi ini.

Pertimbangan biaya Agent Platform

Untuk membantu memastikan bahwa konfigurasi dan penggunaan Agent Platform Anda memenuhi persyaratan biaya, pertimbangkan rekomendasi berikut:

  • Analisis dan pengelolaan biaya: Untuk menganalisis dan mengelola biaya Agent Platform, sebaiknya buat metrik dasar pengukuran untuk kueri per detik (QPS) dan token per detik (TPS). Kemudian, pantau metrik ini setelah deployment. Dasar pengukuran juga membantu perencanaan kapasitas. Misalnya, dasar pengukuran membantu Anda menentukan kapan Throughput yang Disediakan mungkin diperlukan.
  • Pemilihan model: Model yang Anda pilih untuk aplikasi AI Anda secara langsung memengaruhi biaya dan performa. Untuk mengidentifikasi model yang memberikan keseimbangan optimal antara performa dan biaya untuk kasus penggunaan spesifik Anda, uji model secara berulang. Sebaiknya Anda memulai dengan model yang paling hemat biaya dan secara bertahap beralih ke opsi yang lebih canggih.
  • Prompt yang hemat biaya: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Desain perintah Anda untuk mendapatkan respons yang ringkas dari model. Misalnya, sertakan frasa seperti "ringkas dalam 2 kalimat" atau "cantumkan 3 poin utama". Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.
  • Context caching: Untuk mengurangi biaya permintaan yang berisi konten berulang dengan jumlah token input yang tinggi, gunakan cache konteks.
  • Permintaan batch: Jika relevan, pertimbangkan prediksi batch. Permintaan batch dikenai biaya yang lebih rendah daripada permintaan standar.

Pertimbangan biaya Cloud Run

Untuk membantu memastikan bahwa penerapan Cloud Run Anda memenuhi persyaratan biaya, pertimbangkan rekomendasi berikut:

  • Alokasi resource: Saat membuat layanan Cloud Run, Anda dapat menentukan jumlah memori dan CPU yang akan dialokasikan. Mulai dengan alokasi CPU dan memori default. Amati penggunaan resource dan biaya dari waktu ke waktu, dan sesuaikan alokasi seperlunya. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi batas memori untuk layanan dan Mengonfigurasi batas CPU untuk layanan.
  • Pengoptimalan tarif: Jika Anda dapat memprediksi persyaratan CPU dan memori, Anda dapat menghemat biaya dengan diskon abonemen (DA).

Pertimbangan biaya untuk semua produk Google Cloud dalam arsitektur

Setelah men-deploy aplikasi di Google Cloud, dapatkan rekomendasi untuk lebih mengoptimalkan biaya menggunakan Active Assist. Tinjau rekomendasi dan terapkan sesuai kebutuhan untuk lingkungan Anda. Untuk mengetahui informasi selengkapnya, lihat Menemukan rekomendasi di Active Assist.

Untuk memperkirakan biaya resource Google Cloud Anda, gunakan Kalkulator HargaGoogle Cloud .

Untuk prinsip dan rekomendasi pengoptimalan biaya yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan biaya dalam Framework Arsitektur yang Baik.

Pengoptimalan performa

Bagian ini menjelaskan pertimbangan dan rekomendasi desain untuk merancang topologi di Google Cloud yang memenuhi persyaratan performa workload Anda.

Pertimbangan performa untuk agen

Untuk membantu memastikan konfigurasi agen Anda memenuhi persyaratan performa, pertimbangkan rekomendasi berikut:

  • Pemilihan model: Saat Anda memilih model untuk sistem AI agentic, pertimbangkan kemampuan yang diperlukan untuk tugas yang perlu dilakukan agen.
  • Pengoptimalan perintah: Untuk meningkatkan dan mengoptimalkan performa perintah dengan cepat dalam skala besar dan menghilangkan kebutuhan untuk menulis ulang secara manual, gunakan pengoptimal perintah Agent Platform. Pengoptimal membantu Anda menyesuaikan perintah secara efisien di berbagai model.

Pertimbangan performa Agent Platform

Untuk membantu memastikan bahwa konfigurasi dan penggunaan Agent Platform Anda memenuhi persyaratan performa, pertimbangkan rekomendasi berikut:

  • Pemilihan model: Model yang Anda pilih untuk aplikasi AI Anda secara langsung memengaruhi biaya dan performa. Untuk mengidentifikasi model yang memberikan keseimbangan optimal antara performa dan biaya untuk kasus penggunaan spesifik Anda, uji model secara berulang. Sebaiknya Anda memulai dengan model yang paling hemat biaya dan secara bertahap beralih ke opsi yang lebih canggih.
  • Rekayasa perintah: Panjang perintah (input) dan respons yang dihasilkan (output) secara langsung memengaruhi performa dan biaya. Tulis perintah yang singkat, langsung, dan memberikan konteks yang memadai. Desain prompt Anda untuk mendapatkan respons yang ringkas dari model. Misalnya, sertakan frasa seperti "ringkas dalam 2 kalimat" atau "cantumkan 3 poin utama". Untuk mengetahui informasi selengkapnya, lihat praktik terbaik untuk desain perintah.
  • Cache konteks: Untuk mengurangi latensi permintaan yang berisi konten berulang dengan jumlah token input yang tinggi, gunakan cache konteks.

Pertimbangan performa Cloud Run

Bergantung pada persyaratan performa Anda, konfigurasikan memori dan CPU yang akan dialokasikan ke layanan Cloud Run. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi batas memori untuk layanan dan Mengonfigurasi batas CPU untuk layanan.

Untuk panduan pengoptimalan performa lebih lanjut, lihat Tips pengembangan Cloud Run umum.

Pertimbangan performa untuk semua produk Google Cloud dalam arsitektur

Setelah men-deploy aplikasi di Google Cloud, dapatkan rekomendasi untuk lebih mengoptimalkan performa menggunakan Active Assist. Tinjau rekomendasi dan terapkan sesuai kebutuhan untuk lingkungan Anda. Untuk mengetahui informasi selengkapnya, lihat Menemukan rekomendasi di Active Assist.

Untuk prinsip dan rekomendasi pengoptimalan performa yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Pengoptimalan performa di Framework Arsitektur yang Baik.

Deployment

Untuk mempelajari cara membangun dan men-deploy sistem AI multi-agen, gunakan contoh kode berikut. Contoh kode ini adalah titik awal yang berfungsi penuh untuk pembelajaran dan eksperimen. Untuk pengoperasian yang optimal di lingkungan produksi, Anda harus menyesuaikan kode berdasarkan persyaratan bisnis dan teknis spesifik Anda.

Langkah berikutnya

Kontributor

Penulis: Kumar Dhanagopal | Developer Solusi Lintas Produk

Kontributor lainnya: