Model Armor terintegrasi dengan layanan Google Cloud untuk mengamankan interaksi AI dan model bahasa besar (LLM). Model Armor mengidentifikasi dan melaporkan potensi pelanggaran kebijakan serta dapat secara aktif memblokir tindakan berdasarkan evaluasi keamanan.
Kapan harus menggunakan integrasi Model Armor
Berikut adalah beberapa kasus penggunaan umum:
- Mengamankan traffic gateway API: Cegat permintaan dan respons berbahaya untuk melindungi endpoint AI backend di lapisan gateway menggunakan Apigee atau Agent Gateway.
- Menerapkan perlindungan model inline: Memfilter perintah dan aliran respons langsung dalam alur kerja Agent Platform, Gemini, dan Gemini Enterprise tanpa kode wrapper kustom.
- Pusatkan operasi keamanan dan pemberitahuan: Rutekan temuan dan peristiwa pelanggaran kebijakan langsung ke Security Command Center untuk pemantauan ancaman terpadu.
- Melindungi interaksi agen: Memberikan batasan untuk agen percakapan dan pemanggilan alat di seluruh arsitektur perusahaan yang terintegrasi.
Modalitas yang didukung
Modalitas yang dapat dipindai dan dibersihkan oleh Model Armor bergantung pada cara Anda mengakses layanan:
- REST API Langsung: REST API Model Armor mendukung semua modalitas, termasuk teks, dokumen, dan gambar. Untuk mengetahui informasi selengkapnya, lihat Membersihkan perintah dan respons dan Menyaring gambar.
- Integrasi dengan layanan lain: Integrasi Gemini Enterprise mendukung dokumen dan gambar, termasuk gambar yang terdapat di dalam dokumen yang diupload. Semua integrasi Model Armor lainnya hanya memindai dan membersihkan teks.
Untuk mengetahui detail tentang jenis dokumen dan batas ukuran yang didukung, lihat Pemeriksaan dokumen.
Layanan yang didukung
Bagian ini menjelaskan layanan Google Cloud yang dapat Anda integrasikan dengan Model Armor.
Agent Gateway
Integrasikan Model Armor dengan Agent Gateway untuk menerapkan kebijakan keamanan pada traffic yang mengalir ke dan dari semua agen yang diatur oleh gateway. Integrasi ini memungkinkan pemeriksaan inline dan pemblokiran konten berbahaya atau yang tidak mematuhi kebijakan. Integrasi ini bertujuan untuk meningkatkan keamanan alur kerja dan kepatuhan terhadap pedoman keamanan organisasi, tanpa perlu mengubah kode aplikasi. Perlindungan ini berlaku untuk protokol yang didukung pada jalur ingress (ke agen) dan egress (dari agen). Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Agent Gateway.
Apigee
Integrasi Model Armor dan Apigee memungkinkan Anda menggunakan kemampuan perlindungan AI Model Armor langsung dalam lapisan gateway API Apigee. Anda mengonfigurasi kebijakan Model Armor tertentu dalam proxy API Apigee. Saat panggilan API melewati proxy Apigee yang memiliki kebijakan ini, Apigee akan mengirimkan perintah dan respons ke layanan Model Armor untuk diperiksa. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Apigee.
Gemini Enterprise
Model Armor dapat diintegrasikan langsung dengan Gemini Enterprise menggunakan template. Gemini Enterprise merutekan interaksi antara pengguna, agen, dan LLM yang mendasarinya—termasuk teks, dokumen, dan gambar—melalui Model Armor untuk diperiksa sebelum menampilkan respons kepada pengguna. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Gemini Enterprise.
Server MCP Google dan Google Cloud
Model Armor dapat dikonfigurasi untuk membantu melindungi data Anda dan mengamankan konten saat mengirim permintaan ke layanan Google Cloud yang mengekspos alat dan server Model Context Protocol (MCP). Model Armor membantu mengamankan aplikasi AI agentic Anda dengan menyanitasi panggilan alat dan respons MCP menggunakan setelan tingkat. Proses ini memitigasi risiko seperti injeksi perintah dan pengungkapan data sensitif. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan server Google dan Google Cloud server MCP.
Service Extensions
Model Armor dapat diintegrasikan dengan layanan jaringan Google Cloud melalui Service Extensions. Dengan Service Extensions, Anda dapat mengintegrasikan layanan Google Cloud atau layanan yang dikelola pengguna untuk memproses traffic. Anda dapat mengonfigurasi ekstensi layanan di load balancer aplikasi untuk memeriksa traffic jaringan untuk berbagai interaksi AI, seperti dengan agen dan server MCP. Anda juga dapat menggunakan ekstensi layanan dengan gateway inferensi GKE untuk menyaring traffic ke dan dari cluster GKE. Hal ini membantu memastikan bahwa semua interaksi AI yang melewati load balancer dilindungi oleh Model Armor. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan layanan jaringan Google Cloud .
Gemini Enterprise Agent Platform
Model Armor dapat diintegrasikan langsung ke Gemini Enterprise Agent Platform menggunakan
setelan dasar atau
template.
Integrasi ini menyaring permintaan dan respons model Gemini, serta memblokir
permintaan dan respons yang melanggar setelan batas. Integrasi ini memberikan perlindungan perintah dan respons dalam Gemini API di Vertex AI untuk metode generateContent. Sanitasi perintah dan respons yang berisi dokumen
atau gambar tidak didukung dalam integrasi ini. Anda harus mengaktifkan Cloud Logging untuk mendapatkan visibilitas
ke hasil sanitasi perintah dan respons. Untuk mengetahui informasi selengkapnya, lihat
Mengintegrasikan dengan Gemini Enterprise Agent Platform.
Sebelum memulai
Mengaktifkan API
Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.
Konsol
Aktifkan API Model Armor, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.Pilih project tempat Anda ingin mengaktifkan Model Armor.
gcloud
Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:
Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:
gcloud initAktifkan Model Armor API, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable modelarmor.googleapis.com
Menetapkan penggantian endpoint API menggunakan gcloud CLI
Langkah ini hanya diperlukan jika Anda menggunakan gcloud CLI dengan
Model Armor dan ingin menggunakan region atau multi-region selain
multi-region us default. Anda harus menetapkan penggantian endpoint API secara manual
untuk memastikan gcloud CLI merutekan permintaan dengan benar ke
layanan Model Armor.
Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Ganti LOCATION dengan region atau multi-region tempat
Anda ingin menggunakan Model Armor.
Kelola kuota
Model Armor menggunakan sistem kuota untuk memastikan penggunaan yang adil dan melindungi stabilitas sistem. Kuota default untuk Model Armor API adalah 1.200 QPM per project. Anda dapat menerapkan nilai dari 0 hingga 1.200 QPM per project. Untuk meminta penyesuaian, lihat Meminta penyesuaian kuota. Jika Anda memerlukan lebih dari kuota default, hubungi Cloud Customer Care.
Kuota Model Armor memerlukan pertimbangan penting saat berintegrasi dengan layanan lain. Kuota utama yang Anda gunakan adalah jumlah permintaan API per menit per project.
Pertimbangkan jenis kuota berikut saat mengintegrasikan Model Armor dengan layanan lain.
- Kuota default Model Armor: Saat layanan melakukan panggilan ke Model Armor API untuk analisis (misalnya, memeriksa perintah atau respons), tindakan ini akan menggunakan kuota Model Armor API project Anda.
- Kuota layanan integrasi: Kuota Model Armor terpisah dari kuota apa pun yang terkait dengan layanan integrasi. Anda harus memastikan ada kuota yang cukup untuk semua layanan di jalur permintaan Anda. Setiap panggilan yang dilakukan ke Model Armor API untuk membersihkan konten bagi aplikasi Anda akan mengurangi batas kuota Model Armor API.
Menemukan situasi kehabisan kuota
Anda mencapai batas kuota Model Armor jika log aplikasi Anda menampilkan
error dari Model Armor, biasanya error HTTP 429 RESOURCE_EXHAUSTED,
yang menunjukkan terlalu banyak permintaan.
Memperkirakan kebutuhan kuota
Untuk menentukan jumlah kuota Model Armor yang akan diminta:
- Perkirakan jumlah permintaan puncak per menit yang akan dikirim layanan Anda ke Model Armor.
- Pertimbangkan berapa kali Model Armor dipanggil per interaksi pengguna dengan layanan Anda (misalnya, sekali untuk perintah dan sekali untuk respons).
- Pertimbangkan jumlah maksimum pengguna atau sesi serentak.
- Minta kuota dengan buffer yang wajar (misalnya, 20-30% di atas puncak yang Anda perkirakan) untuk menangani lonjakan yang tidak terduga.
- Mulailah dengan perkiraan terbaik Anda, pantau penggunaan dengan cermat setelah peluncuran, dan minta penyesuaian lebih lanjut sesuai kebutuhan.
Misalnya, jika Anda memperkirakan 500 pengguna per menit, dan setiap interaksi pengguna memanggil Model Armor dua kali (perintah dan respons), Anda memerlukan setidaknya 1.000 QPM. Dengan mempertimbangkan buffer, meminta 1.200-1.300 QPM adalah titik awal yang baik.
Pertimbangan
Saat berintegrasi dengan layanan lain, pertimbangkan hal berikut:
- Pastikan Anda memantau dan mengelola kuota untuk layanan lainnya. Kehabisan kuota untuk layanan lain akan memengaruhi aplikasi Anda, meskipun Anda memiliki kuota Model Armor yang cukup.
- Terapkan percobaan ulang sisi klien dengan backoff eksponensial dalam penyiapan aplikasi Anda untuk menangani masalah kuota sementara atau error lain yang dapat dicoba ulang. Untuk mengetahui informasi selengkapnya, lihat Strategi percobaan ulang.
Jenis penegakan
Saat mengintegrasikan Model Armor dengan layanan lain, aspek penting yang harus dikonfigurasi adalah jenis penegakan. Setelan ini menentukan cara Model Armor bertindak setelah mendeteksi potensi pelanggaran kebijakan dalam data yang diperiksanya, seperti perintah atau respons LLM. Jenis penegakan kebijakan menentukan apakah Model Armor hanya melaporkan pelanggaran atau secara aktif melakukan intervensi. Untuk mengetahui informasi selengkapnya, lihat Menentukan jenis penerapan.
Melakukan integrasi menggunakan REST API
Saat Anda menggunakan REST API untuk integrasi, Model Armor hanya berfungsi sebagai detektor menggunakan template. Alat ini mengidentifikasi dan melaporkan potensi pelanggaran kebijakan berdasarkan template yang telah ditentukan, bukan mencegahnya secara aktif. Saat berintegrasi dengan Model Armor API, aplikasi Anda dapat menggunakan output dari Model Armor untuk memblokir atau mengizinkan tindakan berdasarkan hasil evaluasi keamanan yang diberikan. Model Armor API menampilkan informasi tentang potensi ancaman atau pelanggaran kebijakan yang terkait dengan traffic API Anda, terutama dalam kasus interaksi AI. Aplikasi Anda dapat memanggil Model Armor API dan menggunakan informasi yang diterima dalam respons untuk membuat keputusan dan mengambil tindakan berdasarkan logika kustom yang telah Anda tentukan.
Opsi saat mengintegrasikan Model Armor
Model Armor menawarkan opsi integrasi berikut. Setiap opsi menyediakan fitur dan kemampuan yang berbeda.
| Opsi integrasi | Mengonfigurasi deteksi | Modalitas yang didukung | Hanya periksa | Memeriksa dan memblokir | Cakupan |
|---|---|---|---|---|---|
| Agent Gateway | Hanya menggunakan template | Teks | Ya | Ya | Semua model dan semua cloud |
| Apigee | Hanya menggunakan template | Teks | Ya | Ya | Semua model dan semua cloud2 |
| Gemini Enterprise | Hanya menggunakan template | Teks, dokumen, gambar | Ya | Ya | Semua model dan semua cloud2 |
| Server Google dan Google Cloud server MCP | Hanya menggunakan setelan tingkat | Teks | Ya | Ya | Server MCP Google dan Google Cloud |
| Service Extensions | Hanya menggunakan template | Teks | Ya | Ya | Model format OpenAI1, agen, dan server MCP di semua cloud2 |
| Gemini Enterprise Agent Platform | Menggunakan setelan minimum dan template | Teks | Ya | Ya | Model Gemini (non-streaming) |
1Beberapa model populer—termasuk Anthropic Claude, Mistral AI, dan Grok—mendukung spesifikasi OpenAI. Model ini biasanya di-deploy menggunakan mesin inferensi seperti vLLM, yang menyediakan lapisan API yang kompatibel dengan OpenAI yang diperlukan. vLLM mendukung berbagai model, termasuk seri Meta Llama, DeepSeek, rangkaian model Mistral dan Mixtral, serta Gemma.
2Mencakup cloud publik lainnya seperti AWS dan Azure.
Dengan integrasi Gemini Enterprise Agent Platform, Model Armor memberikan penegakan inline menggunakan setelan dasar atau template. Penegakan kebijakan inline memungkinkan Model Armor secara aktif menegakkan kebijakan dengan melakukan intervensi langsung dalam proses tanpa memerlukan modifikasi pada kode aplikasi Anda.
Integrasi Service Extensions dan Gemini Enterprise hanya menggunakan template untuk penegakan kebijakan inline. Melalui penegakan kebijakan inline, Model Armor dapat menegakkan kebijakan secara langsung tanpa mengharuskan Anda mengubah kode aplikasi, baik dalam Ekstensi Layanan maupun selama interaksi pengguna atau agen dalam instance Gemini Enterprise.
Integrasi Model Armor dengan
Gemini Enterprise, Agent Runtime, dan
Apigee membersihkan perintah pengguna awal, respons agen atau model
akhir, dan langkah-langkah perantara, seperti data grounding dan respons
yang ditampilkan oleh alat penelusuran web. Jika data grounding atau payload perantara yang diambil melanggar template Model Armor atau kebijakan Sensitive Data Protection yang Anda konfigurasi, permintaan akan diblokir dan dicatat ke dalam log dengan jenis operasi SANITIZE_USER_PROMPT.
Model Armor di Security Command Center
Model Armor memeriksa perintah dan respons LLM untuk mendeteksi berbagai ancaman, termasuk injeksi perintah, upaya jailbreak, URL berbahaya, dan konten berbahaya. Saat Model Armor mendeteksi pelanggaran terhadap setelan minimum yang dikonfigurasi, Model Armor akan memblokir perintah atau respons dan mengirimkan temuan ke Security Command Center. Untuk mengetahui informasi selengkapnya, lihat Temuan Model Armor.