Tentang Agent Substrate GKE

Agent Substrate menjalankan workload agentik dalam skala besar di cluster Kubernetes. Fitur ini mengatasi inefisiensi sumber daya yang umum: agen interaktif (seperti asisten pribadi dan agen coding) sering kali menghabiskan sebagian besar waktunya untuk menunggu input pengguna atau pemicu eksternal. Membiarkan agen tidak aktif ini terus berjalan menggunakan CPU dan memori yang seharusnya dapat dialokasikan untuk workload aktif.

Substrat Agen memecahkan masalah ini dengan menangguhkan agen yang tidak aktif dan mengambil snapshot memori aktif (RAM) dan file lokal agen. Saat agen yang ditangguhkan perlu bertindak lagi, sistem akan memulihkan status agen ke sandbox yang tersedia dalam waktu kurang dari satu detik.

Agent Substrate dibangun berdasarkan kemampuan Agent Sandbox, dan meningkatkan kualitas Agent Sandbox dengan melewati hambatan bidang kontrol Kubernetes standar. Hasilnya, agen ini dapat menjalankan agen serentak yang jauh lebih banyak per mesin dan mengurangi waktu mulai agen secara drastis.

Deployment Kubernetes standar (termasuk Agent Sandbox) mengaitkan setiap workload agen dengan Pod khusus. Meskipun sangat dapat diskalakan, Kubernetes dibatasi oleh throughput penjadwalan dan latensi startup Pod. Selain itu, Kubernetes tidak mendukung hibernasi Pod, dan menyimpan jutaan agen yang tidak aktif dalam cluster akan menghabiskan batas Pod dan memori bidang kontrol. Untuk menghindari pembayaran komputasi yang tidak digunakan, Anda harus mematikan Pod dan mengelola status agen di penyimpanan eksternal. Substrat Agen memecahkan kendala penskalaan ini dengan memisahkan status agen dari Pod yang mendasarinya: Substrat Agen menyimpan jutaan snapshot agen yang ditangguhkan di penyimpanan dan memulihkannya sesuai permintaan ke kumpulan bersama Pekerja yang aktif.

Agent Substrate adalah sistem open source yang Anda deploy langsung ke cluster GKE Standard Anda sendiri. Meskipun project intinya dikembangkan di repositori Agent Substrate open source, Google menyediakan alat dan skrip deployment yang dioptimalkan untuk GKE di repositori substrate-gke, untuk pelanggan yang memenuhi syarat Google Cloud .

Manfaat Agent Substrate

Anda dapat menggunakan Substrat Agen untuk mencapai sasaran berikut:

  • Menjalankan kode yang tidak tepercaya dengan aman: Substrat Agen menerapkan isolasi kernel dan jaringan sehingga Anda dapat menjalankan kode yang dihasilkan AI tanpa mempertaruhkan infrastruktur yang lebih luas.
  • Membangun agen stateful yang berjalan lama: memori kerja dan file agen dipertahankan di seluruh sesi. Agen melanjutkan dari titik tepat saat dijeda.
  • Merespons permintaan secara real time: saat permintaan baru memicu agen yang ditangguhkan, sistem akan memulihkan status agen dalam sepersekian detik.
  • Mengurangi biaya komputasi: Anda dapat menjalankan lebih banyak agen di lebih sedikit mesin dengan membagikan kumpulan sandbox Pekerja di semua agen Anda. Karena agen yang tidak aktif ditangguhkan dan tidak menggunakan CPU dan memori, Anda hanya membayar komputasi saat agen aktif memproses tugas.

Kasus penggunaan

Agent Substrate dirancang untuk menjalankan agen dalam skala apa pun, mulai dari puluhan hingga jutaan agen serentak. Berikut tiga contoh workload:

  • Agen produktivitas: asisten latar belakang jangka panjang yang mempertahankan konteks selama berminggu-minggu. Karena asisten ini menghabiskan sebagian besar waktu untuk menunggu pemicu, menangguhkan beban kerja saat tidak digunakan akan mengurangi biaya komputasi.
  • Sandbox sementara: lingkungan terisolasi sesuai permintaan untuk mengeksekusi kode yang dihasilkan LLM yang tidak tepercaya, menjalankan panggilan alat, atau menganalisis data. Karena sandbox dipulihkan dalam waktu kurang dari satu detik, sistem dapat menyediakan lingkungan sekali pakai untuk tugas yang berdurasi singkat dan melepaskan resource saat eksekusi selesai.
  • Agen coding: Asisten AI yang melakukan percakapan real-time dengan developer untuk menulis, membangun, dan menguji kode. Agen menjalankan perintah terminal dan mengubah file di dalam sandbox. Saat agen tidak aktif, sistem akan menangguhkannya hingga developer mengirimkan perintah lain.

Cara kerja Substrat Agen

Agent Substrate dibangun di Kubernetes, tetapi Anda tidak perlu memahami Kubernetes untuk menggunakannya. Konsep inti Agent Substrate adalah sebagai berikut:

  • Aktor: satu instance agen yang sedang berjalan.
  • ActorTemplate: cetak biru konfigurasi (menentukan image container, variabel lingkungan, dan resource komputasi) yang digunakan untuk membuat instance Aktor.
  • Worker: sandbox aman tempat Aktor aktif berjalan.
  • WorkerPool: sekelompok Worker yang telah dimulai dan tidak aktif, yang tetap siap untuk menerima Aktor.

Karena Aktor tidak terikat ke Pekerja tertentu, sistem dapat menangguhkan agen yang tidak aktif dan menggunakan kembali komputasi yang dibebaskan. Arsitektur ini memungkinkan sistem menjalankan jutaan agen di sejumlah kecil mesin.

Siklus proses agen umum mengikuti langkah-langkah berikut:

  1. Perutean: setiap permintaan API masuk dari aplikasi Anda menentukan Aktor targetnya. Misalnya, saat pengguna mengetik perintah baru ke antarmuka chat, aplikasi Anda mengirimkan permintaan yang ditujukan ke Aktor tertentu yang mengelola sesi pengguna.
  2. Melanjutkan: jika permintaan ditujukan untuk Aktor yang ditangguhkan, sistem akan mengklaim Worker hangat dari WorkerPool dan memulihkan snapshot Aktor tersebut ke Worker itu.
  3. Mengeksekusi: sistem mengarahkan permintaan ke Worker yang baru aktif ini, dan Aktor memproses tugas.
  4. Menangguhkan: saat Aktor menyelesaikan tugasnya dan menjadi tidak aktif, sistem akan mengambil snapshot baru dari memori dan file Aktor, menyimpan snapshot ke penyimpanan, dan melepaskan Pekerja yang kosong kembali ke kumpulan.

Pemisahan workload dan GKE Sandbox

Agent Substrate menggunakan gVisor atau Cloud Hypervisor untuk menjalankan setiap workload dalam sandbox yang mengisolasi kode aplikasi dari kernel host. Penginstalan Agent Substrate mencakup runtime gVisor untuk Worker, sehingga Anda tidak perlu mengonfigurasi GKE Sandbox di node GKE yang mendasarinya.

Batasan dan persyaratan

Substrat Agen memiliki batasan dan persyaratan berikut:

  • Versi cluster dan API beta: Agent Substrate didukung di cluster GKE Standard yang menjalankan versi 1.36 (dengan mengaktifkan tanda beta) atau versi 1.37 atau yang lebih baru. Versi yang lebih lama dari 1.36 tidak didukung. Selain itu, GKE memerlukan API beta (podcertificaterequests dan clustertrustbundles) yang diaktifkan pada saat pembuatan cluster. Mengaktifkan API ini di cluster yang ada tidak didukung dan akan gagal.
  • Workload Identity Federation for GKE: Cluster GKE harus mengaktifkan Workload Identity Federation for GKE. Agent Substrate menggunakan Workload Identity Federation for GKE guna melakukan autentikasi keGoogle Cloud API, seperti Cloud Storage untuk menyimpan snapshot agen.
  • Famili VM:
    • Arsitektur CPU campuran: Agent Substrate tidak mendukung seri mesin tujuan umum yang berjalan pada arsitektur CPU campuran (seperti jenis mesin E2) karena masalah yang diketahui dengan gVisor.
    • Jenis VM seragam per template Aktor: mencampur jenis VM dalam satu ActorTemplate (blueprint konfigurasi yang digunakan untuk membuat Aktor) tidak didukung. Misalnya, jika cluster Anda memiliki dua kumpulan node yang menggunakan VM C4 dan N2, ActorTemplate harus menyertakan pemilih node yang menentukan satu jenis VM (seperti C4) untuk mencegah Aktor untuk template tersebut dibagi di berbagai jenis mesin.
  • Dukungan GPU: Passthrough perangkat GPU ke dalam container Aktor tidak didukung. Menentukan nvidia.com/gpu hanya menempatkan Pod di node yang mendukung GPU, tetapi tidak meneruskan perangkat GPU ke dalam container Aktor. Selain itu, gVisor tidak dapat mengambil snapshot konteks CUDA live.
  • Jaringan:
    • Kebijakan keluar: Aturan EgressPolicy (kontrol jaringan menurut nama host dan alamat IP) tidak didukung, termasuk kemampuan berikut:
      • Aturan penolakan default
      • Aturan berbasis nama host
      • Injeksi kredensial
    • Koneksi terbuka: koneksi jaringan terbuka (seperti sesi database atau koneksi ke server MCP) tidak dipertahankan saat agen ditangguhkan. Kode agen Anda harus menangani penghubungan ulang ke layanan eksternal saat agen dilanjutkan.
  • Observability dan Managed OpenTelemetry: Managed OpenTelemetry untuk GKE memiliki batasan berikut:
    • Managed OpenTelemetry untuk GKE dalam Pratinjau.
    • Konektor pengumpul tidak didukung, sehingga memerlukan penggunaan alat pengukur proxy eksternal untuk tolok ukur telemetri.
    • Deployment pengumpul menimbulkan overhead cache memori yang diskalakan secara linear dengan jumlah Pod dalam cluster besar.
    • TLS tidak didukung di Managed OpenTelemetry untuk GKE.
  • Penyimpanan: sistem memerlukan Cloud Storage untuk menyimpan snapshot agen Anda.
  • Lingkungan penginstalan: Anda tidak dapat menginstal Substrat Agen di Cloud Shell. Cloud Shell memiliki batas penyimpanan persistent disk sebesar 5 GB yang tidak menyediakan ruang disk yang cukup untuk penginstalan. Anda harus menginstal Agent Substrate dari workstation lokal atau virtual machine (VM) dengan ruang disk yang cukup.

Langkah berikutnya