Perspektif AI dan ML: Keandalan

Last reviewed 2026-10-29 UTC

Dokumen dalam Google Cloud Well-Architected Framework: AI and ML perspective ini memberikan ringkasan tentang prinsip dan rekomendasi untuk mendesain dan mengoperasikan sistem AI dan ML yang andal di Google Cloud. Kursus ini membahas cara mengintegrasikan praktik keandalan dan kemampuan observasi tingkat lanjut ke dalam blueprint arsitektur Anda. Rekomendasi dalam dokumen ini selaras dengan pilar keandalan Well-Architected Framework.

Dalam lanskap AI dan ML yang berkembang pesat, sistem yang andal sangat penting untuk memastikan kepuasan pelanggan dan mencapai sasaran bisnis. Untuk memenuhi tuntutan unik ML prediktif dan AI generatif, Anda memerlukan sistem AI dan ML yang tangguh, andal, dan mudah beradaptasi. Untuk menangani kompleksitas MLOps—mulai dari pengembangan hingga deployment dan peningkatan berkelanjutan—Anda perlu menggunakan pendekatan yang mengutamakan keandalan. Google Cloud menawarkan infrastruktur AI yang dibuat khusus dan selaras dengan prinsip rekayasa keandalan situs (SRE) serta memberikan fondasi yang kuat untuk sistem AI dan ML yang andal.

Rekomendasi dalam dokumen ini dipetakan ke prinsip-prinsip inti berikut:

Memastikan infrastruktur ML skalabel dan dengan tingkat ketersediaan tinggi

Sistem AI dan ML yang andal di cloud memerlukan infrastruktur yang skalabel dan sangat tersedia. Sistem ini memiliki permintaan yang dinamis, kebutuhan resource yang beragam, dan dependensi penting pada ketersediaan model. Arsitektur yang skalabel beradaptasi dengan beban yang berfluktuasi dan variasi dalam volume data atau permintaan inferensi. Ketersediaan tinggi (HA) membantu memastikan ketahanan terhadap kegagalan di tingkat komponen, zona, atau region.

Untuk membangun infrastruktur ML yang skalabel dan dengan tingkat ketersediaan tinggi, pertimbangkan rekomendasi berikut.

Menerapkan kemampuan penskalaan otomatis dan dinamis

Workload AI dan ML bersifat dinamis, dengan permintaan yang berfluktuasi berdasarkan tingkat kedatangan data, frekuensi pelatihan, dan volume traffic inferensi. Penskalaan otomatis dan dinamis menyesuaikan resource infrastruktur dengan lancar terhadap fluktuasi permintaan. Menskalakan workload secara efektif membantu mencegah periode nonaktif, mempertahankan performa, dan mengoptimalkan biaya.

Untuk menskalakan workload AI dan ML Anda secara otomatis, gunakan produk dan fitur berikut di Google Cloud:

  • Pipeline pemrosesan data: Membuat pipeline data di Dataflow. Konfigurasikan pipeline untuk menggunakan fitur penskalaan otomatis horizontal Dataflow, yang secara dinamis menyesuaikan jumlah worker instance berdasarkan pemakaian CPU, paralelisme pipeline, dan data yang tertunda. Anda dapat mengonfigurasi parameter penskalaan otomatis melalui opsi pipeline saat meluncurkan tugas.
  • Tugas pelatihan: Otomatiskan penskalaan tugas pelatihan menggunakan pelatihan kustom Gemini Enterprise Agent Platform. Anda dapat menentukan spesifikasi worker pool seperti jenis mesin, jenis dan jumlah akselerator, serta jumlah worker pool. Untuk tugas yang dapat menoleransi gangguan dan untuk tugas yang kode pelatihannya menerapkan checkpoint, Anda dapat mengurangi biaya dengan menggunakan Spot VM.
  • Inferensi online: Untuk inferensi online, gunakan endpoint Agent Platform. Untuk mengaktifkan penskalaan otomatis, konfigurasikan jumlah replika minimum dan maksimum. Tentukan minimal dua replika untuk HA. Platform Agen secara otomatis menyesuaikan jumlah replika berdasarkan traffic dan metrik penskalaan otomatis yang dikonfigurasi, seperti pemakaian CPU dan pemakaian replika.
  • Workload dalam container di Google Kubernetes Engine: Konfigurasikan penskalaan otomatis di level node dan Pod. Konfigurasikan autoscaler cluster dan node auto-provisioning untuk menyesuaikan jumlah node berdasarkan permintaan resource Pod yang tertunda seperti CPU, memori, GPU, dan Cloud TPU. Gunakan Horizontal Pod Autoscaler (HPA) untuk deployment guna menentukan kebijakan penskalaan berdasarkan metrik seperti penggunaan CPU dan memori. Anda juga dapat melakukan penskalaan berdasarkan metrik AI dan ML kustom, seperti pemakaian GPU atau Cloud TPU dan permintaan prediksi per detik.
  • Layanan dalam container serverless: Deploy layanan di Cloud Run dan konfigurasikan penskalaan otomatis dengan menentukan jumlah minimum dan maksimum instance container. Gunakan praktik terbaik untuk menskalakan otomatis instance yang mendukung GPU dengan menentukan jenis akselerator. Cloud Run secara otomatis menskalakan instance antara batas minimum dan maksimum yang dikonfigurasi berdasarkan permintaan yang masuk. Jika tidak ada permintaan, layanan ini akan diskalakan secara efisien ke nol instance. Anda dapat memanfaatkan penskalaan otomatis berbasis permintaan dari Cloud Run untuk men-deploy agen dan men-deploy workload pihak ketiga seperti model terkuantisasi menggunakan Ollama dan inferensi LLM menggunakan vLLM.

Mendesain untuk HA dan fault tolerance

Untuk workload AI dan ML tingkat produksi, Anda harus memastikan operasi berkelanjutan dan ketahanan terhadap kegagalan. Untuk menerapkan HA dan toleransi kesalahan, Anda perlu membangun redundansi dan replikasi ke dalam arsitektur di Google Cloud. Pendekatan ini membantu memastikan bahwa kegagalan komponen individual tidak menyebabkan kegagalan sistem secara keseluruhan.

Terapkan redundansi untuk komponen AI dan ML penting di Google Cloud. Berikut adalah contoh produk dan fitur yang memungkinkan Anda menerapkan redundansi resource:

  • Deploy cluster regional GKE di beberapa zona.
  • Pastikan redundansi data untuk set data dan checkpoint menggunakan bucket multi-region atau dual-region Cloud Storage.
  • Gunakan Spanner untuk penyimpanan metadata yang konsisten secara global dan dengan tingkat ketersediaan tinggi.
  • Konfigurasikan replika baca Cloud SQL untuk database operasional.
  • Pastikan database vektor untuk retrieval augmented generation (RAG) memiliki ketersediaan tinggi dan bersifat multi-zona atau multi-region.

Mengelola resource secara proaktif dan mengantisipasi persyaratan

Pengelolaan resource yang efektif penting untuk membantu Anda mengoptimalkan biaya, performa, dan keandalan. Workload AI dan ML bersifat dinamis dan ada permintaan tinggi untuk hardware khusus seperti GPU dan Cloud TPU. Oleh karena itu, Anda harus menerapkan pengelolaan resource yang proaktif dan memastikan ketersediaan resource.

Rencanakan kapasitas berdasarkan data pemantauan historis, seperti tingkat pemanfaatan dan throughput GPU atau Cloud TPU, dari Cloud Monitoring dan log di Cloud Logging. Analisis data telemetri ini menggunakan BigQuery atau Data Studio dan perkirakan permintaan GPU di masa mendatang berdasarkan pertumbuhan atau model baru. Analisis pola dan tren penggunaan resource membantu Anda memprediksi kapan dan di mana Anda memerlukan akselerator khusus yang penting.

  • Validasi estimasi kapasitas melalui pengujian beban yang ketat. Simulasikan traffic pada layanan AI dan ML seperti inferensi dan pipeline menggunakan alat seperti Apache JMeter atau LoadView.
  • Menganalisis perilaku sistem saat mengalami tekanan.
    • Untuk mengantisipasi dan memenuhi peningkatan permintaan workload dalam produksi, identifikasi persyaratan resource secara proaktif. Pantau latensi, throughput, error, dan pemakaian resource, terutama pemakaian GPU dan Cloud TPU. Tingkatkan kuota resource jika perlu.
    • Untuk inferensi AI generatif, uji di bawah beban serentak yang tinggi dan identifikasi tingkat ketersediaan akselerator yang membatasi performa.
  • Lakukan pemantauan berkelanjutan untuk kueri model dan siapkan pemberitahuan proaktif untuk agen.
    • Gunakan dasbor kemampuan observasi model untuk melihat metrik yang dikumpulkan oleh Monitoring, seperti kueri model per detik (QPS), throughput token, dan latensi token pertama.

Mengoptimalkan ketersediaan dan keterjangkauan resource

Optimalkan biaya dan pastikan ketersediaan resource dengan memilih resource komputasi yang sesuai secara strategis berdasarkan persyaratan workload.

  • Untuk inferensi 24x7 yang stabil atau untuk workload pelatihan dengan persyaratan kapasitas tetap atau yang dapat diprediksi, gunakan diskon abonemen (CUD) untuk VM dan akselerator.

  • Untuk node GKE dan VM Compute Engine, gunakan kemampuan Spot VM dan Dynamic Workload Scheduler (DWS):

    • Untuk tugas fault-tolerant seperti workload evaluasi dan eksperimen, gunakan Spot VM. Spot VM dapat di-preempt, tetapi dapat membantu mengurangi biaya keseluruhan Anda.
    • Untuk mengelola risiko preemption bagi akselerator dengan permintaan tinggi, Anda dapat memastikan ketersediaan yang lebih baik dengan menggunakan DWS.
      • Untuk pelatihan batch kompleks yang memerlukan GPU kelas atas untuk berjalan hingga tujuh hari, gunakan mode DWS Flex-Start.
      • Untuk workload yang berjalan lebih lama hingga tiga bulan, gunakan mode Calendar untuk memesan GPU tertentu (H100 dan H200) serta Cloud TPU (Trillium).

  • Untuk mengoptimalkan inferensi AI di GKE, Anda dapat menjalankan mesin vLLM yang secara dinamis menggunakan Cloud TPU dan GPU untuk mengatasi kebutuhan kapasitas dan performa yang berfluktuasi. Untuk mengetahui informasi selengkapnya, lihat Fungibilitas GPU/TPU vLLM.

  • Untuk skenario lanjutan dengan kebutuhan resource dan topologi yang kompleks yang melibatkan akselerator, gunakan alat untuk mengabstraksi pengelolaan resource.

    • Cluster Director memungkinkan Anda men-deploy dan mengelola grup akselerator dengan kolokasi dan penjadwalan untuk pelatihan multi-GPU (A3 Ultra H200 dan A4 B200). Cluster Director mendukung cluster GKE dan Slurm.
    • Ray di Gemini Enterprise Agent Platform mengabstraksi infrastruktur komputasi terdistribusi. Dengan platform ini, aplikasi dapat meminta resource untuk pelatihan dan inferensi tanpa perlu mengelola VM dan container secara langsung.

Mendistribusikan traffic masuk ke beberapa instance

Load balancing yang efektif sangat penting untuk aplikasi AI yang memiliki permintaan yang berfluktuasi. Load balancing mendistribusikan traffic, mengoptimalkan pemanfaatan resource, menyediakan HA dan latensi rendah, serta membantu memastikan pengalaman pengguna yang lancar.

  • Inferensi dengan berbagai kebutuhan resource: Terapkan load balancing berdasarkan metrik model. GKE Inference Gateway memungkinkan Anda men-deploy model di balik load balancer dengan perutean yang mendukung model. Gateway memprioritaskan instance dengan akselerator GPU dan Cloud TPU untuk tugas komputasi intensif seperti AI generatif dan inferensi LLM. Konfigurasikan health check mendetail untuk menilai status model. Gunakan framework inferensi seperti vLLM atau Triton untuk metrik LLM dan integrasikan metrik ke dalam Monitoring menggunakan Google Cloud Managed Service for Prometheus.
  • Workload inferensi yang memerlukan GPU atau Cloud TPU: Untuk memastikan bahwa workload inferensi AI dan ML yang penting berjalan secara konsisten di mesin yang sesuai dengan persyaratan workload, terutama saat ketersediaan GPU dan Cloud TPU terbatas, gunakan class komputasi kustom GKE. Anda dapat menentukan profil komputasi tertentu dengan kebijakan penggantian untuk penskalaan otomatis. Misalnya, Anda dapat menentukan profil yang menentukan prioritas lebih tinggi untuk instance GPU atau Cloud TPU yang direservasi. Profil dapat mencakup penggantian untuk menggunakan Spot VM yang hemat biaya jika resource yang dipesan tidak tersedia untuk sementara.
  • AI generatif di berbagai platform orkestrasi: Gunakan load balancer terpusat. Misalnya, untuk efisiensi biaya dan pengelolaan, Anda dapat mengarahkan permintaan yang memiliki kebutuhan GPU rendah ke Cloud Run dan mengarahkan tugas yang lebih kompleks dan intensif GPU ke GKE. Untuk komunikasi antarlayanan dan pengelolaan kebijakan, terapkan mesh layanan menggunakan Cloud Service Mesh. Pastikan logging dan pemantauan yang konsisten dengan menggunakan Logging dan Monitoring.
  • Distribusi beban global: Untuk menyeimbangkan beban traffic dari pengguna global yang memerlukan latensi rendah, gunakan Load Balancer Aplikasi eksternal global. Mengonfigurasi pemilihan rute geolokasi ke region terdekat dan menerapkan failover. Buat replikasi endpoint regional di Agent Platform atau GKE. Mengonfigurasi Cloud CDN untuk aset statis. Memantau traffic dan latensi global menggunakan Monitoring.
  • Pengelolaan traffic terperinci: Untuk permintaan yang memiliki jenis atau kompleksitas data yang beragam dan permintaan yang berjalan lama, terapkan pengelolaan traffic terperinci.
    • Konfigurasikan pemilihan rute berbasis konten untuk mengarahkan permintaan ke backend khusus berdasarkan atribut seperti jalur URL dan header. Misalnya, mengarahkan permintaan ke backend yang mendukung GPU untuk model gambar atau model video dan ke backend yang dioptimalkan CPU untuk model berbasis teks.
    • Untuk permintaan AI generatif yang berjalan lama atau workload batch, gunakan WebSockets atau gRPC. Terapkan pengelolaan traffic untuk menangani waktu tunggu dan buffering. Konfigurasikan waktu tunggu dan percobaan ulang permintaan serta terapkan pembatasan kapasitas dan kuota menggunakan Gateway API atau Apigee.

Menggunakan arsitektur modular dan yang dikaitkan secara longgar

Dalam arsitektur AI dan ML modular yang dikaitkan secara longgar, sistem yang kompleks dibagi menjadi komponen-komponen yang lebih kecil dan mandiri yang berinteraksi melalui antarmuka yang ditentukan dengan baik. Arsitektur ini meminimalkan dependensi modul, menyederhanakan pengembangan dan pengujian, meningkatkan reproduksibilitas, dan meningkatkan toleransi kesalahan dengan membatasi kegagalan. Pendekatan modular sangat penting untuk mengelola kompleksitas, mempercepat inovasi, dan memastikan pemeliharaan jangka panjang.

Untuk mendesain arsitektur modular dan loosely coupled untuk workload AI dan ML, pertimbangkan rekomendasi berikut.

Mengimplementasikan modul atau komponen mandiri yang kecil

Pisahkan sistem AI dan ML end-to-end Anda menjadi modul atau komponen kecil yang mandiri. Setiap modul atau komponen bertanggung jawab atas fungsi tertentu, seperti penyerapan data, transformasi fitur, pelatihan model, inferensi, atau evaluasi. Desain modular memberikan beberapa manfaat utama untuk sistem AI dan ML: peningkatan kemudahan pemeliharaan, peningkatan skalabilitas, penggunaan kembali, serta fleksibilitas dan ketangkasan yang lebih besar.

Bagian berikut menjelaskan produk, fitur, dan alat Google Cloud yang dapat Anda gunakan untuk mendesain arsitektur modular untuk sistem AI dan ML Anda.

Microservice dalam container di GKE

Untuk sistem AI dan ML yang kompleks atau pipeline AI generatif rumit yang memerlukan orkestrasi mendetail, terapkan modul sebagai microservice yang diorkestrasi menggunakan GKE. Kemas setiap tahap yang berbeda sebagai microservice individual dalam container Docker. Tahapan yang berbeda ini mencakup penyerapan data yang disesuaikan untuk berbagai format, prapemrosesan data khusus atau rekayasa fitur, pelatihan model terdistribusi atau penyesuaian model dasar besar, evaluasi, atau inferensi.

Deploy microservice dalam container di GKE dan manfaatkan penskalaan otomatis berdasarkan pemakaian CPU dan memori atau metrik kustom seperti pemakaian GPU, update berkelanjutan, dan konfigurasi yang dapat direproduksi dalam manifes YAML. Memastikan komunikasi yang efisien antara microservice menggunakan penemuan layanan GKE. Untuk pola asinkron, gunakan antrean pesan seperti Pub/Sub.

Pendekatan microservice di GKE membantu Anda membangun platform yang skalabel dan tangguh untuk tugas-tugas seperti aplikasi RAG yang kompleks, yang tahapannya dapat dirancang sebagai layanan yang berbeda.

Layanan berbasis peristiwa serverless

Untuk tugas berbasis peristiwa yang dapat memanfaatkan penskalaan otomatis serverless, gunakan Cloud Run atau Cloud Run Functions. Layanan ini ideal untuk tugas asinkron seperti pra-pemrosesan atau untuk tugas inferensi yang lebih kecil. Memicu fungsi Cloud Run pada peristiwa, seperti file data baru yang dibuat di Cloud Storage atau update model di Artifact Registry. Untuk tugas atau layanan webhook yang memerlukan lingkungan container, gunakan Cloud Run.

Layanan Cloud Run dan fungsi Cloud Run dapat melakukan penskalaan dengan cepat dan memperkecil skala hingga nol, yang membantu memastikan efisiensi biaya untuk workload yang berfluktuasi. Layanan ini cocok untuk komponen modular dalam alur kerja Percakapan Agen. Anda dapat mengorkestrasi urutan komponen dengan Workflows atau Application Integration.

Layanan terkelola Agent Platform

Layanan Agent Platform mendukung modularitas dan membantu Anda menyederhanakan pengembangan dan deployment sistem AI dan ML Anda. Layanan ini mengabstraksi kompleksitas infrastruktur sehingga Anda dapat berfokus pada logika aplikasi.

  • Untuk mengorkestrasi alur kerja yang dibangun dari langkah-langkah modular, gunakan Gemini Enterprise Agent Platform Pipelines.
  • Untuk menjalankan kode AI dan ML kustom, kemas kode dalam container Docker yang dapat berjalan di layanan terkelola seperti pelatihan kustom Agent Platform dan prediksi Agent Platform.
  • Untuk pipeline rekayasa fitur modular, gunakan Agent Platform Feature Store.
  • Untuk eksplorasi dan pembuatan prototipe modular, gunakan lingkungan notebook seperti Gemini Enterprise Agent Platform Workbench atau Colab Enterprise. Atur kode Anda ke dalam fungsi, class, dan skrip yang dapat digunakan kembali.

Aplikasi agentic

Untuk agen AI, Agent Development Kit (ADK) menyediakan kemampuan modular seperti Alat dan Status. Untuk mengaktifkan interoperabilitas antara framework seperti LangChain, LangGraph, LlamaIndex, dan Agent Platform, Anda dapat menggabungkan ADK dengan protokol Agent2Agent (A2A) dan Model Context Protocol (MCP). Interoperabilitas ini memungkinkan Anda menyusun alur kerja agen menggunakan beragam komponen.

Anda dapat men-deploy agen di Agent Runtime di Gemini Enterprise Agent Platform, yang merupakan runtime terkelola yang dioptimalkan untuk deployment agen yang skalabel. Untuk menjalankan agen dalam container, Anda dapat memanfaatkan kemampuan penskalaan otomatis di Cloud Run.

Mendesain antarmuka yang jelas

Untuk membangun sistem software yang andal dan mudah dikelola, penting untuk memastikan bahwa komponen sistem digabungkan secara longgar dan dimodularisasi. Pendekatan ini menawarkan keuntungan yang signifikan, karena meminimalkan dependensi antara berbagai bagian sistem. Jika modul dikaitkan secara longgar, perubahan pada satu modul hanya akan berdampak minimal pada modul lainnya. Isolasi ini memungkinkan update dan alur kerja pengembangan independen untuk setiap modul.

Bagian berikut memberikan panduan untuk membantu memastikan komunikasi dan integrasi yang lancar antara modul sistem AI dan ML Anda.

Pilihan protokol

  • Untuk akses universal, gunakan HTTP API, patuhi prinsip RESTful, dan gunakan JSON untuk pertukaran data yang tidak bergantung pada bahasa. Desain endpoint API untuk merepresentasikan tindakan pada resource.
  • Untuk komunikasi internal berperforma tinggi di antara microservice, gunakan gRPC dengan Protocol Buffers (Protobuf) untuk serialisasi yang efisien dan pengetikan yang ketat. Tentukan struktur data seperti ModelInput, PredictionResult, atau data Alat ADK menggunakan file .proto, lalu buat binding bahasa.
  • Untuk kasus penggunaan yang mengutamakan performa, manfaatkan streaming gRPC untuk set data besar atau untuk alur berkelanjutan seperti aplikasi text-to-speech atau video live. Men-deploy layanan gRPC di GKE.

Dokumentasi yang terstandar dan komprehensif

Terlepas dari protokol antarmuka yang Anda pilih, dokumentasi yang terstandardisasi sangatlah penting. Spesifikasi OpenAPI menjelaskan RESTful API. Gunakan OpenAPI untuk mendokumentasikan API AI dan ML Anda: jalur, metode, parameter, format permintaan-respons yang ditautkan ke skema JSON, dan keamanan. Dokumentasi API yang komprehensif membantu meningkatkan visibilitas dan integrasi klien. Untuk penulisan dan visualisasi API, gunakan alat UI seperti Swagger Editor. Untuk mempercepat pengembangan dan memastikan konsistensi, Anda dapat membuat SDK klien dan stub server menggunakan alat coding yang dibantu AI seperti Gemini Code Assist. Mengintegrasikan dokumentasi OpenAPI ke dalam alur CI/CD Anda.

Interaksi dengan layanan terkelola Google Cloud seperti Agent Platform

Pilih antara abstraksi yang lebih tinggi dari Agent Platform SDK, yang lebih disukai untuk produktivitas pengembangan, dan kontrol terperinci yang disediakan REST API.

  • SDK Agent Platform menyederhanakan tugas dan autentikasi. Gunakan SDK saat Anda perlu berinteraksi dengan Agent Platform.
  • REST API adalah alternatif yang efektif, terutama saat interoperabilitas diperlukan antara lapisan sistem Anda. Hal ini berguna untuk alat dalam bahasa yang tidak memiliki SDK atau saat Anda memerlukan kontrol yang mendetail.

Menggunakan API untuk mengisolasi modul dan mengabstraksi detail implementasi

Demi keamanan, skalabilitas, dan visibilitas, Anda harus menerapkan pengelolaan API yang andal untuk layanan AI dan ML Anda. Untuk menerapkan pengelolaan API bagi antarmuka yang Anda tentukan, gunakan produk berikut:

  • Gateway API: Untuk API yang diekspos dan dikelola secara eksternal, Gateway API menyediakan titik entri yang terpusat dan aman. Alat ini menyederhanakan akses ke layanan backend serverless, seperti API prediksi, pelatihan, dan data. Gateway API membantu menggabungkan titik akses, menerapkan kontrak API, dan mengelola kemampuan keamanan seperti kunci API dan OAuth 2.0. Untuk melindungi backend dari kelebihan beban dan memastikan keandalan, terapkan pembatasan kapasitas dan kuota penggunaan di Gateway API.
  • Cloud Endpoints: Untuk menyederhanakan pengembangan dan deployment API di GKE dan Cloud Run, gunakan Endpoints, yang menawarkan solusi yang mudah digunakan developer untuk membuat kunci API. Framework ini juga menyediakan pemantauan dan pelacakan terintegrasi untuk panggilan API serta mengotomatiskan pembuatan spesifikasi OpenAPI, yang menyederhanakan dokumentasi dan integrasi klien. Anda dapat menggunakan Endpoint untuk mengelola akses ke API AI dan ML internal atau terkontrol, seperti untuk memicu pelatihan dan mengelola feature store.
  • Apigee: Untuk AI dan ML skala perusahaan, terutama API AI generatif yang canggih, Apigee menyediakan pengelolaan API yang canggih dan komprehensif. Gunakan Apigee untuk keamanan tingkat lanjut seperti perlindungan terhadap ancaman dan OAuth 2.0, untuk pengelolaan traffic seperti caching, kuota, dan mediasi, serta untuk analisis. Apigee dapat membantu Anda mendapatkan insight mendalam tentang pola penggunaan, performa, dan engagement API, yang sangat penting untuk memahami penggunaan API AI generatif.

Merencanakan degradasi halus

Dalam sistem AI dan ML produksi, kegagalan komponen tidak dapat dihindari, sama seperti dalam sistem lainnya. Degradasi halus memastikan fungsi penting terus beroperasi, meskipun mungkin dengan performa yang berkurang. Pendekatan ini mencegah pemadaman total dan meningkatkan ketersediaan secara keseluruhan. Degradasi halus sangat penting untuk inferensi yang sensitif terhadap latensi, pelatihan terdistribusi, dan AI generatif.

Bagian berikut menjelaskan teknik yang Anda gunakan untuk merencanakan dan menerapkan degradasi halus.

Isolasi kesalahan

  • Untuk mengisolasi komponen yang rusak dalam arsitektur terdistribusi, terapkan pola circuit breaker menggunakan library ketahanan, seperti Resilience4j di Java dan CircuitBreaker di Python.
  • Untuk mencegah kegagalan beruntun, konfigurasikan nilai minimum berdasarkan metrik workload AI dan ML seperti tingkat error dan latensi, serta tentukan penggantian seperti model yang lebih sederhana dan data yang di-cache.

Redundansi komponen

Untuk komponen penting, terapkan redundansi dan failover otomatis. Misalnya, gunakan cluster multi-zona atau cluster regional GKE dan deploy layanan Cloud Run secara redundan di berbagai region. Untuk merutekan traffic ke instance yang responsif saat instance yang tidak responsif terdeteksi, gunakan Cloud Load Balancing.

Memastikan redundansi data dengan menggunakan bucket multi-regional Cloud Storage. Untuk pelatihan terdistribusi, terapkan checkpointing asinkron untuk melanjutkan setelah terjadi kegagalan. Untuk pelatihan yang tangguh dan elastis, gunakan Pathways.

Pemantauan proaktif

Degradasi halus membantu memastikan ketersediaan sistem selama kegagalan, tetapi Anda juga harus menerapkan tindakan proaktif untuk health check berkelanjutan dan pemantauan yang komprehensif. Kumpulkan metrik yang khusus untuk AI dan ML, seperti latensi, throughput, dan pemakaian GPU. Selain itu, kumpulkan metrik penurunan performa model seperti penyimpangan model dan data menggunakan Monitoring dan Model Monitoring di Gemini Enterprise Agent Platform.

Health check dapat memicu kebutuhan untuk mengganti node yang rusak, men-deploy lebih banyak kapasitas, atau secara otomatis memicu pelatihan ulang atau penyesuaian berkelanjutan pada pipeline yang menggunakan data terbaru. Pendekatan proaktif ini membantu mencegah degradasi berbasis akurasi dan degradasi halus tingkat sistem, serta membantu meningkatkan keandalan secara keseluruhan.

Praktik SRE

Untuk memantau kondisi sistem Anda, pertimbangkan untuk menerapkan praktik SRE guna menerapkan tujuan tingkat layanan (SLO). Notifikasi tentang hilangnya anggaran error dan laju pengeluaran dapat menjadi indikator awal masalah keandalan sistem. Untuk mengetahui informasi selengkapnya tentang praktik SRE, lihat buku SRE Google.

Membangun platform MLOps end-to-end otomatis

Sistem AI dan ML yang tangguh, skalabel, dan andal di Google Cloud memerlukan platform MLOps end-to-end otomatis untuk siklus proses pengembangan model. Siklus proses pengembangan mencakup penanganan data awal, pelatihan model berkelanjutan, deployment, dan pemantauan dalam produksi. Dengan mengotomatiskan tahap-tahap ini di Google Cloud, Anda akan membuat proses yang dapat diulang, mengurangi toil manual, meminimalkan error, dan mempercepat laju inovasi.

Platform MLOps otomatis sangat penting untuk membangun keandalan tingkat produksi untuk aplikasi Anda. Otomatisasi membantu memastikan kualitas model, menjamin reproduksibilitas, serta memungkinkan continuous integration dan continuous delivery artefak AI dan ML.

Untuk membangun platform MLOps end-to-end otomatis, pertimbangkan rekomendasi berikut.

Mengotomatiskan siklus proses pengembangan model

Elemen inti dari platform MLOps otomatis adalah orkestrasi seluruh alur kerja AI dan ML sebagai serangkaian langkah yang terhubung dan otomatis: mulai dari persiapan dan validasi data hingga pelatihan, evaluasi, deployment, dan pemantauan model.

  • Gunakan Agent Platform Pipelines sebagai orchestrator pusat Anda:
    • Tentukan alur kerja end-to-end dengan komponen modular untuk pemrosesan, pelatihan, evaluasi, dan deployment data.
    • Otomatiskan operasi pipeline menggunakan jadwal atau pemicu seperti data baru atau perubahan kode.
    • Menerapkan parameterisasi dan pembuatan versi otomatis untuk setiap eksekusi pipeline dan membuat histori versi.
    • Pantau progres pipeline dan penggunaan resource menggunakan logging dan pelacakan bawaan, serta integrasikan dengan pemberitahuan Monitoring.
  • Tentukan pipeline ML Anda secara terprogram menggunakan Kubeflow Pipelines (KFP) SDK atau TensorFlow Extended SDK. Untuk mengetahui informasi selengkapnya, lihat Antarmuka untuk Pipeline Platform Agen.
  • Mengorkestrasi operasi menggunakan layanan Google Cloud seperti Dataflow, pelatihan kustom Agent Platform, Model Registry di Gemini Enterprise Agent Platform, dan endpoint Agent Platform.
  • Untuk alur kerja AI generatif, atur langkah-langkah untuk pengelolaan perintah, inferensi batch, evaluasi human-in-the-loop (HITL), dan koordinasi komponen ADK.

Mengelola infrastructure as code (IaC)

Infrastructure as code (IaC) sangat penting untuk mengelola infrastruktur sistem AI dan ML serta untuk memungkinkan deployment yang dapat direproduksi, diskalakan, dan dipelihara. Kebutuhan infrastruktur sistem AI dan ML bersifat dinamis dan kompleks. Sistem ini sering kali memerlukan hardware khusus seperti GPU dan Cloud TPU. IaC membantu mengurangi risiko pengelolaan infrastruktur manual dengan memastikan konsistensi, memungkinkan rollback, dan membuat deployment dapat diulang.

Untuk mengelola resource infrastruktur Anda secara efektif sebagai kode, gunakan teknik berikut.

Mengotomatiskan penyediaan resource

Untuk mengelola IaC secara efektif di Google Cloud, tentukan dan sediakan resource infrastruktur AI dan ML Anda menggunakan Terraform. Infrastruktur ini mungkin mencakup resource seperti berikut:

  • Cluster GKE yang dikonfigurasi dengan node pool. Node pool dapat dioptimalkan berdasarkan persyaratan workload. Misalnya, Anda dapat menggunakan GPU A100, H100, H200, atau B200 untuk pelatihan, dan menggunakan GPU L4 untuk inferensi.
  • Endpoint Agent Platform yang dikonfigurasi untuk penyajian model, dengan jenis mesin dan kebijakan penskalaan yang ditentukan.
  • Bucket Cloud Storage untuk data dan artefak.

Menggunakan template konfigurasi

Atur konfigurasi Terraform Anda sebagai template modular. Untuk mempercepat penyediaan resource AI dan ML, Anda dapat menggunakan Cluster Toolkit. Toolkit ini menyediakan contoh blueprint, yang merupakan template Terraform yang dikurasi Google dan dapat Anda gunakan untuk men-deploy cluster HPC, AI, dan ML siap pakai di Slurm atau GKE. Anda dapat menyesuaikan kode Terraform dan mengelolanya di sistem kontrol versi Anda. Untuk mengotomatiskan penyediaan resource dan alur kerja update, Anda dapat mengintegrasikan kode ke dalam pipeline CI/CD menggunakan Cloud Build.

Mengotomatiskan perubahan konfigurasi

Setelah menyediakan infrastruktur, kelola perubahan konfigurasi yang sedang berlangsung secara deklaratif:

  • Di lingkungan yang berfokus pada Kubernetes, kelola resource Google Cloud Anda sebagai objek Kubernetes menggunakan Config Connector.
  • Menentukan dan mengelola resource Agent Platform seperti set data, model, dan endpoint, instance Cloud SQL, topik Pub/Sub, dan bucket Cloud Storage menggunakan manifes YAML.
  • Deploy manifes ke cluster GKE Anda untuk mengintegrasikan konfigurasi aplikasi dan infrastruktur.
  • Otomatiskan update konfigurasi menggunakan pipeline CI/CD dan gunakan template untuk menangani perbedaan lingkungan.
  • Menerapkan konfigurasi untuk kebijakan Identity and Access Management (IAM) dan akun layanan menggunakan IaC.

Mengintegrasikan dengan CI/CD

  • Otomatiskan siklus proses resource infrastruktur Google Cloud dengan mengintegrasikan IaC ke dalam pipeline CI/CD menggunakan alat seperti Cloud Build dan Infrastructure Manager.
  • Menentukan pemicu untuk update otomatis pada commit kode.
  • Menerapkan pengujian dan validasi otomatis dalam pipeline. Misalnya, Anda dapat membuat skrip untuk menjalankan perintah validate dan plan Terraform secara otomatis.
  • Simpan konfigurasi sebagai artefak dan aktifkan pembuatan versi.
  • Tentukan lingkungan terpisah, seperti dev, staging, dan prod, dengan konfigurasi yang berbeda dalam kontrol versi dan otomatiskan promosi lingkungan.

Memvalidasi perilaku model

Untuk mempertahankan akurasi dan relevansi model dari waktu ke waktu, otomatiskan proses pelatihan dan evaluasi dalam platform MLOps Anda. Otomatisasi ini, ditambah dengan validasi yang ketat, membantu memastikan bahwa model berperilaku seperti yang diharapkan dengan data yang relevan sebelum di-deploy ke produksi.

  • Siapkan pipeline pelatihan berkelanjutan, yang dipicu oleh data baru dan sinyal pemantauan seperti penyimpangan data atau yang berjalan sesuai jadwal.
    • Untuk mengelola tugas pelatihan otomatis, seperti uji coba penyesuaian hyperparameter dan konfigurasi pelatihan terdistribusi untuk model yang lebih besar, gunakan pelatihan kustom Agent Platform.
    • Untuk penyesuaian model dasar, otomatiskan proses penyesuaian dan integrasikan tugas ke dalam pipeline Anda.
  • Menerapkan pembuatan versi model otomatis dan menyimpan artefak model terlatih dengan aman setelah setiap pelatihan berhasil dijalankan. Anda dapat menyimpan artefak di Cloud Storage atau mendaftarkannya di Model Registry.
  • Tentukan metrik evaluasi dan tetapkan nilai minimum yang jelas, seperti akurasi minimum, tingkat error maksimum, dan skor F1 minimum.
    • Pastikan model memenuhi nilai minimum untuk otomatis lulus evaluasi dan dipertimbangkan untuk deployment.
    • Otomatiskan evaluasi menggunakan layanan seperti evaluasi model di Agent Platform.
    • Pastikan evaluasi menyertakan metrik yang spesifik untuk kualitas output yang dihasilkan, akurasi faktual, atribut keamanan, dan kepatuhan terhadap gaya atau format yang ditentukan.
  • Untuk otomatis mencatat dan melacak parameter, versi kode, versi set data, serta hasil dari setiap operasi pelatihan dan evaluasi, gunakan Experiments di Gemini Enterprise Agent Platform. Pendekatan ini memberikan histori yang berguna untuk perbandingan, proses debug, dan reproduksibilitas.
  • Untuk mengoptimalkan penyesuaian hyperparameter dan mengotomatiskan penelusuran konfigurasi model yang optimal berdasarkan tujuan yang Anda tentukan, gunakan Agent Platform Vizier.
  • Untuk memvisualisasikan metrik pelatihan dan melakukan debug selama pengembangan, gunakan TensorBoard Agent Platform.

Memvalidasi input dan output pipeline AI dan ML

Untuk memastikan keandalan dan integritas sistem AI dan ML, Anda harus memvalidasi data saat data tersebut masuk ke sistem dan berpindah melalui pipeline. Anda juga harus memverifikasi input dan output pada batas komponen. Validasi yang kuat terhadap semua input dan output—data mentah, data yang diproses, konfigurasi, argumen, dan file—membantu mencegah perilaku yang tidak terduga dan menjaga kualitas model di seluruh siklus proses MLOps. Saat Anda mengintegrasikan pendekatan proaktif ini ke dalam platform MLOps, pendekatan ini membantu mendeteksi error sebelum disebarkan ke seluruh sistem dan menghemat waktu serta resource.

Untuk memvalidasi input dan output pipeline AI dan ML Anda secara efektif, gunakan teknik berikut.

Mengotomatiskan validasi data

  • Terapkan validasi data otomatis dalam pipeline penyerapan dan pra-pemrosesan data Anda menggunakan TensorFlow Data Validation (TFDV).
    • Untuk pemeriksaan kualitas data berbasis SQL berskala besar, manfaatkan layanan pemrosesan yang skalabel seperti BigQuery.
    • Untuk validasi terprogram yang kompleks pada data streaming atau batch, gunakan Dataflow.
  • Memantau distribusi data dari waktu ke waktu dengan kemampuan TFDV.
    • Visualisasikan tren menggunakan alat yang terintegrasi dengan Monitoring untuk mendeteksi pergeseran data. Anda dapat otomatis memicu pipeline pelatihan ulang model saat pola data berubah secara signifikan.
  • Simpan hasil dan metrik validasi di BigQuery untuk analisis dan pelacakan historis, serta arsipkan artefak validasi di Cloud Storage.

Memvalidasi konfigurasi pipeline dan data input

Untuk mencegah kegagalan pipeline atau perilaku tidak terduga yang disebabkan oleh setelan yang salah, terapkan validasi ketat untuk semua konfigurasi pipeline dan argumen command line:

  • Tentukan skema yang jelas untuk file konfigurasi Anda seperti YAML atau JSON menggunakan library validasi skema seperti jsonschema untuk Python. Validasi objek konfigurasi terhadap skema ini sebelum pipeline dijalankan dan sebelum komponen dieksekusi.
  • Terapkan validasi input untuk semua argumen command line dan parameter pipeline menggunakan library penguraian argumen seperti argparse. Validasi harus memeriksa jenis data yang benar, nilai yang valid, dan argumen yang diperlukan.
  • Dalam Agent Platform Pipelines, tentukan jenis dan properti parameter komponen yang diharapkan menggunakan fitur validasi input komponen bawaan.
  • Untuk memastikan reproduksibilitas operasi pipeline dan mempertahankan jejak audit, simpan file konfigurasi yang divalidasi dan diberi versi di Cloud Storage atau Artifact Registry.

Memvalidasi file input dan output

Validasi file input dan output seperti set data, artefak model, dan laporan evaluasi untuk integritas dan kebenaran format:

  • Validasi format file seperti CSV, Parquet, dan jenis gambar menggunakan library.
  • Untuk file besar atau artefak penting, validasi ukuran file dan checksum untuk mendeteksi kerusakan atau transfer yang tidak lengkap menggunakan validasi data dan deteksi perubahan Cloud Storage.
  • Lakukan validasi file menggunakan Cloud Run Functions (misalnya, berdasarkan peristiwa upload file) atau dalam pipeline Dataflow.
  • Simpan hasil validasi di BigQuery agar lebih mudah diambil dan dianalisis.

Mengotomatiskan deployment dan menerapkan pemantauan berkelanjutan

Deployment otomatis dan pemantauan berkelanjutan terhadap model dalam produksi membantu memastikan keandalan, melakukan update cepat, dan mendeteksi masalah dengan segera. Hal ini melibatkan pengelolaan versi model, deployment terkontrol, deployment otomatis menggunakan CI/CD, dan pemantauan komprehensif seperti yang dijelaskan di bagian berikut.

Mengelola versi model

Kelola iterasi model dan artefak terkait menggunakan alat pembuatan versi:

  • Untuk melacak versi model dan metadata serta menautkan ke artefak model yang mendasarinya, gunakan Model Registry.
  • Terapkan skema pembuatan versi yang jelas (seperti, pembuatan versi semantik). Untuk setiap versi model, lampirkan metadata yang komprehensif seperti parameter pelatihan, metrik evaluasi dari pipeline validasi, dan versi set data.
  • Simpan artefak model seperti file model, bobot terlatih, dan image container inferensi di Artifact Registry, serta gunakan fitur pembuatan versi dan pemberian tagnya.
  • Untuk memenuhi persyaratan keamanan dan tata kelola, tentukan kebijakan kontrol akses yang ketat untuk Model Registry dan Artifact Registry.
  • Untuk mendaftarkan dan mengelola versi secara terprogram serta mengintegrasikan versi ke dalam pipeline CI/CD otomatis, gunakan SDK atau API Agent Platform.

Melakukan deployment terkontrol

Kontrol deployment versi model ke endpoint menggunakan kemampuan pengelolaan traffic platform inferensi Anda.

  • Terapkan deployment berkelanjutan menggunakan fitur pemisahan traffic endpoint Agent Platform.
  • Jika Anda men-deploy model ke GKE, gunakan teknik pengelolaan traffic lanjutan seperti deployment canary:
    1. Merutekan sebagian kecil traffic produksi ke versi model baru.
    2. Terus pantau performa dan rasio error melalui metrik.
    3. Pastikan model dapat diandalkan.
    4. Meluncurkan versi ke semua traffic.
  • Lakukan pengujian A/B agen AI:
    1. Men-deploy dua versi agen model yang berbeda atau model yang sama sekali berbeda ke endpoint yang sama.
    2. Membagi traffic di seluruh deployment.
    3. Menganalisis hasil berdasarkan tujuan bisnis.
  • Terapkan mekanisme rollback otomatis yang dapat dengan cepat mengembalikan traffic endpoint ke versi model stabil sebelumnya jika pemberitahuan pemantauan dipicu atau nilai minimum performa tidak terpenuhi.
  • Konfigurasikan setelan pemisahan traffic dan deployment secara terprogram menggunakan SDK atau API Agent Platform.
  • Gunakan Monitoring untuk melacak performa dan traffic di berbagai versi.
  • Mengotomatiskan deployment dengan pipeline CI/CD. Anda dapat menggunakan Cloud Build untuk membangun container, membuat versi artefak, dan memicu deployment ke endpoint Agent Platform.
  • Pastikan pipeline CI/CD mengelola versi dan mengambil dari Artifact Registry.
  • Sebelum mengalihkan traffic, lakukan pengujian endpoint otomatis untuk ketepatan prediksi, latensi, throughput, dan fungsi API.
  • Simpan semua konfigurasi dalam kontrol versi.

Memantau secara berkelanjutan

  • Gunakan Model Monitoring di Agent Platform untuk otomatis mendeteksi penurunan performa, penyimpangan data (perubahan distribusi input dibandingkan dengan pelatihan), dan penyimpangan prediksi (perubahan output model).
    • Mengonfigurasi tugas deteksi penyimpangan dengan nilai minimum dan pemberitahuan.
    • Memantau performa real-time: latensi prediksi, throughput, tingkat error.
  • Tentukan metrik kustom di Monitoring untuk KPI bisnis.
  • Integrasikan hasil Pemantauan Model di Agent Platform dan metrik kustom dengan Monitoring untuk pemberitahuan dan dasbor.
  • Konfigurasikan saluran notifikasi seperti email, Slack, atau PagerDuty dan konfigurasikan perbaikan otomatis.
  • Untuk men-debug log prediksi, gunakan Logging.
  • Mengintegrasikan pemantauan dengan pengelolaan insiden.

Untuk endpoint AI generatif, pantau karakteristik output seperti toksisitas dan koherensi:

  • Memantau penyajian fitur untuk mendeteksi penyimpangan.
  • Terapkan validasi prediksi terperinci: validasi output terhadap rentang dan format yang diharapkan menggunakan logika kustom.
  • Memantau distribusi prediksi untuk mengetahui adanya pergeseran.
  • Memvalidasi skema output.
  • Mengonfigurasi pemberitahuan untuk output dan pergeseran yang tidak terduga.
  • Lacak dan respons peristiwa validasi real-time menggunakan Pub/Sub.

Pastikan output pemantauan komprehensif dimasukkan kembali ke pelatihan berkelanjutan.

Mempertahankan kepercayaan dan kontrol melalui tata kelola data dan model

Keandalan AI dan ML tidak hanya mencakup waktu beroperasi teknis. Hal ini mencakup kepercayaan serta tata kelola data dan model yang kuat. Output AI mungkin tidak akurat, bias, atau usang. Masalah tersebut mengikis kepercayaan dan dapat menimbulkan bahaya. Kemudahan pelacakan yang komprehensif, kontrol akses yang kuat, validasi otomatis, dan praktik yang transparan membantu memastikan bahwa output AI dapat diandalkan, tepercaya, dan memenuhi standar etika.

Untuk mempertahankan kepercayaan dan kontrol melalui tata kelola data dan model, pertimbangkan rekomendasi berikut.

Membuat katalog data dan model untuk keterlacakan

Untuk memfasilitasi pelacakan, audit, dan pemahaman yang komprehensif tentang silsilah aset AI dan ML Anda, pertahankan catatan data dan versi model yang kuat dan terpusat di sepanjang siklus prosesnya. Katalog data dan model yang andal berfungsi sebagai satu sumber tepercaya untuk semua artefak yang digunakan dan dihasilkan oleh pipeline AI dan ML Anda–mulai dari sumber data mentah dan set data yang diproses hingga versi model terlatih dan endpoint yang di-deploy.

Gunakan produk, alat, dan teknik berikut untuk membuat dan mengelola katalog aset data Anda:

  • Bangun katalog aset data di seluruh perusahaan menggunakan Knowledge Catalog. Untuk menemukan dan membuat inventaris aset data secara otomatis, integrasikan Knowledge Catalog dengan sistem penyimpanan Anda, seperti BigQuery, Cloud Storage, dan Pub/Sub.
  • Pastikan data Anda dengan tingkat ketersediaan tinggi dan tahan lama dengan menyimpannya di Cloud Storage bucket multi-region atau dual-region. Data yang Anda upload ke bucket ini disimpan secara redundan di setidaknya dua lokasi geografis yang terpisah. Redundansi ini memberikan ketahanan bawaan terhadap pemadaman layanan regional dan membantu memastikan integritas data.
  • Beri tag dan anotasi pada set data Anda dengan metadata bisnis yang relevan, informasi kepemilikan, tingkat sensitivitas, dan detail silsilah. Misalnya, tautkan set data yang diproses ke sumber mentahnya dan ke pipeline yang membuat set data tersebut.
  • Buat repositori pusat untuk versi model menggunakan Model Registry. Daftarkan setiap versi model terlatih dan tautkan ke metadata terkait. Metadata dapat mencakup hal berikut:
    • Parameter pelatihan.
    • Metrik evaluasi dari pipeline validasi.
    • Versi set data yang digunakan untuk pelatihan, dengan silsilah yang ditelusuri kembali ke entri Knowledge Catalog yang relevan.
    • Versi kode yang menghasilkan set data.
    • Detail tentang framework atau model dasar yang digunakan.
  • Sebelum mengimpor model ke Model Registry, simpan artefak model seperti file model dan bobot terlatih di layanan seperti Cloud Storage. Simpan image container kustom untuk inferensi atau tugas pelatihan kustom di repositori yang aman seperti Artifact Registry.
  • Untuk memastikan bahwa aset data dan model otomatis didaftarkan dan diperbarui dalam katalog masing-masing setelah pembuatan atau modifikasi, terapkan proses otomatis dalam pipeline MLOps Anda. Katalogisasi yang komprehensif ini memberikan keterlacakan menyeluruh dari data mentah hingga prediksi, sehingga Anda dapat mengaudit input dan proses yang menghasilkan versi model atau prediksi tertentu. Kemampuan audit sangat penting untuk men-debug perilaku yang tidak terduga, memastikan kepatuhan terhadap kebijakan penggunaan data, dan memahami dampak perubahan data atau model dari waktu ke waktu.
  • Untuk AI Generatif dan model dasar, katalog Anda juga harus melacak detail tentang model dasar spesifik yang digunakan, parameter fine-tuning, dan hasil evaluasi yang spesifik untuk kualitas dan keamanan output yang dihasilkan.

Menerapkan kontrol akses dan jejak audit yang kuat

Untuk mempertahankan kepercayaan dan kontrol dalam sistem AI dan ML, Anda harus melindungi data dan model sensitif dari akses yang tidak sah dan memastikan akuntabilitas untuk semua perubahan.

  • Terapkan kontrol akses yang ketat dan pertahankan jejak audit yang mendetail di semua komponen sistem AI dan ML Anda di Google Cloud.
  • Tentukan izin terperinci di IAM untuk pengguna, grup, dan akun layanan yang berinteraksi dengan resource AI dan ML Anda.
  • Ikuti prinsip hak istimewa terendah dengan ketat.
  • Hanya berikan izin minimum yang diperlukan untuk tugas tertentu. Misalnya, akun layanan pelatihan memerlukan akses baca ke data pelatihan dan akses tulis untuk artefak model, tetapi layanan tersebut mungkin tidak memerlukan akses tulis ke endpoint inferensi produksi.

Terapkan kebijakan IAM secara konsisten di semua aset dan resource yang relevan dalam sistem AI dan ML Anda, termasuk hal berikut:

  • Bucket Cloud Storage yang berisi data sensitif atau artefak model.
  • Set data BigQuery.
  • Resource Agent Platform, seperti repositori model, endpoint, pipeline, dan resource Feature Store.
  • Resource komputasi, seperti cluster GKE dan layanan Cloud Run.

Gunakan audit dan log untuk mencatat, memantau, dan menganalisis aktivitas akses:

  • Aktifkan Cloud Audit Logs untuk semua layanan Google Cloud yang digunakan oleh sistem AI dan ML Anda.
  • Konfigurasikan log audit untuk mencatat informasi mendetail tentang panggilan API, peristiwa akses data, dan perubahan konfigurasi yang dilakukan pada resource Anda. Pantau log untuk aktivitas mencurigakan, upaya akses tidak sah, atau modifikasi yang tidak terduga pada data penting atau aset model.
  • Untuk analisis, pemberitahuan, dan visualisasi real-time, lakukan streaming log audit ke Logging.
  • Untuk penyimpanan jangka panjang yang hemat biaya dan analisis keamanan retrospektif atau audit kepatuhan, ekspor log ke BigQuery.
  • Untuk pemantauan keamanan terpusat, integrasikan log audit dengan sistem informasi keamanan dan manajemen peristiwa (SIEM) Anda. Tinjau kebijakan akses dan jejak audit secara rutin untuk memastikan kebijakan tersebut sesuai dengan persyaratan tata kelola Anda dan mendeteksi potensi pelanggaran kebijakan.
  • Untuk aplikasi yang menangani data sensitif, seperti informasi identitas pribadi (PII) untuk pelatihan atau inferensi, gunakan pemeriksaan Sensitive Data Protection dalam pipeline atau pada penyimpanan data.
  • Untuk solusi AI generatif dan agen, gunakan jejak audit untuk membantu melacak siapa yang mengakses model atau alat tertentu, data apa yang digunakan untuk fine-tuning atau pembuatan perintah, dan kueri apa yang dikirim ke endpoint produksi. Jejak audit membantu Anda memastikan akuntabilitas dan memberikan data penting untuk menyelidiki penyalahgunaan data atau pelanggaran kebijakan.

Mengatasi bias, transparansi, dan kemampuan penjelasan

Untuk membangun sistem AI dan ML yang tepercaya, Anda perlu mengatasi potensi bias yang melekat pada data dan model, mengupayakan transparansi dalam perilaku sistem, dan memberikan keterjelasan untuk output model. Sangat penting untuk membangun sistem yang tepercaya dalam domain sensitif atau saat Anda menggunakan model yang kompleks seperti yang biasanya digunakan untuk aplikasi AI generatif.

  • Menerapkan praktik proaktif untuk mengidentifikasi dan memitigasi bias di seluruh siklus proses MLOps.
  • Analisis data pelatihan untuk menemukan bias menggunakan alat yang mendeteksi kecondongan dalam distribusi fitur di berbagai kelompok demografis atau atribut sensitif.
  • Evaluasi performa model secara keseluruhan dan performa di seluruh slice data yang telah ditentukan. Evaluasi tersebut membantu Anda mengidentifikasi performa yang berbeda atau bias yang memengaruhi subgrup tertentu.

Untuk transparansi dan penjelasan model, gunakan alat yang membantu pengguna dan developer memahami alasan model membuat prediksi tertentu atau menghasilkan output tertentu.

  • Untuk model tabulasi yang di-deploy di endpoint Agent Platform, buat atribusi fitur, yang menunjukkan fitur input yang paling berkontribusi terhadap prediksi.
  • Jelajahi perilaku model dan potensi bias pada set data secara interaktif menggunakan alat yang tidak bergantung model seperti What-If Tool, yang terintegrasi dengan TensorBoard.
  • Mengintegrasikan penjelasan ke dalam dasbor pemantauan Anda. Dalam situasi ketika pemahaman tentang penalaran model penting untuk kepercayaan atau pengambilan keputusan, berikan data penjelasan langsung kepada pengguna akhir melalui antarmuka aplikasi Anda.
  • Untuk model kompleks seperti LLM yang digunakan untuk model AI generatif, jelaskan proses yang diikuti agen, misalnya dengan menggunakan log rekaman aktivitas. Keterjelasan relatif sulit untuk model semacam itu, tetapi masih penting.
  • Dalam aplikasi RAG, berikan kutipan untuk informasi yang diambil. Anda juga dapat menggunakan teknik seperti rekayasa perintah untuk memandu model agar memberikan penjelasan atau menunjukkan langkah-langkah penalarannya.
  • Deteksi perubahan dalam perilaku atau output model yang mungkin mengindikasikan munculnya bias atau ketidakadilan dengan menerapkan pemantauan berkelanjutan dalam produksi. Dokumentasikan batasan model, kasus penggunaan yang dimaksudkan, dan potensi bias yang diketahui sebagai bagian dari metadata model di Model Registry.

Menerapkan praktik kemampuan observasi dan keandalan AI dan ML yang holistik

Kemampuan observasi yang menyeluruh sangat penting untuk mengelola sistem AI dan ML yang kompleks dalam produksi. Observabilitas juga penting untuk mengukur keandalan sistem AI dan ML yang kompleks, terutama untuk AI generatif, karena kompleksitasnya, intensitas resource, dan potensi output yang tidak dapat diprediksi. Kemampuan observasi holistik melibatkan pengamatan infrastruktur, kode aplikasi, data, dan perilaku model untuk mendapatkan insight guna mendeteksi, mendiagnosis, dan merespons masalah secara proaktif. Kemampuan observasi ini pada akhirnya menghasilkan sistem yang andal dan berperforma tinggi. Untuk mencapai kemampuan observasi yang menyeluruh, Anda perlu melakukan hal berikut:

  • Mengadopsi prinsip SRE.
  • Tentukan sasaran keandalan yang jelas.
  • Lacak metrik di seluruh lapisan sistem.
  • Gunakan insight dari kemampuan observasi untuk peningkatan berkelanjutan dan pengelolaan proaktif.

Untuk menerapkan praktik kemampuan observasi dan keandalan yang menyeluruh untuk workload AI dan ML di Google Cloud, pertimbangkan rekomendasi berikut.

Menetapkan sasaran keandalan dan metrik bisnis

Identifikasi indikator performa utama (KPI) yang dipengaruhi langsung oleh sistem AI dan ML Anda. KPI dapat mencakup pendapatan yang dipengaruhi oleh rekomendasi AI, churn pelanggan yang diprediksi atau dimitigasi oleh sistem AI, serta engagement pengguna dan rasio konversi yang didorong oleh fitur AI generatif.

Untuk setiap KPI, tentukan metrik keandalan teknis terkait yang memengaruhi KPI. Misalnya, jika KPI-nya adalah "kepuasan pelanggan terhadap asisten AI percakapan", metrik keandalan yang sesuai dapat mencakup hal berikut:

  • Rasio keberhasilan permintaan pengguna.
  • Latensi respons: waktu hingga token pertama (TTFT) dan streaming token untuk LLM.
  • Tingkat respons yang tidak relevan atau berbahaya.
  • Tingkat keberhasilan penyelesaian tugas oleh agen.

Untuk pelatihan AI dan ML, metrik keandalan dapat mencakup pemanfaatan FLOPS model (MFU), iterasi per detik, token per detik, dan token per perangkat.

Untuk mengukur dan meningkatkan keandalan AI dan ML secara efektif, mulailah dengan menetapkan sasaran keandalan yang jelas dan selaras dengan tujuan bisnis secara keseluruhan. Terapkan pendekatan SRE dengan menentukan SLO yang mengukur tingkat keandalan dan performa yang dapat diterima untuk layanan AI dan ML Anda dari perspektif pengguna. Hitung metrik keandalan teknis ini dengan target SLO tertentu.

Berikut adalah contoh target SLO:

  • 99,9% panggilan API harus menampilkan respons yang berhasil.
  • Latensi inferensi persentil ke-95 harus di bawah 300 md.
  • TTFT harus di bawah 500 md untuk 99% permintaan.
  • Tingkat output berbahaya harus di bawah 0,1%.

Menyelaraskan SLO secara langsung dengan kebutuhan bisnis memastikan bahwa upaya keandalan difokuskan pada perilaku sistem paling penting yang memengaruhi pengguna dan bisnis. Pendekatan ini membantu mengubah keandalan menjadi properti engineering yang dapat diukur dan ditindaklanjuti.

Memantau performa infrastruktur dan aplikasi

Lacak metrik infrastruktur di semua resource yang digunakan oleh sistem AI dan ML Anda. Metrik ini mencakup penggunaan prosesor (CPU, GPU, dan Cloud TPU), penggunaan memori, throughput dan latensi jaringan, serta I/O disk. Lacak metrik untuk lingkungan terkelola seperti pelatihan dan penyajian Agent Platform serta untuk resource yang dikelola sendiri seperti node GKE dan instance Cloud Run.

Pantau empat sinyal emas untuk aplikasi AI dan ML Anda:

  • Latensi: Waktu untuk merespons permintaan.
  • Traffic: Volume permintaan atau workload.
  • Rasio error: Rasio permintaan atau operasi yang gagal.
  • Saturasi: Penggunaan resource penting seperti CPU, memori, dan akselerator GPU atau Cloud TPU, yang menunjukkan seberapa dekat sistem Anda dengan batas kapasitasnya.

Lakukan pemantauan menggunakan teknik berikut:

  • Kumpulkan, simpan, dan visualisasikan metrik infrastruktur dan aplikasi menggunakan Monitoring. Anda dapat menggunakan dasbor bawaan untuk layanan Google Cloud dan membuat dasbor kustom yang disesuaikan berdasarkan indikator performa dan kondisi infrastruktur spesifik workload Anda.
  • Kumpulkan log mendetail dari aplikasi AI dan ML Anda serta infrastruktur yang mendasarinya menggunakan Logging. Log ini sangat penting untuk pemecahan masalah dan analisis performa. Log memberikan konteks seputar peristiwa dan error.
  • Tentukan masalah latensi dan pahami alur permintaan di seluruh microservice AI dan ML terdistribusi menggunakan Cloud Trace. Kemampuan ini sangat penting untuk men-debug interaksi Agent Conversation yang kompleks atau pipeline inferensi multi-komponen.
  • Identifikasi bottleneck performa dalam blok fungsi di kode aplikasi menggunakan Cloud Profiler. Mengidentifikasi bottleneck performa dapat membantu Anda mengoptimalkan penggunaan resource dan waktu eksekusi.
  • Kumpulkan metrik spesifik terkait akselerator seperti penggunaan GPU mendetail per proses, penggunaan memori per proses, dan suhu, menggunakan alat seperti NVIDIA Data Center GPU Manager (DCGM).

Menerapkan kemampuan observasi data dan model

Sistem AI generatif yang andal memerlukan kemampuan observasi data dan model yang kuat, yang dimulai dengan pemantauan pipeline menyeluruh.

  • Lacak tingkat penyerapan data, volume yang diproses, dan latensi transformasi menggunakan layanan seperti Dataflow.
  • Pantau tingkat keberhasilan dan kegagalan tugas dalam pipeline MLOps Anda, termasuk pipeline yang dikelola oleh Agent Platform Pipelines.

Penilaian kualitas data secara berkelanjutan sangatlah penting.

  • Mengelola dan mengatur data menggunakan Knowledge Catalog:
    • Evaluasi akurasi dengan memvalidasi terhadap kebenaran nyata atau dengan melacak tingkat deteksi pencilan.
    • Pantau keaktualan berdasarkan usia data dan frekuensi update terhadap SLA.
    • Menilai kelengkapan dengan melacak persentase nilai null dan tingkat pengisian kolom yang diperlukan.
    • Memastikan validitas dan konsistensi melalui pemeriksaan kepatuhan skema dan duplikasi.
  • Deteksi anomali secara proaktif menggunakan pemberitahuan Monitoring dan melalui silsilah data yang jelas untuk keterlacakan.
  • Untuk sistem RAG, periksa relevansi konteks yang diambil dan grounding (atribusi ke sumber) respons.
  • Memantau throughput kueri database vektor.

Metrik kemampuan observasi model utama mencakup jumlah token input-output dan tingkat error khusus model, seperti halusinasi atau kegagalan resolusi kueri. Untuk melacak metrik ini, gunakan Model Monitoring di Agent Platform.

  • Terus pantau skor toksisitas output dan rating masukan pengguna.
  • Otomatiskan penilaian output model terhadap kriteria yang ditentukan dengan menggunakan layanan evaluasi AI generatif.
  • Pastikan performa berkelanjutan dengan memantau pergeseran data dan konsep secara sistematis menggunakan metrik tingkat error yang komprehensif.

Untuk melacak metrik model, Anda dapat menggunakan TensorBoard atau MLflow. Untuk analisis dan pembuatan profil mendalam guna memecahkan masalah performa, Anda dapat membuat profil model di VM Cloud TPU atau menggunakan NVIDIA Nsight.

Kontributor

Penulis:

Kontributor lainnya:

Sebelumnya
Keamanan
Berikutnya
Pengoptimalan biaya