Perspektif AI dan ML: Pengoptimalan biaya

Last reviewed 2026-10-29 UTC

Dokumen dalam Google Cloud Well-Architected Framework: Perspektif AI dan ML ini memberikan ringkasan prinsip dan rekomendasi untuk mengoptimalkan biaya sistem AI Anda di sepanjang siklus proses ML. Dengan menerapkan pendekatan pengelolaan biaya yang proaktif dan terinformasi, organisasi Anda dapat mewujudkan potensi penuh sistem AI dan ML serta mempertahankan disiplin keuangan. Rekomendasi dalam dokumen ini selaras dengan pilar pengoptimalan biaya Well-Architected Framework.

Sistem AI dan ML dapat membantu Anda mendapatkan insight berharga dan kemampuan prediktif dari data. Misalnya, Anda dapat mengurangi hambatan dalam proses internal, meningkatkan pengalaman pengguna, dan mendapatkan insight pelanggan yang lebih mendalam. Cloud menawarkan resource dalam jumlah besar dan time-to-value yang cepat tanpa investasi awal yang besar untuk workload AI dan ML. Untuk memaksimalkan nilai bisnis dan menyelaraskan pengeluaran dengan sasaran bisnis, Anda perlu memahami cost driver, mengoptimalkan biaya secara proaktif, menyiapkan kontrol pengeluaran, dan menerapkan praktik FinOps.

Rekomendasi dalam dokumen ini dipetakan ke prinsip-prinsip inti berikut:

Menentukan dan mengukur biaya dan laba

Untuk mengelola biaya AI dan ML secara efektif di Google Cloud, Anda harus menentukan dan mengukur biaya resource cloud serta nilai bisnis inisiatif AI dan ML Anda. Untuk membantu Anda melacak pengeluaran secara terperinci, Google Cloud menyediakan alat pengelolaan biaya dan penagihan yang komprehensif, seperti berikut:

  • Laporan dan tabel Penagihan Cloud
  • Dasbor, anggaran, dan pemberitahuan Data Studio
  • Cloud Monitoring
  • Cloud Logging

Untuk membuat keputusan yang tepat tentang alokasi dan pengoptimalan resource, pertimbangkan rekomendasi berikut.

Menetapkan sasaran bisnis dan KPI

Selaraskan pilihan teknis dalam project AI dan ML Anda dengan sasaran bisnis dan indikator performa utama (KPI).

Menentukan tujuan strategis dan KPI yang berfokus pada ROI

Pastikan project AI dan ML selaras dengan tujuan strategis seperti pertumbuhan pendapatan, pengurangan biaya, kepuasan pelanggan, dan efisiensi. Berinteraksi dengan pemangku kepentingan untuk memahami prioritas bisnis. Tentukan tujuan AI dan ML yang spesifik, terukur, dapat dicapai, relevan, dan terikat waktu (SMART). Misalnya, tujuan SMART adalah: "Mengurangi waktu penanganan chat untuk dukungan pelanggan sebesar 15% dalam 6 bulan dengan menggunakan chatbot AI".

Untuk mencapai sasaran bisnis dan mengukur laba atas investasi (ROI), tentukan KPI untuk kategori metrik berikut:

  • Biaya untuk resource pelatihan, inferensi, penyimpanan, dan jaringan, termasuk biaya unit tertentu (seperti biaya per inferensi, titik data, atau tugas). Metrik ini membantu Anda mendapatkan insight tentang peluang pengoptimalan efisiensi dan biaya. Anda dapat melacak biaya ini menggunakan laporan Penagihan Cloud dan dasbor Monitoring.
  • Metrik nilai bisnis seperti pertumbuhan pendapatan, penghematan biaya, kepuasan pelanggan, efisiensi, akurasi, dan adopsi. Anda dapat melacak metrik ini menggunakan analisis BigQuery dan dasbor Looker.

  • Metrik khusus industri seperti berikut:

    • Industri retail: mengukur peningkatan pendapatan dan churn
    • Industri layanan kesehatan: mengukur waktu pasien dan hasil pasien
    • Industri keuangan: mengukur pengurangan penipuan

  • Metrik khusus project. Anda dapat melacak metrik ini menggunakan Eksperimen di Gemini Enterprise Agent Platform dan evaluasi.

    • AI prediktif: mengukur akurasi dan presisi
    • AI generatif: mengukur adopsi, kepuasan, dan kualitas konten
    • AI computer vision: mengukur akurasi

Mendorong budaya kesadaran biaya dan pengoptimalan berkelanjutan

Terapkan prinsip FinOps untuk memastikan bahwa setiap project AI dan ML memiliki perkiraan biaya dan memiliki cara untuk mengukur dan melacak biaya aktual di sepanjang siklus prosesnya. Pastikan bahwa biaya dan manfaat bisnis project Anda memiliki pemilik yang ditetapkan dan akuntabilitas yang jelas.

Untuk mengetahui informasi selengkapnya, lihat Mendorong budaya kesadaran biaya dalam pilar pengoptimalan biaya Well-Architected Framework.

Mendorong nilai dan pengoptimalan berkelanjutan melalui iterasi dan masukan

Petakan aplikasi AI dan ML Anda langsung ke sasaran bisnis dan ukur ROI-nya.

Untuk memvalidasi hipotesis ROI Anda, mulailah dengan project uji coba dan gunakan siklus pengoptimalan iteratif berikut:

  1. Pantau terus dan analisis data: Pantau KPI dan biaya untuk mengidentifikasi penyimpangan dan peluang pengoptimalan.
  2. Lakukan penyesuaian berbasis data: Optimalkan strategi, model, infrastruktur, dan alokasi resource berdasarkan insight data.
  3. Sempurnakan secara berulang: Sesuaikan tujuan bisnis dan KPI berdasarkan hal-hal yang Anda pelajari dan kebutuhan bisnis yang terus berkembang. Iterasi ini membantu Anda mempertahankan relevansi dan keselarasan strategis.
  4. Buat feedback loop: Tinjau performa, biaya, dan nilai bersama pemangku kepentingan untuk menginformasikan pengoptimalan berkelanjutan dan perencanaan proyek mendatang.

Mengelola data penagihan dengan Penagihan Cloud dan label

Pengoptimalan biaya yang efektif memerlukan visibilitas ke sumber setiap elemen biaya. Rekomendasi di bagian ini dapat membantu Anda menggunakan alat Google Cloud untuk mendapatkan insight terperinci tentang biaya AI dan ML Anda. Anda juga dapat mengatribusikan biaya ke project, tim, dan aktivitas AI dan ML tertentu. Insight ini menjadi dasar untuk pengoptimalan biaya.

Mengatur dan memberi label Google Cloud resource

  • Atur project dan resource Anda dalam hierarki yang mencerminkan struktur organisasi serta alur kerja AI dan ML Anda. Untuk melacak dan menganalisis biaya di berbagai level, atur resource Google Cloud Anda menggunakan organisasi, folder, dan project. Untuk mengetahui informasi selengkapnya, lihat Menentukan hierarki resource untuk zona landing Google Cloud Anda.
  • Terapkan label yang bermakna ke resource Anda. Anda dapat menggunakan label yang menunjukkan project, tim, lingkungan, nama model, set data, kasus penggunaan, dan persyaratan performa. Label memberikan konteks yang berharga untuk data penagihan Anda dan memungkinkan analisis biaya yang terperinci.
  • Pertahankan konsistensi dalam konvensi pelabelan di semua project AI dan ML Anda. Konvensi pelabelan yang konsisten membantu memastikan bahwa data penagihan Anda teratur dan dapat dianalisis dengan mudah.
  • Untuk memfasilitasi analisis dan pelaporan yang mendetail, ekspor data penagihan ke BigQuery. BigQuery memiliki kemampuan kueri yang andal, yang memungkinkan Anda menganalisis data penagihan untuk membantu memahami biaya.
  • Untuk menggabungkan biaya berdasarkan label, project, atau jangka waktu tertentu, Anda dapat menulis kueri SQL kustom di BigQuery. Kueri tersebut memungkinkan Anda mengatribusikan biaya ke aktivitas AI dan ML tertentu, seperti pelatihan model, penyesuaian hyperparameter, atau inferensi.
  • Untuk mengidentifikasi anomali biaya atau lonjakan pengeluaran yang tidak terduga, gunakan kemampuan analisis di BigQuery. Pendekatan ini dapat membantu Anda mendeteksi potensi masalah atau inefisiensi dalam workload AI dan ML Anda.
  • Untuk mengidentifikasi dan mengelola biaya tak terduga, gunakan dasbor deteksi anomali di Penagihan Cloud.
  • Untuk mendistribusikan biaya ke berbagai tim atau departemen berdasarkan penggunaan resource, gunakan fitur alokasi biaya Google Cloud. Alokasi biaya mendorong akuntabilitas dan transparansi.
  • Untuk mendapatkan insight tentang pola pengeluaran, pelajari laporan Penagihan Cloud bawaan. Anda dapat memfilter dan menyesuaikan laporan ini untuk berfokus pada project atau layanan AI dan ML tertentu.

Memantau resource secara terus-menerus dengan dasbor, pemberitahuan, dan laporan

Untuk membuat cara yang skalabel dan tangguh dalam melacak biaya, Anda memerlukan pemantauan dan pelaporan yang berkelanjutan. Dasbor, pemberitahuan, dan laporan merupakan dasar untuk pelacakan biaya yang efektif. Fondasi ini memungkinkan Anda mempertahankan akses konstan ke informasi biaya, mengidentifikasi area pengoptimalan, dan memastikan keselarasan antara sasaran bisnis dan biaya.

Membuat sistem pelaporan

Buat laporan terjadwal dan bagikan kepada pemangku kepentingan yang sesuai.

Gunakan Monitoring untuk mengumpulkan metrik dari berbagai sumber, termasuk aplikasi, infrastruktur, dan layanan Google Cloud seperti Compute Engine, Google Kubernetes Engine (GKE), dan Cloud Run Functions. Untuk memvisualisasikan metrik dan log secara real time, Anda dapat menggunakan dasbor Monitoring bawaan atau membuat dasbor kustom. Dasbor kustom memungkinkan Anda menentukan dan menambahkan metrik untuk melacak aspek tertentu dari sistem Anda, seperti performa model, panggilan API, atau KPI tingkat bisnis.

Gunakan Logging untuk pengumpulan dan penyimpanan log terpusat dari aplikasi, sistem, dan layanan Google Cloud Anda. Gunakan log untuk tujuan berikut:

  • Lacak biaya dan pemakaian resource seperti CPU, memori, penyimpanan, dan jaringan.
  • Identifikasi kasus penyediaan berlebih (resource tidak digunakan sepenuhnya) dan penyediaan kurang (resource tidak memadai). Penyediaan yang berlebihan akan menimbulkan biaya yang tidak perlu. Penyediaan yang kurang akan memperlambat waktu pelatihan dan dapat menyebabkan masalah performa.
  • Identifikasi resource yang tidak ada aktivitas atau kurang dimanfaatkan, seperti VM dan GPU, serta ambil langkah-langkah untuk menonaktifkan atau menyesuaikan ukurannya guna mengoptimalkan biaya.
  • Mengidentifikasi lonjakan biaya untuk mendeteksi peningkatan penggunaan resource atau biaya yang tiba-tiba dan tidak terduga.

Gunakan Looker atau Data Studio untuk membuat dasbor dan laporan interaktif. Hubungkan dasbor dan laporan ke berbagai sumber data, termasuk BigQuery dan Monitoring.

Menetapkan nilai minimum pemberitahuan berdasarkan KPI utama

Untuk KPI Anda, tentukan nilai minimum yang akan memicu pemberitahuan. Nilai minimum pemberitahuan yang bermakna dapat membantu Anda menghindari kejenuhan pemberitahuan. Buat kebijakan pemberitahuan di Monitoring untuk mendapatkan notifikasi terkait KPI Anda. Misalnya, Anda bisa mendapatkan notifikasi saat akurasi turun di bawah nilai minimum tertentu atau latensi melebihi batas yang ditentukan. Pemberitahuan berdasarkan data log dapat memberi tahu Anda tentang potensi masalah biaya secara real time. Pemberitahuan tersebut memungkinkan Anda mengambil tindakan korektif dengan segera dan mencegah kerugian finansial lebih lanjut.

Mengoptimalkan alokasi resource

Untuk mencapai efisiensi biaya untuk workload AI dan ML di Google Cloud, Anda harus mengoptimalkan alokasi resource. Untuk membantu Anda menghindari pengeluaran yang tidak perlu dan memastikan bahwa workload Anda memiliki resource yang diperlukan untuk berperforma secara optimal, selaraskan alokasi resource dengan kebutuhan workload Anda.

Untuk mengoptimalkan alokasi resource cloud ke workload AI dan ML, pertimbangkan rekomendasi berikut.

Menggunakan penskalaan otomatis untuk menyesuaikan resource secara dinamis

Gunakan Google Cloud layanan yang mendukung penskalaan otomatis, yang secara otomatis menyesuaikan alokasi resource agar sesuai dengan permintaan saat ini. Penskalaan otomatis memberikan manfaat berikut:

  • Pengoptimalan biaya dan performa: Anda tidak perlu membayar resource yang tidak digunakan. Pada saat yang sama, penskalaan otomatis memastikan sistem Anda memiliki resource yang diperlukan untuk berperforma secara optimal, bahkan pada beban puncak.
  • Peningkatan efisiensi: Anda dapat mengalihkan fokus tim Anda ke tugas lain.
  • Peningkatan fleksibilitas: Anda dapat merespons dengan cepat perubahan permintaan dan mempertahankan ketersediaan tinggi untuk aplikasi Anda.

Bagian berikut merangkum teknik yang dapat Anda gunakan untuk menerapkan penskalaan otomatis untuk berbagai tahap project AI Anda.

Pelatihan

  • Gunakan layanan terkelola seperti Gemini Enterprise Agent Platform atau GKE, yang menawarkan kemampuan penskalaan otomatis bawaan untuk tugas pelatihan.
  • Konfigurasikan kebijakan penskalaan otomatis untuk menskalakan jumlah instance pelatihan berdasarkan metrik seperti pemakaian CPU, penggunaan memori, dan panjang antrean tugas.
  • Gunakan metrik penskalaan kustom untuk menyesuaikan perilaku penskalaan otomatis untuk workload spesifik Anda.

Inferensi

  • Deploy model Anda di platform yang skalabel seperti Gemini Enterprise Agent Platform Inference, GPU di GKE, atau Cloud TPU di GKE.
  • Gunakan fitur penskalaan otomatis untuk menyesuaikan jumlah replika berdasarkan metrik seperti rasio permintaan, latensi, dan pemakaian resource.
  • Terapkan load balancing untuk mendistribusikan traffic secara merata di seluruh replika dan memastikan ketersediaan tinggi.

Mulai dengan model dan set data kecil

Untuk membantu mengurangi biaya, uji hipotesis ML dalam skala kecil jika memungkinkan dan gunakan pendekatan iteratif. Pendekatan ini, dengan model dan set data yang lebih kecil, memberikan manfaat berikut:

  • Pengurangan biaya sejak awal: Pengurangan daya komputasi, penyimpanan, dan waktu pemrosesan dapat menghasilkan biaya yang lebih rendah selama fase eksperimen dan pengembangan awal.
  • Iterasi lebih cepat: Waktu pelatihan yang diperlukan lebih sedikit, sehingga Anda dapat melakukan iterasi lebih cepat, mengeksplorasi pendekatan alternatif, dan mengidentifikasi arah yang menjanjikan dengan lebih efisien.
  • Mengurangi kompleksitas: Proses debug, analisis, dan interpretasi hasil yang lebih sederhana, sehingga menghasilkan siklus pengembangan yang lebih cepat.
  • Pemanfaatan resource yang efisien: Mengurangi kemungkinan penyediaan resource yang berlebihan. Anda hanya menyediakan resource yang diperlukan untuk workload saat ini.

Pertimbangkan rekomendasi berikut:

  • Gunakan data sampel terlebih dahulu: Latih model Anda pada subset data yang representatif. Dengan pendekatan ini, Anda dapat menilai performa model dan mengidentifikasi potensi masalah tanpa memproses seluruh set data.
  • Bereksperimen menggunakan notebook: Mulai dengan instance yang lebih kecil dan skalakan sesuai kebutuhan. Anda dapat menggunakan Gemini Enterprise Agent Platform Workbench, lingkungan notebook Jupyter terkelola yang sangat cocok untuk bereksperimen dengan berbagai arsitektur model dan set data.

  • Mulai dengan model yang lebih sederhana atau terlatih: Gunakan Model Garden untuk menemukan dan mempelajari model terlatih. Model tersebut memerlukan lebih sedikit resource komputasi. Tingkatkan kompleksitas secara bertahap sesuai kebutuhan berdasarkan persyaratan performa.

    • Gunakan model terlatih untuk tugas seperti klasifikasi gambar dan natural language processing. Untuk menghemat biaya pelatihan, Anda dapat menyesuaikan model pada set data yang lebih kecil terlebih dahulu.
    • Gunakan BigQuery ML untuk data terstruktur. BigQuery ML memungkinkan Anda membuat dan men-deploy model langsung di dalam BigQuery. Pendekatan ini dapat hemat biaya untuk eksperimen awal, karena Anda dapat memanfaatkan model harga bayar per kueri untuk BigQuery.

  • Menskalakan untuk pengoptimalan resource: Gunakan infrastruktur fleksibel Google Cloud untuk menskalakan resource sesuai kebutuhan. Mulailah dengan instance yang lebih kecil dan sesuaikan ukuran atau jumlahnya jika diperlukan.

Menemukan persyaratan resource melalui eksperimen

Persyaratan resource untuk workload AI dan ML dapat sangat bervariasi. Untuk mengoptimalkan alokasi resource dan biaya, Anda harus memahami kebutuhan spesifik workload Anda melalui eksperimen yang sistematis. Untuk mengidentifikasi konfigurasi yang paling efisien untuk model Anda, uji berbagai konfigurasi dan analisis performanya. Kemudian, berdasarkan persyaratan, sesuaikan ukuran resource yang Anda gunakan untuk pelatihan dan inferensi.

Sebaiknya gunakan pendekatan berikut untuk eksperimen:

  1. Mulai dengan dasar pengukuran: Mulailah dengan konfigurasi dasar pengukuran berdasarkan perkiraan awal persyaratan workload Anda. Untuk membuat dasar pengukuran, Anda dapat menggunakan kalkulator hargaGoogle Cloud untuk workload baru atau menggunakan laporan penagihan yang ada.
  2. Pahami kuota Anda: Sebelum meluncurkan eksperimen yang ekstensif, pahami kuota project Google Cloud Anda untuk resource dan API yang ingin Anda gunakan. Kuota menentukan rentang konfigurasi yang dapat Anda uji secara realistis. Dengan memahami kuota, Anda dapat bekerja dalam batas resource yang tersedia selama fase eksperimen.
  3. Lakukan eksperimen secara sistematis: Sesuaikan parameter seperti jumlah CPU, jumlah memori, jumlah dan jenis GPU dan Cloud TPU, serta kapasitas penyimpanan. Pelatihan Terkelola Gemini Enterprise Agent Platform dan Inferensi Agent Platform memungkinkan Anda bereksperimen dengan berbagai jenis dan konfigurasi mesin.

  4. Pantau pemanfaatan, biaya, dan performa: Lacak pemanfaatan resource, biaya, dan metrik performa utama seperti waktu pelatihan, latensi inferensi, dan akurasi model, untuk setiap konfigurasi yang Anda uji coba.

    • Untuk melacak pemakaian resource dan metrik performa, Anda dapat menggunakan konsol Agent Platform.
    • Untuk mengumpulkan dan menganalisis metrik performa mendetail, gunakan Monitoring.
    • Untuk melihat biaya, gunakan laporan Penagihan Cloud dan Dasbor Monitoring.
    • Untuk mengidentifikasi bottleneck performa dalam model Anda dan mengoptimalkan pemanfaatan resource, gunakan alat pembuatan profil seperti TensorBoard Agent Platform.

  5. Menganalisis biaya: Bandingkan biaya dan performa setiap konfigurasi untuk mengidentifikasi opsi yang paling hemat biaya.

  6. Tetapkan batas resource dan target peningkatan berdasarkan kuota: Tentukan batas kapan penskalaan mulai menghasilkan pengurangan hasil dalam performa, seperti pengurangan minimal dalam waktu pelatihan atau latensi untuk peningkatan biaya yang signifikan. Pertimbangkan kuota project saat menetapkan nilai minimum ini. Tentukan titik di mana biaya dan potensi implikasi kuota dari penskalaan lebih lanjut tidak lagi dibenarkan oleh peningkatan performa.

  7. Sempurnakan secara berulang: Ulangi proses eksperimen dengan konfigurasi yang disempurnakan berdasarkan temuan Anda. Selalu pastikan bahwa penggunaan resource tetap berada dalam kuota alokasi dan sesuai dengan nilai minimum biaya-manfaat yang ditetapkan.

Menggunakan MLOps untuk mengurangi inefisiensi

Seiring dengan meningkatnya penggunaan ML oleh organisasi untuk mendorong inovasi dan efisiensi, pengelolaan siklus proses ML secara efektif menjadi sangat penting. Operasi ML (MLOps) adalah serangkaian praktik yang mengotomatiskan dan menyederhanakan siklus proses ML, mulai dari pengembangan model hingga deployment dan pemantauan.

Menyelaraskan MLOps dengan cost driver

Untuk memanfaatkan MLOps demi efisiensi biaya, identifikasi pemicu biaya utama dalam siklus proses ML. Kemudian, Anda dapat mengadopsi dan menerapkan praktik MLOps yang selaras dengan cost driver. Prioritaskan dan adopsi fitur MLOps yang mengatasi pemicu biaya yang paling berdampak. Pendekatan ini membantu memastikan jalur yang mudah dikelola dan berhasil menuju penghematan biaya yang signifikan.

Menerapkan MLOps untuk pengoptimalan biaya

Berikut adalah praktik MLOps umum yang membantu mengurangi biaya:

  • Kontrol versi: Alat seperti Git dapat membantu Anda melacak versi kode, data, dan model. Kontrol versi memastikan reproduksibilitas, memfasilitasi kolaborasi, dan mencegah pengerjaan ulang yang mahal yang dapat disebabkan oleh masalah pembuatan versi.
  • Continuous integration dan continuous delivery (CI/CD): Cloud Build dan Artifact Registry memungkinkan Anda menerapkan pipeline CI/CD untuk mengotomatiskan build, pengujian, dan deployment model ML Anda. Pipeline CI/CD memastikan pemanfaatan resource yang efisien dan meminimalkan biaya yang terkait dengan intervensi manual.
  • Kemampuan observasi: Pemantauan dan Logging memungkinkan Anda melacak performa model dalam produksi, mengidentifikasi masalah, dan memicu pemberitahuan untuk intervensi proaktif. Kemampuan observasi memungkinkan Anda mempertahankan akurasi model, mengoptimalkan alokasi resource, dan mencegah periode nonaktif yang mahal atau penurunan performa.
  • Pelatihan ulang model: Gemini Enterprise Agent Platform Pipelines menyederhanakan proses untuk melatih ulang model secara berkala atau saat performa menurun. Saat Anda menggunakan Agent Platform Pipelines untuk pelatihan ulang, hal ini membantu memastikan bahwa model Anda tetap akurat dan efisien, sehingga dapat mencegah konsumsi resource yang tidak perlu dan mempertahankan performa yang optimal.
  • Pengujian dan evaluasi otomatis: Agent Platform membantu Anda mempercepat dan menstandarkan evaluasi model. Terapkan pengujian otomatis di seluruh siklus proses ML untuk memastikan kualitas dan keandalan model Anda. Pengujian tersebut dapat membantu Anda mendeteksi error sejak awal, mencegah masalah yang berisiko tinggi dalam produksi, dan mengurangi kebutuhan akan pengujian manual yang ekstensif.

Untuk mengetahui informasi selengkapnya, lihat MLOps: Pipeline otomatisasi dan continuous delivery di machine learning.

Menerapkan praktik pengelolaan dan tata kelola data

Praktik pengelolaan dan tata kelola data yang efektif sangat penting untuk pengoptimalan biaya. Data yang diatur dengan baik dapat mendorong tim untuk menggunakan kembali set data, menghindari duplikasi yang tidak perlu, dan mengurangi upaya untuk mendapatkan data berkualitas tinggi. Dengan mengelola data secara proaktif, Anda dapat mengurangi biaya penyimpanan, meningkatkan kualitas data, dan memastikan bahwa model ML Anda dilatih dengan data yang paling relevan dan berharga.

Untuk menerapkan praktik pengelolaan dan tata kelola data, pertimbangkan rekomendasi berikut.

Membangun dan mengadopsi framework tata kelola data

Meningkatnya popularitas AI dan ML telah menjadikan data sebagai aset paling berharga bagi organisasi yang sedang menjalani transformasi digital. Framework yang kuat untuk tata kelola data merupakan persyaratan penting untuk mengelola workload AI dan ML secara hemat biaya dalam skala besar. Framework tata kelola data dengan kebijakan, prosedur, dan peran yang ditentukan dengan jelas memberikan pendekatan terstruktur untuk mengelola data di seluruh siklus prosesnya. Framework tersebut membantu meningkatkan kualitas data, meningkatkan keamanan, meningkatkan pemanfaatan, dan mengurangi redundansi.

Membangun framework tata kelola data

Ada banyak framework yang sudah ada untuk tata kelola data, seperti framework yang dipublikasikan oleh EDM Council, dengan opsi yang tersedia untuk berbagai industri dan ukuran organisasi. Pilih dan sesuaikan framework yang sesuai dengan kebutuhan dan prioritas spesifik Anda.

Menerapkan framework tata kelola data

Google Cloud menyediakan layanan dan alat berikut untuk membantu Anda menerapkan framework tata kelola data yang kuat:

  • Knowledge Catalog adalah data fabric cerdas yang membantu Anda menyatukan data terdistribusi dan mengotomatiskan tata kelola data tanpa perlu menggabungkan set data di satu tempat. Hal ini membantu mengurangi biaya untuk mendistribusikan dan memelihara data, memfasilitasi penemuan data, dan mendorong penggunaan kembali.

  • Knowledge Catalog juga merupakan layanan pengelolaan metadata yang terkelola sepenuhnya dan skalabel. Katalog menyediakan fondasi yang memastikan bahwa aset data dapat diakses dan digunakan kembali.

    • Metadata dari sumber Google Cloud yang didukung akan otomatis diserap ke dalam katalog. Untuk sumber data di luar Google Cloud, buat entri kustom.
    • Untuk meningkatkan visibilitas dan pengelolaan aset data, perkaya metadata teknis dengan metadata bisnis menggunakan aspek.
    • Pastikan data scientist dan praktisi ML memiliki izin yang memadai untuk mengakses Knowledge Catalog dan menggunakan fungsi penelusuran.

  • BigQuery sharing memungkinkan Anda bertukar aset data secara efisien dan aman di seluruh organisasi untuk mengatasi tantangan terkait keandalan dan biaya data.

    • Siapkan pertukaran data dan pastikan aset data yang diseleksi dapat dilihat sebagai listingan.
    • Gunakan ruang bersih data untuk mengelola akses ke data sensitif dengan aman dan bermitra secara efisien dengan tim dan organisasi eksternal dalam project AI dan ML.
    • Pastikan data scientist dan praktisi ML memiliki izin yang memadai untuk melihat dan memublikasikan set data ke BigQuery Sharing.

Membuat set data dan fitur dapat digunakan kembali di seluruh siklus proses ML

Untuk mendapatkan manfaat efisiensi dan biaya yang signifikan, gunakan kembali set data dan fitur di beberapa project ML. Dengan menghindari upaya rekayasa data dan pengembangan fitur yang redundan, organisasi Anda dapat mempercepat pengembangan model, mengurangi biaya infrastruktur, dan mengalokasikan resource yang berharga untuk tugas penting lainnya.

Google Cloud menyediakan layanan dan alat berikut untuk membantu Anda menggunakan kembali set data dan fitur:

  • Praktisi data dan ML dapat memublikasikan produk data untuk memaksimalkan penggunaan kembali di seluruh tim. Produk data kemudian dapat ditemukan dan digunakan melalui Knowledge Catalog dan BigQuery sharing.
  • Untuk set data tabulasi dan terstruktur, Anda dapat menggunakan Agent Platform Feature Store untuk meningkatkan penggunaan ulang dan menyederhanakan pengelolaan fitur melalui BigQuery.
  • Anda dapat menyimpan data tidak terstruktur di Cloud Storage dan mengatur data tersebut menggunakan tabel objek BigQuery dan URL bertanda tangan.
  • Anda dapat mengelola embedding vektor dengan menyertakan metadata dalam indeks Penelusuran Vektor.

Mengotomatiskan dan menyederhanakan dengan MLOps

Manfaat utama dari penerapan praktik MLOps adalah pengurangan biaya untuk teknologi dan personel. Otomatisasi membantu Anda menghindari duplikasi aktivitas ML dan mengurangi beban kerja bagi data scientist dan ML engineer.

Untuk mengotomatiskan dan menyederhanakan pengembangan ML dengan MLOps, pertimbangkan rekomendasi berikut.

Mengotomatiskan dan menstandarkan pengumpulan dan pemrosesan data

Untuk membantu mengurangi upaya dan waktu pengembangan ML, otomatiskan dan standarkan teknologi pengumpulan dan pemrosesan data Anda.

Mengotomatiskan pengumpulan dan pemrosesan data

Bagian ini merangkum produk, alat, dan teknik yang dapat Anda gunakan untuk mengotomatiskan pengumpulan dan pemrosesan data.

Identifikasi dan pilih sumber data yang relevan untuk tugas AI dan ML Anda:

Untuk setiap sumber data, pilih alat penyerapan:

  • Dataflow: Untuk pemrosesan batch dan streaming data dari berbagai sumber, dengan integrasi komponen ML. Untuk arsitektur berbasis peristiwa, Anda dapat menggabungkan Dataflow dengan Eventarc guna memproses data untuk ML secara efisien. Untuk meningkatkan efisiensi tugas MLOps dan ML, gunakan kemampuan GPU dan penyesuaian yang tepat.
  • Cloud Run Functions: Untuk penyerapan data berbasis peristiwa yang dipicu oleh perubahan sumber data untuk aplikasi real-time.
  • BigQuery: Untuk penyerapan data tabulasi klasik dengan akses yang sering.

Pilih alat untuk transformasi dan pemuatan data:

  • Gunakan alat seperti Dataflow atau Dataform untuk mengotomatiskan transformasi data seperti penskalaan fitur, encoding variabel kategoris, dan pembuatan fitur baru dalam batch, streaming, atau real-time. Alat yang Anda pilih bergantung pada persyaratan dan layanan yang dipilih.
  • Gunakan Feature Store untuk mengotomatiskan pembuatan dan pengelolaan fitur. Anda dapat memusatkan fitur untuk digunakan kembali di berbagai model dan project.

Menstandarkan pengumpulan dan pemrosesan data

Untuk menemukan, memahami, dan mengelola aset data, gunakan layanan pengelolaan metadata seperti Knowledge Catalog. Hal ini membantu Anda menstandarkan definisi data dan memastikan konsistensi di seluruh organisasi.

Untuk menerapkan standardisasi dan menghindari biaya pemeliharaan beberapa implementasi kustom, gunakan pipeline pelatihan dan orkestrasi otomatis. Untuk informasi selengkapnya, lihat bagian berikutnya.

Mengotomatiskan pipeline pelatihan dan menggunakan kembali aset yang ada

Untuk meningkatkan efisiensi dan produktivitas dalam MLOps, pipeline pelatihan otomatis sangatlah penting. Google Cloud menawarkan serangkaian alat dan layanan yang andal untuk membangun dan men-deploy pipeline pelatihan, dengan penekanan kuat pada penggunaan kembali aset yang ada. Pipeline pelatihan otomatis membantu mempercepat pengembangan model, memastikan konsistensi, dan mengurangi upaya yang berlebihan.

Mengotomatiskan pipeline pelatihan

Tabel berikut menjelaskan layanan dan fitur Google Cloud yang dapat Anda gunakan untuk mengotomatiskan berbagai fungsi pipeline pelatihan.

Fungsi Layanan dan fiturGoogle Cloud
Orkestrasi: Menentukan alur kerja ML yang kompleks, yang terdiri dari beberapa langkah dan dependensi. Anda dapat menentukan setiap langkah sebagai tugas dalam container terpisah, yang membantu Anda mengelola dan menskalakan setiap tugas dengan mudah.
  • Untuk membuat dan mengorkestrasi pipeline, gunakan Agent Platform Pipelines atau Kubeflow Pipelines. Alat ini mendukung transformasi data sederhana, pelatihan model, deployment model, dan pembuatan versi pipeline. Alat ini memungkinkan Anda menentukan dependensi antar-langkah, mengelola aliran data, dan mengotomatiskan eksekusi seluruh alur kerja.
  • Untuk tugas operasional yang kompleks dengan persyaratan CI/CD dan ekstrak, transformasi, serta pemuatan (ETL) yang berat, gunakan Managed Service untuk Apache Airflow. Jika Anda lebih memilih Airflow untuk orkestrasi data, Managed Airflow adalah layanan terkelola yang kompatibel dan dibangun di Airflow.
  • Untuk pipeline yang dikelola di luar Agent Platform Pipelines, gunakan Workflows untuk tugas yang berfokus pada infrastruktur seperti memulai dan menghentikan VM atau mengintegrasikan dengan sistem eksternal.
  • Untuk mengotomatiskan proses CI/CD, gunakan Cloud Build dengan Pub/Sub. Anda dapat menyiapkan notifikasi dan pemicu otomatis saat kode baru dikirim atau saat model baru perlu dilatih.
  • Untuk solusi pengelolaan pipeline yang skalabel dan terkelola sepenuhnya, gunakan Cloud Data Fusion.
Pembuatan versi: Lacak dan kontrol berbagai versi pipeline dan komponen untuk memastikan reproduksibilitas dan auditabilitas. Menyimpan template Kubeflow pipeline di repositori Kubeflow Pipelines di Artifact Registry.
Dapat digunakan kembali: Gunakan kembali komponen dan artefak pipeline yang ada, seperti set data yang telah disiapkan dan model terlatih, untuk mempercepat pengembangan. Simpan template pipeline Anda di Cloud Storage dan bagikan ke seluruh organisasi Anda.
Pemantauan: Memantau eksekusi pipeline untuk mengidentifikasi dan mengatasi masalah apa pun. Menggunakan Logging dan Monitoring. Untuk mengetahui informasi selengkapnya, lihat Memantau resource secara terus-menerus dengan dasbor, pemberitahuan, dan laporan.

Memperluas penggunaan kembali di luar pipeline

Cari peluang untuk memperluas penggunaan kembali di luar pipeline pelatihan. Berikut adalah contoh kemampuan Google Cloud yang memungkinkan Anda menggunakan kembali fitur, set data, model, dan kode ML.

  • Feature Store menyediakan repositori terpusat untuk mengatur, menyimpan, dan menyajikan fitur ML. Dengan Vertex AI Feature Store, Anda dapat menggunakan kembali fitur di berbagai project dan model, yang dapat meningkatkan konsistensi dan mengurangi upaya rekayasa fitur. Anda dapat menyimpan, membagikan, dan mengakses fitur untuk kasus penggunaan online dan offline.
  • Set data Agent Platform memungkinkan tim membuat dan mengelola set data secara terpusat, sehingga organisasi Anda dapat memaksimalkan penggunaan kembali dan mengurangi duplikasi data. Tim Anda dapat menelusuri dan menemukan set data menggunakan Knowledge Catalog.
  • Model Registry di Gemini Enterprise Agent Platform memungkinkan Anda menyimpan, mengelola, dan men-deploy model terlatih. Model Registry memungkinkan Anda menggunakan kembali model dalam pipeline berikutnya atau untuk prediksi online, yang membantu Anda memanfaatkan upaya pelatihan sebelumnya.
  • Container kustom memungkinkan Anda mengemas kode pelatihan dan dependensi ke dalam container dan menyimpan container di Artifact Registry. Dengan container kustom, Anda dapat menyediakan lingkungan pelatihan yang konsisten dan dapat direproduksi di berbagai pipeline dan project.

Menggunakan layanan Google Cloud untuk evaluasi dan penyesuaian model

Google Cloud menawarkan serangkaian alat dan layanan yang canggih untuk menyederhanakan dan mengotomatiskan evaluasi serta penyesuaian model. Alat dan layanan ini dapat membantu Anda mengurangi waktu produksi dan mengurangi resource yang diperlukan untuk pelatihan dan pemantauan berkelanjutan. Dengan menggunakan layanan ini, tim AI dan ML Anda dapat meningkatkan performa model dengan iterasi yang lebih murah, mencapai hasil yang lebih cepat, dan meminimalkan pemborosan resource komputasi.

Menggunakan evaluasi dan eksperimen model yang hemat resource

Memulai project AI dengan eksperimen sebelum Anda menskalakan solusi. Dalam eksperimen Anda, lacak berbagai metadata seperti versi set data, parameter model, dan jenis model. Untuk reproduksibilitas dan perbandingan hasil lebih lanjut, gunakan pelacakan metadata selain pembuatan versi kode, mirip dengan kemampuan di Git. Untuk menghindari informasi yang hilang atau men-deploy versi yang salah dalam produksi, gunakan Eksperimen di Agent Platform sebelum Anda menerapkan deployment atau tugas pelatihan skala penuh.

Eksperimen di Agent Platform memungkinkan Anda melakukan hal berikut:

  • Sederhanakan dan otomatiskan pelacakan dan penemuan metadata melalui UI dan API yang mudah digunakan untuk workload yang siap produksi.
  • Analisis metrik performa model dan bandingkan metrik di beberapa model.

Setelah model dilatih, pantau performa dan pergeseran data secara terus-menerus dari waktu ke waktu untuk data yang masuk. Untuk menyederhanakan proses ini, gunakan Model Monitoring di Gemini Enterprise Agent Platform untuk langsung mengakses model yang dibuat di Model Registry. Pemantauan Model di Agent Platform juga mengotomatiskan pemantauan data dan hasil melalui prediksi online dan batch. Anda dapat mengekspor hasilnya ke BigQuery untuk analisis dan pelacakan lebih lanjut.

Memilih strategi yang optimal untuk mengotomatiskan pelatihan

Untuk penyesuaian hyperparameter, sebaiknya gunakan pendekatan berikut:

  • Untuk mengotomatiskan proses menemukan hyperparameter yang optimal untuk model Anda, gunakan penyesuaian hyperparameter Agent Platform. Agent Platform menggunakan algoritma lanjutan untuk menjelajahi ruang hyperparameter dan mengidentifikasi konfigurasi terbaik.
  • Untuk penyesuaian hyperparameter yang efisien, pertimbangkan untuk menggunakan teknik pengoptimalan Bayesian, terutama saat Anda menangani model yang kompleks dan set data yang besar.

Untuk pelatihan terdistribusi, sebaiknya gunakan pendekatan berikut:

  • Untuk set data besar dan model yang kompleks, gunakan infrastruktur pelatihan terdistribusi dari Agent Platform. Dengan pendekatan ini, Anda dapat melatih model di beberapa mesin, sehingga membantu mengurangi waktu pelatihan dan biaya terkait secara signifikan. Gunakan alat seperti berikut:

  • Pilih framework ML yang dioptimalkan, seperti Keras dan PyTorch, yang mendukung pelatihan terdistribusi dan pemanfaatan resource yang efisien.

Menggunakan AI yang dapat dijelaskan

Sangat penting untuk memahami alasan model membuat keputusan tertentu dan mengidentifikasi potensi bias atau area yang perlu ditingkatkan. Gunakan teknik penjelasan untuk mendapatkan insight tentang prediksi model Anda.

  • Berbasis fitur: Untuk memahami fitur mana yang paling berpengaruh dalam prediksi model Anda, analisis atribusi fitur. Pemahaman ini dapat memandu upaya rekayasa fitur dan meningkatkan interpretabilitas model.
  • Berbasis contoh: Untuk menampilkan daftar contoh (biasanya dari set pelatihan) yang paling mirip dengan input, gunakan penelusuran tetangga terdekat. Karena input yang mirip umumnya menghasilkan prediksi yang mirip pula, Anda dapat menggunakan penjelasan ini untuk mengeksplorasi dan menjelaskan perilaku model.

Menggunakan layanan terkelola dan model terlatih

Terapkan pendekatan inkremental untuk pemilihan dan pengembangan model. Pendekatan ini membantu Anda menghindari biaya berlebih yang terkait dengan memulai dari awal setiap saat. Untuk mengontrol biaya, gunakan framework ML, layanan terkelola, dan model terlatih.

Untuk mendapatkan nilai maksimum dari layanan terkelola dan model terlatih, pertimbangkan rekomendasi berikut.

Menggunakan notebook untuk eksplorasi dan eksperimen

Lingkungan notebook sangat penting untuk eksperimen ML yang hemat biaya. Notebook menyediakan ruang interaktif dan kolaboratif bagi data scientist dan engineer untuk mengeksplorasi data, mengembangkan model, berbagi pengetahuan, dan melakukan iterasi secara efisien. Kolaborasi dan berbagi pengetahuan melalui notebook secara signifikan mempercepat pengembangan, peninjauan kode, dan transfer pengetahuan. Notebook membantu menyederhanakan alur kerja dan mengurangi upaya berulang.

Daripada membeli dan mengelola hardware mahal untuk lingkungan pengembangan, Anda dapat menggunakan infrastruktur yang skalabel dan on-demand dari Agent Platform Workbench dan Colab Enterprise.

  • Agent Platform Workbench adalah lingkungan pengembangan notebook Jupyter untuk seluruh alur kerja data science. Anda dapat berinteraksi dengan Agent Platform dan layanan Google Cloud lainnya dari dalam notebook Jupyter di instance. Integrasi dan fitur Workbench Platform Agen membantu Anda melakukan hal berikut:

    • Mengakses dan menjelajahi data dari notebook Jupyter menggunakan integrasi BigQuery dan Cloud Storage.
    • Mengotomatiskan update yang berulang pada model dengan menggunakan eksekusi kode terjadwal yang berjalan di Agent Platform.
    • Proses data secara cepat dengan menjalankan notebook di cluster Managed Service untuk Apache Spark.
    • Jalankan notebook sebagai langkah di dalam pipeline menggunakan Agent Platform Pipelines.

  • Colab Enterprise adalah lingkungan notebook kolaboratif yang terkelola, dengan kapabilitas keamanan dan kepatuhan dari Google Cloud. Colab Enterprise ideal jika prioritas project Anda mencakup pengembangan kolaboratif dan mengurangi upaya untuk mengelola infrastruktur. Colab Enterprise terintegrasi dengan layananGoogle Cloud dan bantuan yang didukung AI yang menggunakan Gemini. Colab Enterprise memungkinkan Anda melakukan hal berikut:

    • Bekerja di notebook tanpa perlu mengelola infrastruktur.
    • Bagikan notebook dengan satu pengguna, grup Google, atau domain Google Workspace. Anda dapat mengontrol akses notebook melalui IAM.
    • Berinteraksi dengan fitur yang ada di Agent Platform dan BigQuery.

Untuk melacak perubahan dan kembali ke versi sebelumnya jika diperlukan, Anda dapat mengintegrasikan notebook dengan alat kontrol versi seperti Git.

Mulai dengan model yang ada dan terlatih

Melatih model yang kompleks dari awal, terutama model deep learning, memerlukan resource komputasi dan waktu yang signifikan. Untuk mempercepat proses pemilihan dan pengembangan model, mulailah dengan model yang sudah ada dan terlatih. Model ini, yang dilatih dengan set data yang sangat besar, menghilangkan kebutuhan untuk melatih model dari awal dan mengurangi biaya serta waktu pengembangan secara signifikan.

Mengurangi biaya pelatihan dan pengembangan

Pilih model atau API yang sesuai untuk setiap tugas ML dan gabungkan untuk membuat proses pengembangan ML menyeluruh.

Model Garden menawarkan banyak koleksi model terlatih untuk tugas-tugas seperti klasifikasi gambar, deteksi objek, dan natural language processing. Model-model tersebut dikelompokkan ke dalam kategori berikut:

  • model Google seperti rangkaian model Gemini dan Imagen untuk pembuatan gambar.
  • Model terbuka seperti Gemma dan Llama.
  • Model pihak ketiga dari partner seperti Anthropic.

Google Cloud menyediakan API AI dan ML yang memungkinkan developer mengintegrasikan kemampuan AI yang canggih ke dalam aplikasi tanpa perlu membangun model dari awal.

  • Cloud Vision API memungkinkan Anda memperoleh insight dari gambar. API ini berguna untuk aplikasi seperti analisis gambar, moderasi konten, dan entri data otomatis.
  • Cloud Natural Language API memungkinkan Anda menganalisis teks untuk memahami struktur dan maknanya. API ini berguna untuk tugas-tugas seperti analisis masukan pelanggan, kategorisasi konten, dan pemahaman tren media sosial.
  • Speech-to-Text API mengonversi audio menjadi teks. API ini mendukung berbagai bahasa dan dialek.
  • Document AI API memproses dokumen untuk mengekstrak, mengklasifikasikan, dan memahami data. API ini membantu Anda mengotomatiskan alur kerja pemrosesan dokumen.
  • Dialogflow API memungkinkan pembuatan antarmuka percakapan, seperti chatbot dan asisten suara. Anda dapat menggunakan API ini untuk membuat bot layanan pelanggan dan asisten virtual.
  • Gemini API menyediakan akses ke model AI serbaguna dan paling mumpuni dari Google.

Mengurangi biaya penyesuaian

Untuk membantu mengurangi kebutuhan akan data yang ekstensif dan waktu komputasi, sesuaikan model terlatih Anda pada set data tertentu. Sebaiknya lakukan pendekatan berikut:

  • Pemelajaran transfer: Menggunakan pengetahuan dari model terlatih untuk tugas baru, bukan memulai dari awal. Pendekatan ini memerlukan lebih sedikit data dan waktu komputasi, sehingga membantu mengurangi biaya.
  • Penyesuaian adaptor (penyesuaian parameter-efficient): Menyesuaikan model dengan tugas atau domain baru tanpa fine-tuning penuh. Pendekatan ini memerlukan resource komputasi yang jauh lebih rendah dan set data yang lebih kecil.
  • Supervised fine-tuning: Menyesuaikan perilaku model dengan set data berlabel. Pendekatan ini menyederhanakan pengelolaan infrastruktur yang mendasarinya dan upaya pengembangan yang diperlukan untuk tugas pelatihan kustom.

Mempelajari dan bereksperimen menggunakan Agent Studio di Gemini Enterprise Agent Platform

Agent Studio memungkinkan Anda menguji, membuat prototipe, dan men-deploy aplikasi AI generatif dengan cepat.

  • Integrasi dengan Model Garden: Memberikan akses cepat ke model terbaru dan memungkinkan Anda men-deploy model secara efisien untuk menghemat waktu dan biaya.
  • Akses terpadu ke model khusus: Menggabungkan akses ke berbagai model dan API terlatih, termasuk untuk chat, teks, media, terjemahan, dan ucapan. Akses terpadu ini dapat membantu Anda mengurangi waktu yang dihabiskan untuk menelusuri dan mengintegrasikan layanan individual.

Menggunakan layanan terkelola untuk melatih atau menyajikan model

Layanan terkelola dapat membantu mengurangi biaya pelatihan model dan menyederhanakan pengelolaan infrastruktur, sehingga Anda dapat berfokus pada pengembangan dan pengoptimalan model. Pendekatan ini dapat menghasilkan manfaat biaya yang signifikan dan peningkatan efisiensi.

Mengurangi overhead operasional

Untuk mengurangi kompleksitas dan biaya pengelolaan infrastruktur, gunakan layanan terkelola seperti berikut:

  • Pelatihan Terkelola Agent Platform menyediakan lingkungan yang terkelola sepenuhnya untuk melatih model Anda dalam skala besar. Anda dapat memilih dari berbagai container bawaan dengan framework ML populer atau menggunakan container kustom Anda sendiri. Google Cloud menangani penyediaan, penskalaan, dan pemeliharaan infrastruktur, sehingga Anda akan dikenai biaya overhead operasional yang lebih rendah.
  • Agent Platform Inference menangani penskalaan infrastruktur, load balancing, dan pemilihan rute permintaan. Anda mendapatkan ketersediaan dan performa tinggi tanpa intervensi manual.
  • Ray di Gemini Enterprise Agent Platform menyediakan cluster Ray yang terkelola sepenuhnya. Anda dapat menggunakan cluster untuk menjalankan workload AI kustom yang kompleks dan melakukan banyak komputasi (penyesuaian hyperparameter, penyesuaian model, pelatihan model terdistribusi, dan reinforcement learning dari masukan manusia) tanpa perlu mengelola infrastruktur Anda sendiri.

Menggunakan layanan terkelola untuk mengoptimalkan pemanfaatan resource

Untuk mengetahui detail tentang pemanfaatan resource yang efisien, lihat Mengoptimalkan alokasi resource.

Kontributor

Penulis:

Kontributor lainnya:

Sebelumnya
Keandalan
Berikutnya
Pengoptimalan performa