Ringkasan layanan evaluasi AI generatif

Layanan evaluasi AI generatif menyediakan alat tingkat perusahaan untuk penilaian objektif dan berbasis data terhadap model AI generatif. Alat ini mendukung dan menginformasikan sejumlah tugas pengembangan seperti migrasi model, pengeditan perintah, dan fine-tuning.

Fitur layanan evaluasi AI generatif

Fitur penentu layanan evaluasi AI Generatif adalah kemampuan untuk menggunakan rubrik adaptif, yaitu serangkaian pengujian lulus atau gagal yang disesuaikan untuk setiap perintah. Rubrik evaluasi mirip dengan pengujian unit dalam pengembangan software dan bertujuan untuk meningkatkan performa model di berbagai tugas.

Fitur layanan evaluasi AI generatif

Layanan evaluasi AI generatif mendukung metode evaluasi umum berikut:

  • Rubrik adaptif (Direkomendasikan): Membuat kumpulan rubrik lulus atau gagal yang unik untuk setiap perintah dalam set data Anda.

  • Rubrik statis: Menerapkan serangkaian kriteria penilaian tetap di semua perintah.

  • Metrik berbasis komputasi: Gunakan algoritma deterministik seperti ROUGE atau BLEU jika kebenaran nyata tersedia.

  • Fungsi kustom: Tentukan logika evaluasi Anda sendiri di Python untuk persyaratan khusus.

Pembuatan set data evaluasi

Anda dapat membuat set data evaluasi melalui metode berikut:

  • Upload file yang berisi instance perintah lengkap, atau berikan template perintah beserta file nilai variabel yang sesuai untuk mengisi perintah yang telah selesai.

  • Ambil sampel langsung dari log produksi untuk mengevaluasi penggunaan model Anda di dunia nyata.

  • Gunakan pembuatan data sintetis untuk menghasilkan sejumlah besar contoh yang konsisten untuk template perintah apa pun.

Antarmuka yang didukung

Anda dapat menentukan dan menjalankan evaluasi menggunakan antarmuka berikut:

Kasus penggunaan

Layanan evaluasi AI Generatif memungkinkan Anda melihat performa model pada tugas spesifik dan berdasarkan kriteria unik Anda, sehingga memberikan insight berharga yang tidak dapat diperoleh dari papan peringkat publik dan tolok ukur umum. Hal ini mendukung tugas pengembangan penting, termasuk:

  • Migrasi model: Bandingkan versi model untuk memahami perbedaan perilaku dan menyesuaikan perintah serta setelan Anda.

  • Menemukan model terbaik: Jalankan perbandingan langsung antara model Google dan pihak ketiga pada data Anda untuk menetapkan dasar pengukuran performa dan mengidentifikasi model yang paling sesuai untuk kasus penggunaan Anda.

  • Peningkatan perintah: Gunakan hasil evaluasi untuk memandu upaya penyesuaian Anda. Menjalankan ulang evaluasi akan menciptakan feedback loop yang ketat, sehingga memberikan masukan langsung yang dapat diukur terkait perubahan Anda.

  • Penyesuaian model: Evaluasi kualitas model yang telah disesuaikan dengan menerapkan kriteria evaluasi yang konsisten pada setiap operasi.

  • Evaluasi agen: Evaluasi performa agen menggunakan metrik khusus agen, seperti trace agen dan kualitas respons.

Alur kerja evaluasi

Menyelesaikan evaluasi biasanya memerlukan langkah-langkah berikut:

  • Membuat set data evaluasi: Kumpulkan set data instance perintah yang mencerminkan kasus penggunaan spesifik Anda. Anda dapat menyertakan jawaban referensi (kebenaran nyata) jika berencana menggunakan metrik berbasis komputasi.

  • Tentukan metrik evaluasi: Pilih metrik yang ingin Anda gunakan untuk mengukur performa model.

  • Membuat respons model: Pilih satu atau beberapa model untuk membuat respons bagi set data Anda. Agent Platform SDK mendukung model apa pun yang dapat dipanggil melalui LiteLLM, sedangkan konsol mendukung model Gemini.

  • Menjalankan evaluasi: Jalankan tugas evaluasi, yang menilai respons setiap model berdasarkan metrik yang Anda pilih.

  • Menafsirkan hasil: Tinjau skor gabungan dan respons individual untuk menganalisis performa model.

Metrik evaluasi

Berikut adalah konsep inti yang terkait dengan metrik evaluasi:

  • Rubrik: Kriteria untuk menilai respons model atau aplikasi LLM.

  • Metrik: Skor yang mengukur output model berdasarkan rubrik penilaian.

Layanan evaluasi AI generatif menawarkan kategori metrik berikut:

  • Metrik berbasis rubrik: Menggabungkan LLM ke dalam alur kerja evaluasi untuk menilai kualitas respons model. Evaluasi berbasis rubrik cocok untuk berbagai tugas, terutama kualitas penulisan, keamanan, dan kepatuhan terhadap petunjuk, yang sering kali sulit dievaluasi dengan algoritma deterministik.

    • Rubrik adaptif (direkomendasikan): Rubrik dibuat secara dinamis untuk setiap perintah, seperti pengujian unit. Respons dievaluasi dengan serangkaian pengujian lulus atau gagal yang unik untuk setiap perintah dalam set data Anda. Rubrik ini menjaga evaluasi tetap relevan dengan tugas yang diminta dan bertujuan untuk memberikan hasil yang objektif, dapat dijelaskan, dan konsisten.

      Rubrik adaptif biasanya merupakan cara tercepat untuk memulai evaluasi, sehingga memastikan bahwa setiap evaluasi relevan dengan tugas tertentu yang sedang dievaluasi.

    • Rubrik statis: Rubrik ditentukan secara eksplisit dan rubrik yang sama berlaku untuk semua perintah. Respons dievaluasi dengan kumpulan evaluator berbasis skor numerik yang sama. Satu skor numerik (seperti 1-5) per perintah. Gunakan rubrik statis saat evaluasi diperlukan pada dimensi yang sangat spesifik atau saat rubrik yang sama persis diperlukan di semua perintah.

  • Metrik berbasis komputasi: Mengevaluasi respons dengan algoritma deterministik, biasanya menggunakan kebenaran nyata. Skor numerik (seperti 0,0-1,0) per perintah. Jika kebenaran nyata tersedia dan dapat dicocokkan dengan metode deterministik.

  • Metrik fungsi kustom (khusus Agent Platform SDK): Tentukan metrik Anda sendiri melalui fungsi Python.

Contoh rubrik adaptif

Proses evaluasi untuk setiap perintah menggunakan sistem dua langkah:

  1. Pembuatan rubrik: Layanan ini pertama-tama menganalisis perintah Anda dan membuat daftar pengujian spesifik yang dapat diverifikasi—rubrik—yang harus dipenuhi oleh respons yang baik.

  2. Validasi rubrik: Setelah model Anda menghasilkan respons, layanan akan menilai respons berdasarkan setiap rubrik, sehingga memberikan keputusan Pass atau Fail yang jelas dan alasan.

Hasil akhirnya adalah tingkat kelulusan gabungan dan perincian mendetail tentang rubrik yang lulus dari model, sehingga memberi Anda hasil analisis yang bisa ditindaklanjuti untuk mendiagnosis masalah dan mengukur peningkatan.

Dengan beralih dari skor subjektif tingkat tinggi ke hasil pengujian objektif yang terperinci, Anda dapat mengadopsi siklus pengembangan berbasis evaluasi dan menerapkan praktik terbaik software engineering ke proses pembuatan aplikasi AI generatif.

Contoh berikut menunjukkan contoh rubrik adaptif yang dibuat untuk sekumpulan perintah:

Perintah pengguna: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

Untuk perintah ini, langkah pembuatan rubrik mungkin menghasilkan rubrik berikut:

  • Rubrik 1: Respons adalah ringkasan artikel yang diberikan.

  • Rubrik 2: Respons berisi tepat empat kalimat.

  • Rubrik 3: Respons mempertahankan nada optimis.

Model Anda mungkin menghasilkan respons berikut: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

Selama validasi rubrik, layanan evaluasi AI generatif menilai respons terhadap setiap rubrik:

  • Rubrik 1: Respons adalah ringkasan artikel yang diberikan.

    • Verdict: Pass

    • Alasan: Respons meringkas poin-poin utama secara akurat.

  • Rubrik 2: Respons berisi tepat empat kalimat.

    • Verdict: Pass

    • Alasan: Respons terdiri dari empat kalimat yang berbeda

  • Rubrik 3: Respons mempertahankan nada optimis.

    • Verdict: Fail

    • Alasan: Kalimat terakhir memperkenalkan poin negatif, yang mengurangi nada optimis.

Tingkat kelulusan akhir untuk respons ini adalah 66,7%. Untuk membandingkan dua model, Anda dapat mengevaluasi responsnya terhadap kumpulan pengujian yang sama dan membandingkan tingkat kelulusan keseluruhannya.

Mulai menggunakan evaluasi

Anda dapat memulai evaluasi menggunakan konsol.

Atau, kode berikut menunjukkan cara menyelesaikan evaluasi dengan Klien GenAI di Agent Platform SDK:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

Layanan evaluasi AI generatif menawarkan dua antarmuka Agent Platform SDK:

  • Klien GenAI di Agent Platform SDK (Direkomendasikan) (Pratinjau)

    from vertexai import client

    GenAI Client adalah antarmuka yang lebih baru dan direkomendasikan untuk evaluasi, yang diakses melalui class Client terpadu. Library ini mendukung semua metode evaluasi dan dirancang untuk alur kerja yang mencakup perbandingan model, visualisasi dalam notebook, dan insight untuk penyesuaian model.

  • Modul evaluasi di Agent Platform SDK (GA)

    from vertexai.evaluation import EvalTask

    Modul evaluasi adalah antarmuka lama, yang dipertahankan untuk kompatibilitas mundur dengan alur kerja yang ada, tetapi tidak lagi dikembangkan secara aktif. Class ini diakses melalui class EvalTask. Metode ini mendukung metrik berbasis komputasi dan LLM-as-a-judge standar, tetapi tidak mendukung metode evaluasi yang lebih baru seperti rubrik adaptif.

Region yang didukung

Region berikut didukung untuk layanan evaluasi AI generatif:

  • Iowa (us-central1)

  • South Carolina (us-east1)

  • Northern Virginia (us-east4)

  • Columbus, Ohio (us-east5)

  • Dallas, Texas (us-south1)

  • Oregon (us-west1)

  • Las Vegas, Nevada (us-west4)

  • Warsawa, Polandia (europe-central2)

  • Finlandia (europe-north1)

  • Madrid, Spanyol (europe-southwest1)

  • Belgia (europe-west1)

  • Belanda (europe-west4)

  • Milan, Italia (europe-west8)

  • Paris, Prancis (europe-west9)

  • Global (global)

Notebook yang tersedia

Link notebook Deskripsi
Getting Started: Quick Gen AI Evaluation Memberikan pengantar tentang layanan evaluasi AI generatif.
Mengevaluasi model pihak ketiga dengan layanan evaluasi AI Generatif Menunjukkan cara menggunakan **Agent Platform SDK** untuk mengevaluasi berbagai jenis model pihak ketiga, termasuk model yang diakses menggunakan API (seperti OpenAI, Anthropic), Model as a Service (MaaS) dari Model Garden Gemini Enterprise Agent Platform, dan endpoint Bring Your Own Model (BYOM).
Migrasi model dengan layanan evaluasi AI generatif Menunjukkan cara menggunakan **Agent Platform SDK** untuk layanan evaluasi AI Generatif guna membandingkan dua model pihak pertama (seperti Gemini 2.0 Flash dengan Gemini 2.5 Flash). Video ini menyoroti penggunaan metrik berbasis rubrik adaptif yang telah ditetapkan dan cara hasil evaluasi dapat memandu pengoptimalan perintah. Fitur utama seperti evaluasi multi-kandidat, visualisasi dalam notebook, dan evaluasi batch asinkron juga dibahas.
Mengevaluasi kualitas text-to-image dengan layanan evaluasi AI Generatif Menunjukkan cara menggunakan Vertex AI SDK untuk layanan evaluasi AI generatif guna mengevaluasi kualitas gambar generatif berdasarkan perintah teks. Contoh ini menunjukkan penggunaan metrik Gecko berbasis rubrik adaptif yang telah ditetapkan sebelumnya.
Mengevaluasi kualitas text-to-video dengan layanan evaluasi AI Generatif Menunjukkan cara menggunakan **Agent Platform SDK** untuk layanan evaluasi AI Generatif guna mengevaluasi kualitas video yang dihasilkan berdasarkan perintah teks. Contoh ini menunjukkan penggunaan metrik Gecko berbasis rubrik adaptif yang telah ditetapkan sebelumnya.

Langkah berikutnya