Example Store memungkinkan Anda menyimpan dan mengambil contoh few-shot secara dinamis. Contoh few-shot memungkinkan Anda menunjukkan pola respons yang diharapkan kepada LLM untuk meningkatkan kualitas, akurasi, dan konsistensi responsnya terhadap kueri serupa.
Apa yang dimaksud dengan contoh few-shot?
Contoh few-shot adalah data berlabel yang spesifik untuk kasus penggunaan LLM Anda. Contoh ini mencakup pasangan input-output yang menunjukkan respons model yang diharapkan untuk permintaan model. Anda dapat menggunakan contoh untuk menunjukkan perilaku atau pola respons yang diharapkan dari LLM.
Dengan hanya menggunakan beberapa contoh yang relevan, Anda dapat mencakup serangkaian hasil yang mungkin, perilaku yang diinginkan, dan input pengguna yang lebih besar tanpa meningkatkan ukuran atau kompleksitas perintah. Hal ini dilakukan dengan hanya menyertakan contoh yang relevan (mengurangi jumlah contoh yang disertakan) dan dengan "menunjukkan, bukan memberi tahu" perilaku yang diharapkan.
Menggunakan contoh few-shot adalah bentuk pembelajaran dalam konteks. Contoh menunjukkan pola input dan output yang jelas, tanpa menjelaskan cara model menghasilkan konten. Anda dapat mencakup lebih banyak kemungkinan hasil atau kueri pengguna hanya dengan menggunakan relatif sedikit contoh, tanpa meningkatkan ukuran perintah atau kompleksitas kode. Penggunaan contoh tidak melibatkan pembaruan parameter model terlatih, dan tidak memengaruhi luasnya pengetahuan LLM. Hal ini menjadikan pembelajaran dalam konteks dengan contoh sebagai pendekatan yang relatif ringan dan ringkas untuk menyesuaikan, memperbaiki, atau meningkatkan penalaran dan respons dari LLM terhadap perintah yang belum pernah dilihat.
Dengan mengumpulkan contoh yang relevan dan representatif dari kueri pengguna, Anda membantu model mempertahankan perhatian, menunjukkan pola yang diharapkan, dan juga memperbaiki perilaku yang salah atau tidak terduga. Hal ini tidak memengaruhi permintaan lain yang menghasilkan respons yang diharapkan.
Seperti semua strategi rekayasa perintah, penggunaan contoh few-shot merupakan tambahan untuk teknik pengoptimalan LLM lainnya, seperti fine-tuning atau RAG.
Cara menggunakan Example Store
Langkah-langkah berikut menjelaskan cara menggunakan Example Store:
Buat atau gunakan kembali resource
ExampleStore, yang juga disebut "Instance Example Store".- Untuk setiap region dan project, Anda dapat memiliki maksimum 50 instance Example Store.
Tulis dan upload contoh berdasarkan respons LLM. Ada dua kemungkinan skenario:
Jika perilaku dan pola respons LLM sesuai harapan, tulis contoh berdasarkan respons ini dan upload ke instance Example Store.
Jika LLM menunjukkan perilaku atau pola respons yang tidak terduga, tulis contoh untuk menunjukkan cara memperbaiki respons, lalu upload ke instance Example Store.
Contoh yang diupload akan langsung tersedia untuk agen atau aplikasi LLM yang terkait dengan instance Example Store.
Jika agen yang didasarkan pada Agent Development Kit (ADK) ditautkan ke instance Example Store, agen tersebut akan otomatis mengambil contoh dan menyertakannya dalam permintaan LLM.
Untuk semua aplikasi LLM lainnya, Anda harus menelusuri dan mengambil contoh, lalu menyertakannya dalam perintah Anda.
Anda dapat terus menambahkan contoh secara iteratif ke instance Example Store setiap kali Anda mengamati performa yang tidak terduga dari LLM, atau menemukan kueri pengguna yang tidak terduga atau adversarial. Anda tidak perlu mengupdate kode atau men-deploy ulang versi baru aplikasi LLM Anda. Contoh akan tersedia untuk agen atau aplikasi segera setelah Anda menguploadnya ke instance Example Store.
Selain itu, Anda dapat melakukan hal berikut:
Ambil contoh dengan melakukan penelusuran kesamaan kosinus antara kunci penelusuran contoh yang disimpan dan kunci penelusuran dalam kueri Anda.
Filter contoh berdasarkan nama fungsi dan persempit daftar contoh kandidat menjadi contoh yang mewakili kemungkinan respons dari LLM.
Tingkatkan kualitas agen atau aplikasi LLM Anda secara iteratif.
Bagikan contoh dengan beberapa agen atau aplikasi LLM.
Panduan untuk menulis contoh few-shot
Dampak contoh pada performa model bergantung pada jenis contoh yang disertakan dalam prompt dan cara penyertaannya.
Berikut adalah praktik yang umumnya direkomendasikan untuk menulis contoh:
Relevansi dan kesamaan: Contoh harus terkait erat dengan tugas atau domain tertentu. Hal ini membantu model berfokus pada aspek pengetahuannya yang paling relevan, mengurangi penggunaan token, dan mempertahankan atau bahkan meningkatkan performa. Anda memerlukan lebih sedikit contoh jika contoh tersebut relevan dengan percakapan. Korpus contoh yang tersedia harus mewakili kemungkinan kueri pengguna. Selain itu, contoh harus relevan dengan kueri pengguna tertentu.
Kompleksitas: Untuk membantu LLM berperforma lebih baik, gunakan contoh yang memiliki kompleksitas rendah untuk menunjukkan penalaran yang diharapkan.
Representatif dari kemungkinan hasil model: Respons yang diharapkan dalam contoh harus konsisten dengan kemungkinan hasil. Hal ini memungkinkan contoh menunjukkan penalaran yang konsisten dengan penalaran yang diharapkan dari LLM untuk perintah tersebut.
Format: Untuk performa terbaik, format contoh few-shot dalam perintah Anda dengan cara yang konsisten dengan data pelatihan LLM dan berbeda dari histori percakapan. Pemformatan contoh dalam perintah dapat berdampak signifikan pada performa LLM.
Contoh kasus penggunaan: Pemanggilan fungsi
Anda dapat menggunakan contoh few-shot untuk meningkatkan performa panggilan fungsi.
Anda dapat menunjukkan panggilan fungsi yang diharapkan untuk kueri pengguna dalam pola yang konsisten. Contoh ini dapat memodelkan respons yang diharapkan terhadap permintaan dengan menyertakan
fungsi yang perlu dipanggil dan argumen yang akan disertakan dalam panggilan
fungsi. Pertimbangkan kasus penggunaan saat fungsi get_store_location menampilkan
lokasi toko dan deskripsinya. Jika kueri tidak memanggil fungsi ini
seperti yang diharapkan atau menampilkan output yang tidak diharapkan, Anda dapat menggunakan contoh few-shot untuk
memperbaiki perilaku ini untuk kueri berikutnya.
Untuk mengetahui informasi selengkapnya tentang panggilan fungsi, lihat Panggilan fungsi.
Untuk mempelajari lebih lanjut, lihat Panduan memulai Example Store.
Langkah berikutnya
Pelajari cara membuat contoh penyimpanan.
Pelajari cara mengajari agen dengan contoh