Example Store ti consente di archiviare e recuperare in modo dinamico esempi few-shot. Gli esempi few-shot ti consentono di mostrare i pattern di risposta previsti a un LLM per migliorare la qualità, l'accuratezza e la coerenza delle relative risposte a query simili.
Cosa sono gli esempi few-shot?
Un esempio few-shot è un dato etichettato specifico per il tuo caso d'uso dell'LLM. Include una coppia input-output che mostra la risposta del modello prevista per una richiesta del modello. Puoi utilizzare gli esempi per mostrare il comportamento o il pattern di risposta previsto da un LLM.
Utilizzando solo alcuni esempi pertinenti, puoi coprire un insieme più ampio di possibili risultati, comportamenti previsti e input degli utenti senza aumentare di conseguenza le dimensioni o la complessità dei prompt. Questo si ottiene includendo solo esempi pertinenti (riducendo il numero di esempi inclusi) e "mostrando, non raccontando" il comportamento previsto.
L'utilizzo di esempi few-shot è una forma di apprendimento nel contesto. Un esempio mostra un pattern chiaro di input e output, senza spiegare come il modello genera i contenuti. Puoi coprire più risultati o query degli utenti possibili utilizzando solo un numero relativamente ridotto di esempi, senza aumentare le dimensioni del prompt o la complessità del codice. L'utilizzo di esempi non comporta l'aggiornamento dei parametri del modello preaddestrato e non influisce sull'ampiezza delle conoscenze dell'LLM. Ciò rende l'apprendimento in-context con esempi un approccio relativamente leggero e conciso per personalizzare, correggere o migliorare il ragionamento e la risposta di un LLM a prompt non visti.
Raccogliendo esempi pertinenti che rappresentano le query degli utenti, aiuti il modello a mantenere l'attenzione, a dimostrare il pattern previsto e a correggere comportamenti errati o imprevisti. Ciò non influisce sulle altre richieste che generano le risposte previste.
Come tutte le strategie di prompt engineering, l'utilizzo di esempi few-shot si aggiunge ad altre tecniche di ottimizzazione degli LLM, come il fine-tuning o la RAG.
Come utilizzare Example Store
I seguenti passaggi descrivono come utilizzare Example Store:
Crea o riutilizza una risorsa
ExampleStore, chiamata anche "istanza Example Store".- Per ogni regione e progetto, puoi avere un massimo di 50 istanze di Example Store.
Scrivi e carica esempi basati sulle risposte dell'LLM. Esistono due scenari possibili:
Se il comportamento e il pattern di risposta dell'LLM sono quelli previsti, scrivi esempi basati su queste risposte e caricali nell'istanza di Example Store.
Se l'LLM mostra comportamenti o pattern di risposta imprevisti, scrivi un esempio per mostrare come correggere la risposta, quindi caricalo nell'istanza dell'archivio di esempi.
Gli esempi caricati diventano immediatamente disponibili per l'agente o l'applicazione LLM associata all'istanza di Example Store.
Se un agente basato su Agent Development Kit (ADK) è collegato all'istanza Example Store, l'agente recupera automaticamente gli esempi e li include nella richiesta LLM.
Per tutte le altre applicazioni LLM, devi cercare e recuperare gli esempi, quindi includerli nei prompt.
Puoi continuare ad aggiungere esempi in modo iterativo a un'istanza di Example Store ogni volta che osservi prestazioni impreviste dell'LLM o riscontri query utente avversarie o impreviste. Non è necessario aggiornare il codice o rifare il deployment di una nuova versione dell'applicazione LLM. Gli esempi diventano disponibili per l'agente o l'applicazione non appena li carichi nell'istanza di Example Store.
Inoltre, puoi:
Recupera gli esempi eseguendo una ricerca di somiglianza del coseno tra le chiavi di ricerca degli esempi archiviati e quelle della query.
Filtra gli esempi in base al nome della funzione e perfeziona l'elenco degli esempi candidati in modo che rappresentino le possibili risposte dell'LLM.
Migliora in modo iterativo l'agente o l'applicazione LLM.
Condividi esempi con più agenti o applicazioni LLM.
Linee guida per la creazione di esempi few-shot
L'impatto degli esempi sulle prestazioni del modello dipende dai tipi di esempi inclusi nei prompt e dal modo in cui sono inclusi.
Di seguito sono riportate le pratiche generalmente consigliate per la creazione di esempi:
Pertinenza e somiglianza: gli esempi devono essere strettamente correlati all'attività o al dominio specifico. In questo modo il modello può concentrarsi sugli aspetti più pertinenti delle sue conoscenze, ridurre l'utilizzo dei token e mantenere o addirittura migliorare le prestazioni. Se gli esempi sono pertinenti alla conversazione, ne servono meno. Il corpus degli esempi disponibili deve essere rappresentativo delle possibili query degli utenti. Inoltre, un esempio deve essere pertinente a una determinata query dell'utente.
Complessità: per aiutare l'LLM a ottenere un rendimento migliore, utilizza esempi di bassa complessità per dimostrare il ragionamento previsto.
Rappresentativi dei possibili risultati del modello: le risposte previste in un esempio devono essere coerenti con il possibile risultato. In questo modo, l'esempio dimostra chiaramente un ragionamento coerente con quello previsto dall'LLM per il prompt.
Formato: per ottenere le migliori prestazioni, formatta gli esempi few-shot nel prompt in modo coerente con i dati di addestramento dell'LLM e differenziato dalla cronologia delle conversazioni. La formattazione degli esempi in un prompt può influire notevolmente sulle prestazioni dell'LLM.
Esempio di caso d'uso: chiamata di funzione
Puoi utilizzare esempi few-shot per migliorare le prestazioni delle chiamate di funzione.
Puoi indicare la chiamata di funzione prevista per una query utente in un pattern coerente. L'esempio può modellare la risposta prevista alla richiesta includendo la funzione da richiamare e gli argomenti da includere nella chiamata di funzione. Considera un caso d'uso in cui la funzione get_store_location restituisce la posizione di un negozio e la relativa descrizione. Se una query non richiama questa funzione come previsto o mostra un output imprevisto, puoi utilizzare esempi few-shot per correggere questo comportamento per le query successive.
Per saperne di più sulla chiamata di funzione, consulta Chiamata di funzione.
Per saperne di più, consulta la guida rapida di Example Store.
Passaggi successivi
Scopri come creare un negozio di esempio.
Scopri come addestrare un agente con esempi