Questa pagina spiega come utilizzare il parser LLM del motore RAG su Gemini Enterprise Agent Platform.
Introduzione
RAG Engine utilizza gli LLM per l'analisi dei documenti. Gli LLM hanno la capacità di elaborare efficacemente i documenti nei seguenti modi:
- Comprendere e interpretare contenuti semantici in vari formati.
- Recuperare i segmenti di documenti pertinenti.
- Estrai informazioni significative dai documenti.
- Identificare le sezioni pertinenti nei documenti.
- Riassumere con precisione documenti complessi.
- Comprendere e interagire con le immagini.
- Estrai dati da grafici e diagrammi.
- Descrivi immagini.
- Comprendere le relazioni tra grafici e testo.
- Fornire risposte più accurate e ricche di contesto.
Le funzionalità del motore RAG migliorano significativamente la qualità delle risposte generate.
Modelli supportati
I seguenti modelli supportano l'analizzatore LLM del motore RAG:
- Gemini 3.8 Flash
- Gemini 3.5 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.1 Flash-Lite
- Gemini 2.5 Pro
- Gemini 2.5 Flash
- Gemini 2.5 Flash-Lite
Tipi di file supportati
Il parser LLM supporta i seguenti tipi di file:
application/pdfimage/pngimage/jpegimage/webpimage/heicimage/heif
Prezzi e quote
Per i dettagli sui prezzi, consulta i prezzi di Gemini Enterprise Agent Platform.
Per le quote applicabili, consulta Quote di frequenza.
Il parser LLM chiama i modelli Gemini per analizzare i tuoi documenti. In questo modo vengono generati costi aggiuntivi, che vengono addebitati al tuo progetto. Il costo può essere stimato approssimativamente utilizzando questa formula:
cost = number_of_document_files * average_pages_per_document * (average_input_tokens * input_token_pricing_of_selected_model + average_output_tokens * output_token_pricing_of_selected_model)
Ad esempio, hai 1000 file PDF e ogni file PDF ha 50 pagine. La pagina PDF media ha 500 token e abbiamo bisogno di altri 100 token per il prompt. L'output medio è di 100 token.
cost = 1,000 * 50 * (600 * 0.075 / 1M + 100 * 0.3 / 1M) = 3.75
Il costo è di 3,75 $.
Importa i file con LlmParser abilitato
Sostituisci i valori nelle seguenti variabili utilizzate negli esempi di codice:
PROJECT_ID: l'ID del progetto Google Cloud .
LOCATION: la regione in cui viene elaborata la richiesta.
RAG_CORPUS_RESOURCE: l'ID del corpus.
GCS_URI: l'URI Cloud Storage dei file che vuoi importare.
GOOGLE_DRIVE_URI: l'URI di Google Drive dei file che vuoi importare.
MODEL_NAME: il nome della risorsa del modello utilizzato per l'analisi.
Formato:
projects/{project_id}/locations/{location}/publishers/google/models/{model_id}CUSTOM_PARSING_PROMPT: (facoltativo) prompt personalizzato configurato dal cliente per l'utilizzo da parte del parser LLM per l'analisi dei documenti.
MAX_PARSING_REQUESTS_PER_MIN: Opzionale: Il numero massimo di richieste che il job può effettuare al modello della piattaforma Agent al minuto. Per ulteriori informazioni, consulta i limiti di frequenza dell'AI generativa su Agent Platform e la pagina Quote e limiti di sistema del tuo progetto per impostare un valore appropriato.
REST
curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_RESOURCE/ragFiles:import" -d '{
"import_rag_files_config": {
"gcs_source": {
"uris": ["GCS_URI", "GOOGLE_DRIVE_URI"]
},
"rag_file_chunking_config": {
"chunk_size": 512,
"chunk_overlap": 102
},
"rag_file_parsing_config": {
"llm_parser": {
"model_name": "MODEL_NAME",
"custom_parsing_prompt": "CUSTOM_PARSING_PROMPT"
"max_parsing_requests_per_min": "MAX_PARSING_REQUESTS_PER_MIN"
}
}
}
}'
Python
Per scoprire come installare o aggiornare l'SDK Agent Platform per Python, consulta Installa l'SDK Agent Platform per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
from vertexai import rag
import vertexai
PROJECT_ID = "PROJECT_ID"
CORPUS_NAME = "RAG_CORPUS_RESOURCE"
LOCATION = "LOCATION"
MODEL_ID = "MODEL_ID"
MODEL_NAME = "projects/{PROJECT_ID}/locations/{LOCATION}/publishers/google/models/{MODEL_ID}"
MAX_PARSING_REQUESTS_PER_MIN = MAX_PARSING_REQUESTS_PER_MIN # Optional
CUSTOM_PARSING_PROMPT = "Your custom prompt" # Optional
PATHS = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]
# Initialize Agent Platform API once per session
vertexai.init(project={PROJECT_ID}, location={LOCATION})
transformation_config = rag.TransformationConfig(
chunking_config=rag.ChunkingConfig(
chunk_size=1024, # Optional
chunk_overlap=200, # Optional
),
)
llm_parser_config = rag.LlmParserConfig(
model_name = MODEL_NAME,
max_parsing_requests_per_min=MAX_PARSING_REQUESTS_PER_MIN, # Optional
custom_parsing_prompt=CUSTOM_PARSING_PROMPT, # Optional
)
rag.import_files(
CORPUS_NAME,
PATHS,
llm_parser=llm_parser_config,
transformation_config=transformation_config,
)
Guida introduttiva ai prompt
Il parser LLM del motore RAG su Gemini Enterprise Agent Platform utilizza un prompt predefinito e ottimizzato per l'analisi dei documenti. Tuttavia, se hai documenti specializzati che potrebbero non essere adatti a un prompt generale, puoi specificare il prompt di analisi personalizzato quando utilizzi l'API. Quando chiedi a Gemini di analizzare i tuoi documenti, il motore RAG aggiunge un prompt al prompt di sistema predefinito.
Tabella dei template di prompt
Per facilitare l'analisi dei documenti, la tabella seguente fornisce un esempio di template di prompt per aiutarti a creare prompt che RAG Engine può utilizzare per analizzare i tuoi documenti:
| Instruction | Template statement | Esempio |
|---|---|---|
| Specifica il ruolo. | Sei un/una [Specifica il ruolo, ad esempio un estrattore di dati oggettivi o un recuperatore di informazioni]. | Sei un recuperatore di informazioni. |
| Specifica l'attività. | Estrai [specifica il tipo di informazioni, ad esempio dichiarazioni oggettive, dati chiave o dettagli specifici] da [specifica l'origine del documento, ad esempio un documento, un testo, un articolo, un'immagine, una tabella]. | Estrai i dati chiave dal file sample.txt. |
| Spiega come vuoi che l'LLM generi l'output in base ai tuoi documenti. | Presenta ogni fatto in un [Specifica il formato di output, ad esempio un elenco strutturato o un formato di testo] e inserisci un link alla relativa [Specifica la posizione della fonte, ad esempio una pagina, un paragrafo, una tabella o una riga]. | Presenta ogni informazione in un elenco strutturato e inserisci un link alla pagina di esempio. |
| Evidenzia su cosa dovrebbe concentrarsi l'LLM. | Estrai [specifica i tipi di dati chiave, come nomi, date, numeri, attributi o relazioni] esattamente come indicato. | Estrai nomi e date. |
| Evidenzia ciò che vuoi che l'LLM eviti. | [Elenca le azioni da evitare, come analisi, interpretazione, riepilogo, deduzione o espressione di opinioni]. Estrai solo ciò che è esplicitamente indicato nel documento. | Non esprimere opinioni. Estrai solo ciò che è esplicitamente indicato nel documento. |
Indicazioni generali
Segui queste linee guida per scrivere il prompt da inviare al parser LLM.
- Specificità: definisci chiaramente l'attività e il tipo di informazioni da estrarre.
- Dettagliato: fornisci istruzioni dettagliate sul formato di output, sull'attribuzione della fonte e sulla gestione di diverse strutture di dati.
- Vincoli: indica esplicitamente cosa l'AI non deve fare, ad esempio analisi o interpretazioni.
- Chiarezza: utilizza un linguaggio chiaro e diretto.
- Strutturate: organizza le istruzioni in modo logico utilizzando elenchi numerati o puntati per una maggiore leggibilità.
Analisi della qualità dell'analisi
Questa tabella elenca i risultati degli scenari eseguiti dai clienti utilizzando RAG Engine su Gemini Enterprise Agent Platform. Il feedback mostra che l'analizzatore LLM migliora la qualità dell'analisi dei documenti.
| Scenario | Risultato | |
|---|---|---|
| Analisi delle informazioni tra le slide e collegamento delle sezioni | Il parser LLM ha collegato correttamente i titoli delle sezioni di una slide alle informazioni dettagliate presentate nelle slide successive. | |
| Comprensione ed estrazione di informazioni dalle tabelle | Il parser LLM ha correlato correttamente colonne e intestazioni all'interno di una tabella di grandi dimensioni per rispondere a domande specifiche. | |
| Interpretazione dei diagrammi di flusso | Il parser LLM è stato in grado di seguire la logica di un diagramma di flusso ed estrarre la sequenza corretta di azioni e le informazioni corrispondenti. | |
| Estrazione di dati dai grafici | Il parser LLM potrebbe interpretare diversi tipi di grafici, ad esempio grafici a linee, ed estrarre punti dati specifici in base alla query. | |
| Acquisizione delle relazioni tra intestazioni e testo | Il parser LLM, guidato dal prompt, ha prestato attenzione alle strutture delle intestazioni e ha potuto recuperare tutte le informazioni pertinenti associate a un particolare argomento o sezione. | |
| Potenziale per superare le limitazioni degli embedding con il prompt engineering | Sebbene inizialmente ostacolati dalle limitazioni del modello di embedding in alcuni casi d'uso, ulteriori esperimenti hanno dimostrato che un prompt del parser LLM ben progettato potrebbe potenzialmente mitigare questi problemi e recuperare le informazioni corrette anche quando la comprensione semantica è difficile per il solo modello di embedding. |
Il parser LLM migliora la capacità dell'LLM di comprendere e ragionare sul contesto all'interno di un documento, il che porta a risposte più accurate e complete.
Query di recupero
Dopo aver inserito un prompt che viene inviato a un modello di AI generativa, il componente di recupero in RAG esegue una ricerca nella sua knowledge base per trovare informazioni pertinenti alla query. Per saperne di più sul recupero dei file RAG da un corpus, consulta Metodo: ragFiles.get.
Passaggi successivi
Per scoprire di più su RAG Engine su Gemini Enterprise Agent Platform, consulta la panoramica di RAG Engine su Gemini Enterprise Agent Platform.
Per scoprire di più su RAG Engine su Gemini Enterprise Agent Platform, consulta quanto segue: