Auf dieser Seite wird beschrieben, wie Sie den LLM-Parser der RAG Engine auf der Gemini Enterprise Agent Platform verwenden.
Einführung
Die RAG Engine verwendet LLMs für das Parsen von Dokumenten. LLMs können Dokumente auf folgende Weise effektiv verarbeiten:
- Semantische Inhalte in verschiedenen Formaten verstehen und interpretieren.
- Relevante Dokumentabschnitte abrufen
- Sinnvolle Informationen aus Dokumenten extrahieren
- Relevante Abschnitte in Dokumenten identifizieren.
- Komplexe Dokumente präzise zusammenfassen
- Visuelle Inhalte verstehen und mit ihnen interagieren.
- Daten aus Diagrammen und Schaubildern extrahieren
- Bilder beschreiben
- Beziehungen zwischen Diagrammen und Text verstehen
- Kontextbezogenere und genauere Antworten liefern.
Die Funktionen der RAG Engine verbessern die Qualität der generierten Antworten erheblich.
Unterstützte Modelle
Die folgenden Modelle unterstützen den LLM-Parser der RAG Engine:
- Gemini 3.8 Flash
- Gemini 3.5 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.1 Flash-Lite
- Gemini 2.5 Pro
- Gemini 2.5 Flash
- Gemini 2.5 Flash-Lite
Unterstützte Dateitypen
Die folgenden Dateitypen werden vom LLM-Parser unterstützt:
application/pdfimage/pngimage/jpegimage/webpimage/heicimage/heif
Preise und Kontingente
Preisinformationen finden Sie unter Preise für die Gemini Enterprise Agent Platform.
Informationen zu den geltenden Kontingenten finden Sie unter Ratenkontingente.
Der LLM-Parser ruft Gemini-Modelle auf, um Ihre Dokumente zu parsen. Dadurch entstehen zusätzliche Kosten, die Ihrem Projekt in Rechnung gestellt werden. Die Kosten können mit dieser Formel grob geschätzt werden:
cost = number_of_document_files * average_pages_per_document * (average_input_tokens * input_token_pricing_of_selected_model + average_output_tokens * output_token_pricing_of_selected_model)
Sie haben beispielsweise 1.000 PDF-Dateien mit jeweils 50 Seiten. Eine durchschnittliche PDF-Seite hat 500 Tokens und wir benötigen weitere 100 Tokens für den Prompt. Die durchschnittliche Ausgabe beträgt 100 Tokens.
cost = 1,000 * 50 * (600 * 0.075 / 1M + 100 * 0.3 / 1M) = 3.75
Die Kosten betragen 3,75 €.
Dateien mit aktiviertem LlmParser importieren
Ersetzen Sie die Werte in den folgenden Variablen, die in den Codebeispielen verwendet werden:
PROJECT_ID: Die ID Ihres Google Cloud -Projekts.
LOCATION: Die Region, in der Ihre Anfrage verarbeitet wird.
RAG_CORPUS_RESOURCE: Die ID Ihres Korpus.
GCS_URI: Der Cloud Storage-URI der Dateien, die Sie importieren möchten.
GOOGLE_DRIVE_URI: Der Google Drive-URI der Dateien, die Sie importieren möchten.
MODEL_NAME: Der Ressourcenname des Modells, das für das Parsen verwendet wird.
Format:
projects/{project_id}/locations/{location}/publishers/google/models/{model_id}CUSTOM_PARSING_PROMPT: Optional: Benutzerdefinierter Prompt, der vom Kunden für den LLM-Parser konfiguriert wird, um Dokumente zu parsen.
MAX_PARSING_REQUESTS_PER_MIN: Optional: Die maximale Anzahl von Anfragen, die der Job pro Minute an das Agent Platform-Modell senden kann. Weitere Informationen finden Sie unter Ratenbegrenzungen für Generative AI auf der Agent Platform und auf der Seite Kontingente und Systemlimits für Ihr Projekt, um einen geeigneten Wert festzulegen.
REST
curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_RESOURCE/ragFiles:import" -d '{
"import_rag_files_config": {
"gcs_source": {
"uris": ["GCS_URI", "GOOGLE_DRIVE_URI"]
},
"rag_file_chunking_config": {
"chunk_size": 512,
"chunk_overlap": 102
},
"rag_file_parsing_config": {
"llm_parser": {
"model_name": "MODEL_NAME",
"custom_parsing_prompt": "CUSTOM_PARSING_PROMPT"
"max_parsing_requests_per_min": "MAX_PARSING_REQUESTS_PER_MIN"
}
}
}
}'
Python
Informationen zum Installieren oder Aktualisieren des Agent Platform SDK für Python finden Sie unter Agent Platform SDK für Python installieren. Weitere Informationen finden Sie in der Referenzdokumentation zur Python API.
from vertexai import rag
import vertexai
PROJECT_ID = "PROJECT_ID"
CORPUS_NAME = "RAG_CORPUS_RESOURCE"
LOCATION = "LOCATION"
MODEL_ID = "MODEL_ID"
MODEL_NAME = "projects/{PROJECT_ID}/locations/{LOCATION}/publishers/google/models/{MODEL_ID}"
MAX_PARSING_REQUESTS_PER_MIN = MAX_PARSING_REQUESTS_PER_MIN # Optional
CUSTOM_PARSING_PROMPT = "Your custom prompt" # Optional
PATHS = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]
# Initialize Agent Platform API once per session
vertexai.init(project={PROJECT_ID}, location={LOCATION})
transformation_config = rag.TransformationConfig(
chunking_config=rag.ChunkingConfig(
chunk_size=1024, # Optional
chunk_overlap=200, # Optional
),
)
llm_parser_config = rag.LlmParserConfig(
model_name = MODEL_NAME,
max_parsing_requests_per_min=MAX_PARSING_REQUESTS_PER_MIN, # Optional
custom_parsing_prompt=CUSTOM_PARSING_PROMPT, # Optional
)
rag.import_files(
CORPUS_NAME,
PATHS,
llm_parser=llm_parser_config,
transformation_config=transformation_config,
)
Prompting
Der LLM-Parser der RAG Engine auf der Gemini Enterprise Agent Platform verwendet einen vordefinierten und optimierten Prompt zum Parsen von Dokumenten. Wenn Sie jedoch spezielle Dokumente haben, die möglicherweise nicht für einen allgemeinen Prompt geeignet sind, können Sie bei Verwendung der API einen benutzerdefinierten Parsing-Prompt angeben. Wenn Sie Gemini auffordern, Ihre Dokumente zu parsen, hängt die RAG Engine einen Prompt an Ihren Standardsystemprompt an.
Tabelle mit Prompt-Vorlagen
Die folgende Tabelle enthält ein Beispiel für eine Prompt-Vorlage, die Ihnen beim Erstellen von Prompts hilft, mit denen die RAG Engine Ihre Dokumente parsen kann:
| Anleitung | Vorlagenanweisung | Beispiel |
|---|---|---|
| Geben Sie eine Rolle an. | You are a/an [Specify the role, such as a factual data extractor or an information retriever]. | Du bist ein Informationsabrufer. |
| Aufgabe angeben. | Extrahiere [Gib den Typ der Informationen an, z. B. Tatsachenbehauptungen, wichtige Daten oder bestimmte Details] aus [Gib die Dokumentquelle an, z. B. ein Dokument, Text, Artikel, Bild, Tabelle]. | Wichtige Daten aus der Datei „sample.txt“ extrahieren |
| Erklären Sie, wie das LLM die Ausgabe gemäß Ihren Dokumenten generieren soll. | Präsentiere jeden Fakt in einem [Ausgabeformat angeben, z. B. strukturierte Liste oder Textformat] und verlinke auf die [Quellposition angeben, z. B. Seite, Absatz, Tabelle oder Zeile]. | Präsentiere jeden Fakt in einer strukturierten Liste und verlinke auf die Beispielseite. |
| Heben Sie hervor, worauf sich das LLM konzentrieren soll. | Extract [Specify the key data types, such as the names, dates, numbers, attributes, or relationships] exactly as stated. | Namen und Datumsangaben extrahieren |
| Heben Sie hervor, was das LLM vermeiden soll. | [List the actions to avoid, such as analysis, interpretation, summarizing, inferring, or giving opinions]. Extract only what the document explicitly says. | Keine Meinungen äußern. Extract only what the document explicitly says. |
Allgemeine Anleitung
Beachten Sie die folgenden Richtlinien, wenn Sie den Prompt schreiben, der an den LLM-Parser gesendet werden soll.
- Spezifisch: Definieren Sie die Aufgabe und die Art der zu extrahierenden Informationen klar.
- Detailliert: Geben Sie detaillierte Anweisungen zum Ausgabeformat, zur Quellenangabe und zum Umgang mit verschiedenen Datenstrukturen an.
- Einschränken: Geben Sie explizit an, was die KI nicht tun soll, z. B. Analysen oder Interpretationen.
- Klar: Verwenden Sie eine klare und direkte Sprache.
- Strukturiert: Organisieren Sie die Anweisungen logisch mithilfe von nummerierten Listen oder Aufzählungspunkten, um die Lesbarkeit zu verbessern.
Analyse der Parsing-Qualität
In dieser Tabelle sind die Ergebnisse von Szenarien aufgeführt, die Kunden mit der RAG Engine auf der Gemini Enterprise Agent Platform ausgeführt haben. Das Feedback zeigt, dass der LLM-Parser die Qualität des Parsens von Dokumenten verbessert.
| Szenario | Ergebnis | |
|---|---|---|
| Informationen auf Folien parsen und Abschnitte verknüpfen | Der LLM-Parser hat Abschnittstitel auf einer Folie erfolgreich mit den detaillierten Informationen auf den nachfolgenden Folien verknüpft. | |
| Informationen aus Tabellen verstehen und extrahieren | Der LLM-Parser hat Spalten und Überschriften in einer großen Tabelle korrekt zugeordnet, um bestimmte Fragen zu beantworten. | |
| Flussdiagramme interpretieren | Der LLM-Parser konnte der Logik eines Flussdiagramms folgen und die richtige Abfolge von Aktionen und die entsprechenden Informationen extrahieren. | |
| Daten aus Diagrammen extrahieren | Der LLM-Parser kann verschiedene Arten von Diagrammen interpretieren, z. B. Liniendiagramme, und basierend auf der Abfrage bestimmte Datenpunkte extrahieren. | |
| Beziehungen zwischen Überschriften und Text erfassen | Der LLM-Parser hat sich am Prompt orientiert und die Überschriftenstrukturen berücksichtigt. So konnte er alle relevanten Informationen zu einem bestimmten Thema oder Abschnitt abrufen. | |
| Möglichkeit, Einschränkungen von Einbettungen durch Prompt Engineering zu überwinden | In einigen Anwendungsfällen gab es anfangs Einschränkungen durch das Einbettungsmodell. Zusätzliche Tests haben jedoch gezeigt, dass ein gut formulierter LLM-Parser-Prompt diese Probleme möglicherweise beheben und die richtigen Informationen abrufen kann, selbst wenn das semantische Verständnis für das Einbettungsmodell allein eine Herausforderung darstellt. |
Der LLM-Parser verbessert die Fähigkeit des LLM, den Kontext in einem Dokument zu verstehen und Schlussfolgerungen zu ziehen, was zu genaueren und umfassenderen Antworten führt.
Abrufabfrage
Nachdem Sie einen Prompt eingegeben haben, der an ein generatives KI-Modell gesendet wird, durchsucht die Abrufkomponente in RAG ihre Wissensdatenbank nach Informationen, die für die Abfrage relevant sind. Weitere Informationen zum Abrufen von RAG-Dateien aus einem Korpus finden Sie unter Methode: ragFiles.get.
Nächste Schritte
Weitere Informationen zur RAG Engine auf der Gemini Enterprise Agent Platform finden Sie unter RAG Engine auf der Gemini Enterprise Agent Platform – Übersicht.
Weitere Informationen zur RAG Engine auf der Gemini Enterprise Agent Platform finden Sie hier: