Glossar zu generativer KI

In diesem Glossar werden Begriffe im Zusammenhang mit generativer künstlicher Intelligenz (KI) definiert.

KI-Agenten

Ein KI-Agent ist eine Anwendung, die ein Ziel erreicht, indem sie Eingaben verarbeitet, mit verfügbaren Tools Schlussfolgerungen zieht und basierend auf ihren Entscheidungen Maßnahmen ergreift. KI-Agenten verwenden Funktionsaufrufe, um die Eingabe zu formatieren und präzise Interaktionen mit externen Tools zu ermöglichen. Das folgende Diagramm zeigt die Komponenten eines KI-Agenten:

Ein KI-Agent besteht aus einer Orchestrierungsebene, einem Modell und Tools.

Wie im vorherigen Diagramm dargestellt, bestehen KI-Agenten aus den folgenden Komponenten:

  • Orchestrierung: Die Orchestrierungsebene eines KI-Agenten verwaltet den Speicher, den Status und die Entscheidungsfindung, indem sie den Plan, die Toolnutzung und den Datenfluss steuert. Die Orchestrierung umfasst die folgenden Komponenten:
    • Profil und Anweisungen: Der KI-Agent übernimmt eine bestimmte Rolle oder Persona, um seine Aktionen und Entscheidungen zu steuern.
    • Memory: Um Kontext und Zustand beizubehalten, verfügt der Agent über ein Kurzzeit- und ein Langzeitgedächtnis. Das Kurzzeitgedächtnis enthält den unmittelbaren Kontext und die Informationen, die für die aktuelle Aufgabe erforderlich sind. Im Langzeitgedächtnis wird der gesamte Unterhaltungsverlauf gespeichert.
    • Logisches Denken und Planung: Der Agent verwendet das Modell, um Aufgaben zu zerlegen und zu reflektieren, und erstellt dann einen Plan. Zuerst teilt der Agent den Nutzer-Prompt in Unterkomponenten auf, um komplexe Aufgaben durch Aufrufen einer oder mehrerer Funktionen zu bearbeiten. Als Nächstes reflektiert der Agent die Funktionsausgaben, indem er logisches Denken und Feedback verwendet, um die Antwort zu verbessern.
  • Modell: Jedes generative Sprachmodell, das Ziele verarbeitet, Pläne erstellt und Antworten generiert. Für eine optimale Leistung sollte ein Modell Funktionsaufrufe unterstützen und mit Datensignaturen aus Tools oder Reasoning-Schritten trainiert werden.
  • Tools: Eine Sammlung von Tools, einschließlich APIs, Diensten oder Funktionen, die Daten abrufen und Aktionen oder Transaktionen ausführen. Mit Tools können KI-Agenten mit externen Daten und Diensten interagieren.

Für Anwendungen, die autonome Entscheidungsfindung, komplexes mehrstufiges Workflow-Management oder adaptive Funktionen erfordern, sind KI-Agenten besser geeignet als Standard-Foundation-Models. Agenten sind hervorragend darin, Probleme in Echtzeit mithilfe externer Daten zu lösen und wissensintensive Aufgaben zu automatisieren. Diese Funktionen ermöglichen es einem Agenten, robustere Ergebnisse zu liefern als die passiven Textgenerierungsfunktionen von Foundation Models.

Weitere Informationen zu KI-Agenten finden Sie unter Was ist ein KI-Agent?.

Kontextfenster

Ein Kontextfenster ist die Anzahl der Tokens, die ein Foundation Model in einem bestimmten Prompt verarbeiten kann. Ein größeres Kontextfenster ermöglicht es dem Modell, auf mehr Informationen zuzugreifen und diese zu verarbeiten, was zu kohärenteren, relevanteren und umfassenderen Antworten führt.

Gemini-Modelle sind speziell mit langen Kontextfenstern ausgestattet, um diese größeren Informationsmengen zu verarbeiten. Um Ihnen eine Vorstellung von der Größenordnung zu geben: Ein Modell mit einem Kontextfenster von 1 Million Tokens kann jede der folgenden Eingaben verarbeiten:

  • 50.000 Codezeilen (mit den standardmäßigen 80 Zeichen pro Zeile)
  • Alle SMS, die Sie in den letzten 5 Jahren gesendet haben
  • 8 durchschnittlich lange englischsprachige Romane
  • Transkripte von über 200 Podcast-Folgen durchschnittlicher Länge
  • 1 Stunde Video ohne Audio
  • Ungefähr 45 Minuten Video mit Audio
  • 9,5 Stunden Audio

Weitere Informationen zu Best Practices für Prompts mit langem Kontext finden Sie unter Langer Kontext.

Einbettung

Eine Einbettung ist eine numerische Darstellung von Daten wie Text, Bildern oder Videos, die Beziehungen zwischen verschiedenen Eingaben erfasst. Einbettungen werden während der Trainingsphase eines Modells generiert, indem Text, Bilder und Videos in Arrays von Gleitkommazahlen umgewandelt werden, die als Vektoren bezeichnet werden. Einbettungen reduzieren häufig die Dimensionalität von Daten, was die Recheneffizienz verbessert und die Verarbeitung großer Datasets ermöglicht. Diese Reduzierung der Dimensionalität ist für das Training und die Bereitstellung komplexer Modelle entscheidend.

Für ML-Modelle müssen Daten in einem Format vorliegen, das sie verarbeiten können. Einbettungen erfüllen diese Anforderung, indem sie Daten einem kontinuierlichen Vektorraum zuordnen, in dem eine größere Nähe Datenpunkte mit ähnlicher Bedeutung widerspiegelt. Einbettungen ermöglichen es Modellen, nuancierte Muster und Beziehungen zu erkennen, die in Rohdaten verborgen bleiben würden.

Large Language Models (LLMs) basieren beispielsweise auf Einbettungen, um den Kontext und die Bedeutung von Text zu verstehen. Dieses Verständnis ermöglicht es dem LLM, kohärente und relevante Antworten zu generieren. Bei der Bildgenerierung erfassen Einbettungen die visuellen Merkmale von Bildern, sodass Modelle realistische und vielfältige Ausgaben erstellen können.

Systeme, die Retrieval-Augmented Generation (RAG) verwenden, nutzen Einbettungen, um Nutzeranfragen mit relevantem Wissen abzugleichen. Wenn eine Abfrage gestellt wird, wird sie in eine Einbettung umgewandelt, die dann mit den Einbettungen von Dokumenten in der Wissensdatenbank verglichen wird. Dieser Vergleich, der durch Ähnlichkeitssuchen im Vektorraum ermöglicht wird, erlaubt es dem System, die semantisch relevantesten Informationen abzurufen.

Weitere Informationen zu Einbettungsmodellen und Anwendungsfällen finden Sie in der Übersicht über Einbettungs-APIs.

Foundation Model

Foundation Models sind große, leistungsstarke Modelle, die mit riesigen Datenmengen trainiert werden, die oft mehrere Modalitäten wie Text, Bilder, Video und Audio umfassen. Diese Modelle verwenden statistische Modellierung, um wahrscheinliche Antworten auf Prompts vorherzusagen und neue Inhalte zu generieren. Sie lernen Muster aus ihren Trainingsdaten, z. B. Sprachmuster für die Textgenerierung und Diffusionstechniken für die Bildgenerierung.

Google bietet eine Vielzahl von generativen KI-Foundation Models, auf die über eine verwaltete API zugegriffen werden kann. Wenn Sie auf die in Google Cloudverfügbaren Foundation Models zugreifen möchten, verwenden Sie den Vertex AI Model Garden.

Funktionsaufrufe

Funktionsaufrufe sind eine Funktion, die Large Language Models (LLMs) mit externen Tools wie APIs und Funktionen verbindet, um die Antworten des LLM zu verbessern. Mit dieser Funktion können LLMs über statisches Wissen hinausgehen und Antworten mit Echtzeitinformationen und Diensten wie Datenbanken, Customer-Relationship-Management-Systemen und Dokument-Repositories verbessern.

Wenn Sie Funktionsaufrufe verwenden möchten, stellen Sie dem Modell eine Reihe von Funktionen zur Verfügung. Wenn Sie dann einen Prompt an das Modell senden, kann es die Funktionen basierend auf Ihrer Anfrage auswählen und aufrufen. Das Modell analysiert den Prompt und generiert dann strukturierte Daten, die angeben, welche Funktion aufgerufen werden soll, und die Parameterwerte. Die Ausgabe der strukturierten Daten ruft die Funktion auf und gibt die Ergebnisse dann an das Modell zurück. Das Modell bezieht die Ergebnisse in seine Argumentation ein, um eine Antwort zu generieren. So kann das Modell auf Informationen zugreifen und diese nutzen, die über sein internes Wissen hinausgehen. Dadurch kann es Aufgaben ausführen, die externe Daten oder Verarbeitung erfordern.

Funktionsaufrufe sind eine wichtige Komponente in der Architektur von KI-Agenten. Funktionsaufrufe bieten dem Modell eine strukturierte Möglichkeit, anzugeben, welches Tool verwendet und wie die Eingabe formatiert werden soll. Das trägt zu präzisen Interaktionen mit externen Systemen bei.

Weitere Informationen zu Funktionsaufrufen in Gemini finden Sie unter Einführung in Funktionsaufrufe.

Generative KI

Generative KI ist eine Art von KI, die über den traditionellen KI-Fokus auf Klassifizierung und Vorhersage hinausgeht. Traditionelle KI-Modelle lernen aus vorhandenen Daten, um Informationen zu klassifizieren oder zukünftige Ergebnisse anhand historischer Muster vorherzusagen. Generative KI verwendet Foundation Models, um neue Inhalte wie Text, Bilder, Audio oder Videos zu generieren. Diese neuen Inhalte werden generiert, indem die zugrunde liegenden Muster und der Stil der Trainingsdaten gelernt werden. So kann das Modell Ausgaben erstellen, die den Daten ähneln, mit denen es trainiert wurde.

Weitere Informationen dazu, wann generative KI verwendet werden sollte, und zu Anwendungsfällen für generative KI in Unternehmen.

Fundierung

Fundierung ist der Prozess, bei dem die Ausgabe eines Modells mit überprüfbaren Informationsquellen verbunden wird. Diese Quellen können praktische, kontextspezifische Informationen enthalten, z. B. interne Unternehmensdokumentation, projektspezifische Daten oder Kommunikationsaufzeichnungen. Die Fundierung trägt dazu bei, die Accuracy, Zuverlässigkeit und Nützlichkeit von KI-Ausgaben zu verbessern, indem dem Modell Zugriff auf bestimmte Datenquellen gewährt wird. Durch die Fundierung wird die Wahrscheinlichkeit von Halluzinationen verringert, also von Fällen, in denen das Modell Inhalte generiert, die nicht auf Fakten beruhen. Eine gängige Art der Fundierung ist die Retrieval-Augmented Generation (RAG), bei der relevante externe Informationen abgerufen werden, um die Antworten des Modells zu verbessern.

Weitere Informationen zur Fundierung mit der Google Suche finden Sie unter Fundierungsübersicht.

Large Language Model (LLM)

Ein Large Language Model (LLM) ist ein textbasiertes Foundation Model, das mit einer riesigen Datenmenge trainiert wurde. LLMs werden für Natural Language Processing-Aufgaben (NLP) verwendet, z. B. Textgenerierung, maschinelle Übersetzung, Textzusammenfassung und Beantwortung von Fragen. Der Begriff LLM wird manchmal synonym mit Foundation Models verwendet. LLMs sind jedoch textbasiert, während Foundation Models mit mehreren Modalitäten trainiert werden und Eingaben aus mehreren Modalitäten empfangen können, darunter Text, Bilder, Audio und Video.

Um die Muster und Beziehungen innerhalb der Sprache zu erlernen, verwenden LLMs Techniken wie Reinforcement Learning und Feinabstimmung von Anweisungen. Beim Entwerfen von Prompts ist es wichtig, die verschiedenen Faktoren zu berücksichtigen, die die Antworten des Modells beeinflussen können.

Latenz

Latenz ist die Zeit, die ein Modell benötigt, um einen Eingabe-Prompt zu verarbeiten und eine Antwort zu generieren. Berücksichtigen Sie beim Prüfen der Latenz eines Modells Folgendes:

  • Zeit bis zum ersten Token (TTFT): Die Zeit, die das Modell benötigt, um das erste Token der Antwort zu generieren, nachdem es den Prompt erhalten hat. TTFT ist wichtig für Streaminganwendungen, bei denen Sie sofortiges Feedback wünschen.
  • Zeit bis zum letzten Token (Time to Last Token, TTLT): Die Gesamtzeit, die das Modell benötigt, um den Prompt zu verarbeiten und die vollständige Antwort zu generieren.

Informationen zum Reduzieren der Latenz finden Sie unter Best Practices mit Large Language Models (LLMs).

Prompt Engineering

Prompt Engineering ist der iterative Prozess, bei dem ein Prompt erstellt und die Antwort des Modells abgerufen wird, um die gewünschte Antwort zu erhalten. Gut strukturierte Prompts können wichtig sein, um genaue, hochwertige Antworten aus einem Sprachmodell zu gewährleisten.

Im Folgenden finden Sie gängige Techniken, mit denen Sie Antworten verbessern können:

  • Zero-Shot-Prompts: Sie geben einen Prompt ohne Beispiele an und verlassen sich auf das vorhandene Wissen des Modells.
  • One-Shot-Prompting: Sie geben im Prompt ein einzelnes Beispiel an, um die Antwort des Modells zu steuern.
  • Few-Shot-Prompts: Geben Sie im Prompt mehrere Beispiele an, um das gewünschte Muster oder die gewünschte Aufgabe zu demonstrieren.

Wenn Sie einem Modell Beispiele bereitstellen, können Sie Aspekte der Modellantwort wie Formatierung, Formulierung, Umfang und allgemeine Muster steuern. Effektive Few-Shot-Prompts kombinieren klare Anweisungen mit spezifischen und vielfältigen Beispielen. Es ist wichtig, die optimale Anzahl von Beispielen zu ermitteln. Zu wenige Beispiele bieten möglicherweise nicht genügend Anleitung, aber zu viele Beispiele können dazu führen, dass das Modell zu stark an die Beispiele angepasst wird und nicht gut generalisiert.

Weitere Informationen zu Best Practices für Prompts finden Sie unter Übersicht über Prompt-Strategien.

Prompting

Ein Prompt ist eine Anfrage in natürlicher Sprache, die an ein generatives KI-Modell gesendet wird, um eine Antwort zu erhalten. Je nach Modell kann ein Prompt Text, Bilder, Videos, Audio, Dokumente und andere oder sogar mehrere Modalitäten (multimodal) enthalten.

Ein effektiver Prompt besteht aus Inhalt und Struktur. Der Inhalt enthält alle relevanten Informationen zur Aufgabe, z. B. Anleitungen, Beispiele und Kontext. Die Struktur sorgt für ein effizientes Parsen durch Organisation, einschließlich Reihenfolge, Label und Trennzeichen. Je nach gewünschter Ausgabe können Sie zusätzliche Komponenten in Betracht ziehen.

Modellparameter

Modellparameter sind interne Variablen, die ein Modell verwendet, um zu bestimmen, wie es Eingabedaten verarbeitet und Ausgaben generiert. Während des Trainings können Sie Modellparameter wie Gewichtung und Bias anpassen, um die Leistung des Modells zu optimieren. Während der Inferenz können Sie die Ausgabe des Modells über verschiedene Prompt-Parameter beeinflussen, was die gelernten Modellparameter nicht direkt ändert.

Im Folgenden finden Sie einige der Prompt-Parameter, die sich auf die Inhaltsgenerierung in der Gemini API in Vertex AI auswirken:

  • temperature: Die Temperatur ändert die Zufälligkeit der Tokenauswahl während der Antwortgenerierung, was sich auf die Kreativität und Vorhersehbarkeit der Ausgabe auswirkt. Der Wert von temperature liegt zwischen 0 und 1. Niedrigere Temperaturen (näher an 0) führen zu deterministischeren und vorhersehbareren Ergebnissen. Höhere Temperaturen (näher an 1) führen zu vielfältigeren und kreativeren Texten, die Ergebnisse sind jedoch möglicherweise weniger kohärent.
  • topP: Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Mit Top-P wird die kleinste Gruppe von Tokens ausgewählt, deren kumulative Wahrscheinlichkeit einen Schwellenwert oder p überschreitet. Anschließend wird eine Stichprobe aus dieser Verteilung gezogen. Der Wert von topP reicht von 0 bis 1. Beispiel: Wenn die Tokens A, B und C eine Wahrscheinlichkeit von 0,3, 0,2 und 0,1 haben und der Wert von topP 0.5 ist, wählt das Modell anhand der Temperatur entweder A oder B als das nächste Token und schließt C als Kandidaten aus.
  • topK: Der Wert „Top-K“ ändert, wie das Modell Tokens für die Ausgabe auswählt. Top-K wählt die statistisch wahrscheinlichsten Tokens aus, um eine Antwort zu generieren. Der Wert von topK stellt eine Anzahl von Tokens von 1 bis 40 dar, aus denen das Modell auswählt, bevor es eine Antwort generiert. Beispiel: Wenn die Tokens A, B, C und D eine Wahrscheinlichkeit von 0,6, 0,5, 0,2 und 0,1 haben und der „Top-K“-Wert 3 ist, wählt das Modell anhand der Temperatur entweder A, B oder C als das nächste Token und schließt D als Kandidaten aus.
  • maxOutputTokens: Die Einstellung maxOutputTokens ändert die maximale Anzahl von Tokens, die in der Antwort generiert werden können. Ein niedrigerer Wert führt zu kürzeren Antworten und ein höherer Wert zu potenziell längeren Antworten.

Weitere Informationen zu Sampling-Parametern in der Gemini API in Vertex AI finden Sie unter Parameter für die Inhaltsgenerierung.

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist eine Technik zur Verbesserung der Qualität und Genauigkeit der Ausgabe von Large Language Models (LLMs) durch Fundierung mit Wissensquellen, die nach dem Training des Modells abgerufen werden. RAG behebt LLM-Einschränkungen wie sachliche Ungenauigkeiten, fehlenden Zugriff auf aktuelle oder spezialisierte Informationen und die Unfähigkeit, Quellen zu zitieren. Durch den Zugriff auf Informationen, die aus vertrauenswürdigen Wissensdatenbanken oder Dokumenten abgerufen werden, einschließlich Daten, mit denen das Modell nicht trainiert wurde, proprietären Daten oder sensiblen nutzerspezifischen Daten, können LLMs zuverlässigere und kontextrelevantere Antworten generieren.

Wenn ein Modell, das RAG verwendet, Ihren Prompt empfängt, durchläuft der RAG-Prozess die folgenden Phasen:

  1. Abrufen: Es wird nach Daten gesucht, die für den Prompt relevant sind.
  2. Erweitern: Die abgerufenen Daten werden an den Prompt angehängt.
  3. Generieren:
    1. Weisen Sie das LLM an, eine Zusammenfassung oder Antwort basierend auf dem angereicherten Prompt zu erstellen.
    2. Die Antwort wird zurückgegeben.

Weitere Informationen zu Vertex AI und RAG finden Sie unter Vertex AI RAG Engine – Übersicht.

Tokens

Ein Token ist eine grundlegende Dateneinheit, die von einem Foundation Model verarbeitet wird. Modelle trennen Daten in einem Prompt zur Verarbeitung in Tokens. Die Gesamtheit aller von einem Modell verwendeten Tokens wird als Vokabular bezeichnet. Tokens können einzelne Zeichen wie z, ganze Wörter wie cat oder Teile längerer Wörter sein.

Tokenizer trennen lange Wörter wie komplexe oder technische Begriffe, zusammengesetzte Wörter oder Wörter mit Satzzeichen und Sonderzeichen in mehrere Tokens. Das Aufteilen von Text in Tokens wird als Tokenisierung bezeichnet. Das Ziel der Tokenisierung besteht darin, Tokens mit semantischer Bedeutung zu erstellen, die neu kombiniert werden können, um das ursprüngliche Wort zu verstehen. Das Wort „predefined“ kann beispielsweise in die folgenden Tokens aufgeteilt werden: „pre“, „define“, „ed“.

Tokens können multimodale Eingaben wie Bilder, Videos und Audio darstellen. Einbettungstechniken wandeln multimodale Eingaben in numerische Darstellungen um, die das Modell als Tokens verarbeiten kann. Im Folgenden finden Sie die ungefähren Tokenberechnungen für eine multimodale Beispieleingabe, unabhängig von der Anzeige- oder Dateigröße:

  • Bilder: 258 Tokens insgesamt
  • Video: 263 Tokens pro Sekunde
  • Audio: 32 Tokens pro Sekunde

Für jedes Modell gilt eine Begrenzung der Anzahl der Tokens, die in einem Prompt und einer Antwort verarbeitet werden können. Außerdem werden die Kosten für die Modellnutzung anhand der Anzahl der Eingabe- und Ausgabetokens berechnet. Informationen zum Abrufen der Tokenanzahl eines Prompts, der an ein Gemini-Modell gesendet wurde, finden Sie unter Tokens auflisten und zählen. Informationen zu den Kosten für generative KI-Modelle in Vertex AI finden Sie unter Vertex AI-Preise.

tuning

Abstimmung ist der Prozess, bei dem ein Foundation Model so angepasst wird, dass es bestimmte Aufgaben mit höherer Precision und Accuracy ausführt. Die Abstimmung erfolgt durch Anpassen einiger oder aller Parameter des Modells oder durch Trainieren eines Modells mit einem Dataset, das Beispiele enthält, die die gewünschten Aufgaben und Ergebnisse replizieren. Die Abstimmung ist ein iterativer Prozess, der komplex und kostspielig sein kann, aber das Potenzial hat, erhebliche Leistungsverbesserungen zu erzielen. Die Abstimmung ist am effektivsten, wenn Sie ein mit Labels versehenes Dataset mit mehr als 100 Beispielen haben und komplexe oder einzigartige Aufgaben ausführen möchten, für die Prompting-Techniken nicht ausreichen.

Die folgenden Optimierungstechniken werden von Vertex AI unterstützt:

  • Vollständige Feinabstimmung: Eine Technik, bei der alle Modellparameter während des Abstimmungsprozesses aktualisiert werden. Die vollständige Feinabstimmung kann rechenintensiv sein und viele Daten erfordern, hat aber auch das Potenzial, die höchste Leistung zu erzielen, insbesondere bei komplexen Aufgaben.
  • Parametereffiziente Abstimmung: Eine Technik, die auch als Adapterabstimmung bezeichnet wird. Bei der parametereffizienten Abstimmung werden einige der Modellparameter während des Abstimmungsprozesses aktualisiert. Die parametereffiziente Abstimmung ist im Vergleich zur vollständigen Feinabstimmung ressourceneffizienter und kostengünstiger.
  • Überwachte Feinabstimmung: Eine Technik, bei der das Modell mit gelabelten Eingabe-Ausgabe-Paaren trainiert wird. Die überwachte Feinabstimmung wird häufig für Aufgaben verwendet, die Klassifizierung, Übersetzung und Zusammenfassung umfassen.

Weitere Informationen zur Optimierung finden Sie unter Einführung in die Optimierung.