Einige Produkte und Funktionen werden umbenannt. Außerdem werden die Funktionen für generative Playbooks und Flows zu einer einzigen konsolidierten Konsole migriert.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Playbook-Bewertungen

In dieser Anleitung wird erläutert, wie Sie die Funktion für integrierte Bewertungen in der Dialogflow CX-Konsole verwenden, um die Funktionalität Ihres Agents zu überprüfen und Regressionen nach Updates zu vermeiden. Dialogflow CX bietet sofort einsatzbereite Messwerte , mit denen Sie die Leistung Ihres Agents bewerten können.

Für alle Messwerte außer der Latenz ist mindestens ein Testfall erforderlich, eine "goldene Antwort", mit der Dialogflow CX die Leistung des Agents vergleicht, um seine Leistung zu berechnen. Jeder Testfall kann im Kontext einer Umgebung gemessen werden. So können Sie verschiedene Versionen von Playbooks, Abläufen und Tools angeben, die bei der Leistungsbewertung des Agents verwendet werden sollen.

(Optional) Umgebung erstellen

Das Erstellen einer Umgebung ist optional. Wenn Sie keine erstellen, wird der Standardwert Entwurf verwendet.

Klicken Sie zum Erstellen einer Umgebung im Menü auf der linken Seite auf Umgebungen und wählen Sie + Erstellen aus.
Wählen Sie die Versionen der Playbooks, Abläufe und Tools aus, die Sie verwenden möchten, um die Leistung des Agents zu messen.
Klicken Sie auf Speichern , um die Umgebung zu speichern.

Testlauf erstellen

Sie haben die Möglichkeit, einen Testfall aus einer vorhandenen Unterhaltung in Ihrem Unterhaltungsverlauf zu erstellen, eine neue Unterhaltung zu erstellen, die als Testfall gespeichert werden soll, oder Testfälle in Dialogflow CX zu importieren.

Testlauf in der Konsole erstellen

Rufen Sie im Menü auf der linken Seite Unterhaltungsverlauf auf.
Wenn Sie eine neue Unterhaltung erstellen möchten, aktivieren Sie Ihren Agenten (z. B. durch Anrufen der Telefonnummer des Agents), um eine Unterhaltung im Unterhaltungsverlauf zu erstellen. Wählen Sie eine Unterhaltung aus, die Sie als Testfall verwenden möchten.
Sehen Sie sich die Unterhaltung an und prüfen Sie die Antworten des Agents, die aufgerufenen Tools und wie sich die einzelnen Antworten anhören. Wenn Sie zufrieden sind, klicken Sie rechts oben im Fenster auf Testlauf erstellen.
Geben Sie einen Anzeigenamen für den Testfall an und legen Sie Ihre Erwartungen an Ereignisse fest, die auf Unterhaltungsebene auftreten sollen. Dazu können Tools, Playbooks und Abläufe gehören, die in der Unterhaltung aufgerufen werden sollen. Klicken Sie auf + Erwartung hinzufügen , um weitere Erwartungen hinzuzufügen. Wenn die Erwartungen in der aufgeführten Reihenfolge (von oben nach unten) ausgewertet werden sollen, aktivieren Sie Sequenzielle Validierung.
Klicken Sie auf Speichern , um den Testfall zu speichern.

Testläufe hochladen

Testfälle müssen in dem folgenden CSV-Format vorliegen.
Wenn Sie Testfälle in das System hochladen möchten, klicken Sie oben im Menü „Testfälle“ auf Importieren.
Wählen Sie im eingeblendeten Menü entweder die lokal gespeicherte Datei aus oder geben Sie den Pfad zum Cloud Storage-Bucket ein.
Ihre Testfälle sollten jetzt im Menü „Testfälle“ angezeigt werden.

Testlauf ausführen

Klicken Sie im Menü auf der linken Seite auf Testfälle und wählen Sie die Testfälle aus, mit denen Sie Ihren Agenten vergleichen möchten. Das kann ein einzelner oder mehrere Testfälle sein.
Klicken Sie auf Ausgewählte Testfälle ausführen.

Testergebnisse

Auf Ergebnisse zugreifen: Die neuesten Ausführungsergebnisse des Testlaufs werden nach Abschluss für jeden Testfall in der Ansicht Testfall angezeigt:
1. Semantische Ähnlichkeit: Misst, wie ähnlich die Unterhaltungen des Agents der „goldenen Antwort“ (Antworten im Testfall) waren. Für diesen Messwert sind goldene Antworten erforderlich. Die Werte können 0 (inkonsistent), 0,5 (etwas konsistent) oder 1 (sehr konsistent) sein.
2. Genauigkeit des Toolaufrufs: Ein Wert, der angibt, wie genau die Unterhaltung die Tools enthält, die während der Unterhaltung aufgerufen werden sollen. Die Werte liegen zwischen 0 und 1. Wenn in der Unterhaltung keine Tools verwendet werden, wird die Genauigkeit als -- (nicht zutreffend) angezeigt.
3. Latenz: Die Gesamtzeit, die der Agent benötigt, um eine Endnutzer anfrage zu verarbeiten und dem Nutzer zu antworten (die Differenz zwischen dem Ende der Äußerung des Nutzers und dem Beginn der Antwort des Agents). Die Einheiten sind in Sekunden angegeben.
Goldenen Testfall aktualisieren: Wenn die letzte Ausführung erwartete Änderungen aufgrund eines Agent-Updates widerspiegelt, können Sie auf „Als golden speichern“ klicken, um den ursprünglichen Testfall zu überschreiben.
Ergebnisse filtern und sortieren: Sie können die Bewertungsergebnisse nach einem der generierten Messwerte oder nach einer bestimmten Umgebung filtern und sortieren. Das ist nützlich, um Leistungsänderungen nach jedem Update zu verfolgen.

Formatierung für den Batch-Import von Testfällen

In diesem Abschnitt wird beschrieben, wie Sie eine CSV-Datei für den Import von Batch-Testfällen für Ihren Agenten formatieren. Das System liest diese Datei, um eine strukturierte Gruppe von Testfällen zu erstellen, die jeweils eine oder mehrere Unterhaltungsrunden enthalten.

Ein einzelner Testfall kann sich über mehrere Zeilen in der CSV-Datei erstrecken. In der ersten Zeile eines Testfalls werden die allgemeinen Eigenschaften definiert (z. B. Name und Sprache). Jede nachfolgende Zeile für diesen Testfall definiert eine einzelne Unterhaltungsrunde (Nutzer sagt etwas, Agent soll antworten).

Die CSV-Datei muss in der ersten Zeile eine Kopfzeile enthalten. Diese Kopfzeile definiert die Daten in den einzelnen Spalten.

Erforderliche Header

Die beiden erforderlichen Header müssen in der angegebenen Reihenfolge vorhanden sein. Beide sind für die erste Zeile eines neuen Testfalls erforderlich. Sie können einen neuen Testfall starten, indem Sie neue Werte für DisplayName und LanguageCode angeben.

DisplayName: Der Name des Testfalls. Dieser Wert wird nur für die erste Zeile eines neuen Testfalls angegeben.
LanguageCode: Der Sprachcode für den Test (z. B. en, en-US, es).

Optionale Header

Sie können die folgenden optionalen Header verwenden, um weitere Details für Ihre Testfälle anzugeben. Sie können in beliebiger Reihenfolge nach den ersten beiden erforderlichen Spalten stehen.

Metadaten des Testfalls

Tags: Durch Leerzeichen getrennte Tags zum Organisieren von Tests (z. B. „Zahlungen onboarding“).
Hinweise: Freitext-Hinweise oder eine Beschreibung des Zwecks des Testfalls.
TestCaseConfigV2.StartResource: Geben Sie den Ablauf oder das Playbook an, mit dem der Test gestartet werden soll.

Nutzereingabe

UserInput.Input.Text: Der Text, den der Nutzer für eine bestimmte Runde „eingibt“.
UserInput.InjectedParameters: Parameter, die zu Beginn einer Runde in die Unterhaltung eingefügt werden sollen, formatiert als JSON-String.

Agent-Ausgabe

AgentOutput.QueryResult.ResponseMessages.Text: Der genaue Text, mit dem der Agent geantwortet hat.
AgentOutput.QueryResult.Parameters: Die Parameter, die vom Agent extrahiert wurden, formatiert als JSON-String.

Erwartungen

OrderedExpectations.ExpectedFlow: Der Ablauf, der nach der Runde aktiv sein soll.
OrderedExpectations.ExpectedIntent: Der Intent, der für die Runde abgeglichen werden soll.
OrderedExpectations.ExpectedAgentReply: Der Text, mit dem der Agent antworten soll. Kann ein Teilstring der vollständigen Antwort sein.
OrderedExpectations.ExpectedOutputParameter: Die Parameter, die am Ende der Runde festgelegt werden sollen, formatiert als JSON-String.

Audio-Metadaten

AudioTurnMetadata: Metadaten für audiobasierte Tests, formatiert als JSON-String.

Testlauf erstellen

Testfälle sind nach Datenzeilen organisiert.

Wenn Sie einen neuen Testfall starten möchten, füllen Sie die Metadatenzeile aus.
- Regel: Diese Zeile muss einen Wert in der Spalte DisplayName haben.
- Aktion: Geben Sie Werte für DisplayName und LanguageCode ein. Sie können in dieser Zeile auch Tags, Notizen oder ein TestCaseConfigV2.StartResource hinzufügen. Spalten für Unterhaltungsrunden (z. B. UserInput.Input.Text) sollten in dieser Zeile leer bleiben. Wenn Sie Tags verwenden, trennen Sie die einzelnen Tags durch ein Leerzeichen. Beispiel: tag1 tag2 tag3. Wenn Sie TestCaseConfigV2.StartResource verwenden, stellen Sie dem Ressourcennamen start_flow: oder start_playbook: voran. Beispiel: start_flow:projects/p/locations/l/agents/a/flows/f.
Fügen Sie dem gerade gestarteten Testfall eine Unterhaltungsrunde hinzu, indem Sie direkt darunter eine neue Zeile hinzufügen.
- Regel: Die DisplayName Spalte muss leer sein. Dadurch wird dem Parser mitgeteilt, dass es sich um eine Runde handelt, die zum vorherigen Testfall gehört.
- Aktion: Füllen Sie die Spalten aus, die die Aktion des Nutzers und die erwartete Antwort des Agents für diese Runde beschreiben, z. B. UserInput.Input.Text und OrderedExpectations.ExpectedAgentReply. Für Spalten, die JSON erfordern, müssen Sie ein gültiges JSON-Objekt als String angeben. Beispiel: {"param_name": "param_value", "number_param": 123}.