La piattaforma di agenti virtuali è una funzionalità di Quality AI che fornisce insight sul rendimento degli agenti conversazionali creati con Dialogflow e Customer Experience Agent Studio. Customer Experience Agent Studio è un generatore di agenti virtuali che ti aiuta a creare sistemi multi-agente asincroni con streaming bidirezionale.
Visualizzare la piattaforma
Segui questi passaggi per visualizzare la piattaforma nella console di Customer Experience Insights.
- Fai clic su Quality AI > Agenti > Agente virtuale.
- Seleziona un agente.
Rendimento dell'agente virtuale
La piattaforma di agenti virtuali fornisce dettagli sul rendimento degli agenti virtuali. La piattaforma mostra i dettagli delle metriche operative e di Quality AI.
Metriche operative
La piattaforma di agenti virtuali mostra ciascuna delle seguenti metriche come numero o percentuale.
- Sessioni totali: il numero totale di conversazioni gestite da questo agente.
- Tasso di riassegnazione: la percentuale di conversazioni con riassegnazione a un agente umano, calcolata utilizzando un indicatore di Dialogflow.
- Turni per sessione: il numero medio di turni per conversazione.
- Tasso di mancata corrispondenza: la percentuale di conversazioni che non corrispondono ad alcun intent, applicabile solo agli agenti virtuali basati sul flusso.
La piattaforma di agenti virtuali mostra un grafico della variazione nel tempo per ciascuna delle seguenti metriche.
- Volume: il numero totale di conversazioni gestite da questo agente.
- Tasso di escalation: la percentuale di conversazioni con escalation a un agente umano.
Segui questi metodi per calcolare il tasso di escalation:
- Dialogflow: calcolato utilizzando un segnale di Dialogflow.
- Customer Experience Agent Studio: calcolato utilizzando un segnale dalla traccia
EndSessiondi Customer Experience Agent Studio.
Segui questi passaggi in Customer Experience Agent Studio per configurare il tasso di escalation in end_session:
- Aggiungi lo strumento
end_sessional nodo dell'agente. Vai alla pagina Agente in Quality AI. Fai clic su Strumenti per visualizzare lo strumentoend_session. - Fornisci le istruzioni dell'agente.
Esempio: quando il cliente chiede un agente live, esegui lo strumento end_session con gli argomenti {session_escalated = true}
- Suddivisione per tipo di escalation: il numero di conversazioni per iniziatore di escalation, che può essere l'utente o l'agente, analizzato in base alla domanda predefinita nel punteggio predefinito Chi ha eseguito l'escalation della conversazione?.
- Tasso di errori degli strumenti: la percentuale di chiamate di strumenti che non sono riuscite in tutti gli utilizzi dello strumento nelle conversazioni per un agente specifico nel periodo di tempo selezionato e per il mezzo di conversazione specificato.
- Latenza degli strumenti: la latenza media di una chiamata di strumenti in tutti gli utilizzi dello strumento nelle conversazioni per l'agente specifico, nel periodo di tempo e nel mezzo di conversazione selezionati.
- Tasso di mancata corrispondenza: la percentuale di conversazioni che non corrispondono ad alcun intent, applicabile solo agli agenti virtuali basati sul flusso.
Suddivisione della latenza end-to-end (E2E)
La latenza end-to-end (E2E) è il tempo che intercorre tra la fine di un'espressione dell'utente e l'inizio dell'espressione dell'agente successiva. La piattaforma di agenti virtuali calcola la latenza E2E per ogni interazione utente-agente nelle conversazioni via chat e vocali.
La piattaforma di agenti virtuali mostra un grafico intitolato Suddivisione della latenza E2E, che illustra la latenza E2E a livello di espressione. L'asse y mostra il tempo con incrementi di 50 millisecondi. L'asse x indica che puoi visualizzare la latenza E2E per gli strumenti, il modello linguistico di grandi dimensioni (LLM) e la sintesi vocale (TTS). Infine, il grafico mostra la latenza E2E come barre separate per tre categorie di percentile: P50 è il 50° percentile, P90 è il 90° percentile e P99 è il 99° percentile. Ad esempio, se la latenza P99 dell'LLM è di 5 secondi, significa che il 99% dei valori di latenza dell'LLM a livello di espressione è inferiore a 5 secondi.
Suddivisione per tipo di escalation
La suddivisione per tipo di escalation mostra il numero di conversazioni per ogni iniziatore di escalation: utente o agente. Quality AI determina l'iniziatore di escalation rispondendo alla domanda predefinita Chi ha eseguito l'escalation della conversazione? Puoi eseguire il drill-down su un iniziatore di escalation per visualizzare un elenco di conversazioni con questo iniziatore.
Strumenti
Le metriche degli strumenti vengono calcolate per gli strumenti degli agenti conversazionali. Le metriche aggregate come la latenza degli strumenti e i tassi di errore aiutano i creatori di bot a identificare i colli di bottiglia delle prestazioni nelle conversazioni.
Metriche di Quality AI
La piattaforma di agenti virtuali mostra le seguenti metriche di Quality AI.
- Punteggio di qualità: il punteggio di qualità medio per punteggio nelle conversazioni gestite da questo agente.
- Sentiment complessivo: il punteggio di sentiment medio nelle conversazioni gestite da questo agente.
- Suddivisione del sentiment: un grafico a barre con codifica a colori per illustrare il numero di conversazioni di questo agente per categoria di sentiment a livello di conversazione: negativo, neutro o positivo.
- Esito della conversazione: il numero di conversazioni per ogni esito possibile.
- Sentiment per rilevamento: la suddivisione del numero di conversazioni per categoria di sentiment a livello di conversazione per questa metrica.
La piattaforma mostra anche i grafici della variazione nel tempo per le seguenti metriche di Quality AI.
- Punteggio di qualità: la percentuale di punteggi di qualità per tutte le conversazioni gestite da questo agente.
- Suddivisione per categoria di punteggio: i numeri del punteggio di qualità per ogni categoria predefinita: attività, conformità, cliente e qualsiasi categoria personalizzata.
Esito della conversazione
Il grafico dell'esito della conversazione mostra il numero di conversazioni che si sono concluse con ciascuno dei seguenti esiti possibili:
- Abbandonata
- Risolta parzialmente
- Riassegnazione
- Reindirizzata
- Risolta correttamente
- Sconosciuto
Calcola gli esiti delle conversazioni utilizzando le domande predefinite nel punteggio predefinito in Quality AI.
- Per visualizzare i dati sugli esiti in questo grafico, esegui un'analisi di Quality AI con il punteggio predefinito.
- Fai clic su un esito per visualizzare un elenco di conversazioni con quell'esito.
Suddivisione del sentiment
Dopo aver eseguito l'analisi del sentiment su tutte le conversazioni, il grafico di suddivisione del sentiment mostra il numero di conversazioni con un sentiment complessivo in ogni categoria: negativo, neutro e positivo.