Questo documento fornisce un'architettura di alto livello per un'applicazione che utilizza l'AI per generare soluzioni alle domande di assistenza dei clienti.
Il pubblico di destinazione di questo documento include architetti, sviluppatori e amministratori che creano e gestiscono applicazioni di AI generativa nel cloud. Il documento presuppone che tu abbia una conoscenza di base dell'AI generativa.
La sezione Deployment di questo documento fornisce esempi di codice per i casi d'uso dell'assistenza clienti assistita dall'AI.
Architettura
Il seguente diagramma mostra un'architettura per un'applicazione di assistenza AI per l'help desk in Google Cloud. L'applicazione riceve le domande dei clienti, recupera le risorse pertinenti da una knowledge base e genera soluzioni per le domande. L'architettura è un'implementazione dell'approccio di Retrieval-Augmented Generation (RAG).
L'applicazione in questa architettura è costituita da servizi containerizzati di cui viene eseguito il deployment in un cluster Google Kubernetes Engine (GKE). L'architettura mostra il seguente flusso:
- Un cliente invia una domanda all'applicazione di assistenza.
- L'applicazione di assistenza passa la domanda del cliente al servizio di recupero delle conoscenze.
- Il servizio di recupero delle conoscenze crea e invia un prompt a Gemini Enterprise Agent Platform per recuperare le risorse pertinenti alla domanda del cliente.
- Il modello Gemini su Agent Platform identifica le risorse pertinenti da una knowledge base di assistenza archiviata in Cloud Storage.
- Gemini restituisce gli ID delle risorse pertinenti al servizio di recupero delle conoscenze.
- Il servizio di recupero delle conoscenze recupera le risorse pertinenti da Cloud Storage.
- Il servizio di recupero delle conoscenze invia la domanda del cliente e le risorse pertinenti al servizio di generazione delle soluzioni.
- Il servizio di generazione delle soluzioni invia le risorse alla piattaforma degli agenti, con un prompt per generare una soluzione dettagliata alla domanda del cliente.
- Gemini genera una soluzione, ad esempio istruzioni passo passo o una procedura dettagliata in un video.
- Il servizio di generazione delle soluzioni fornisce la soluzione al cliente tramite l'applicazione di assistenza.
Prodotti utilizzati
Questa architettura di esempio utilizza i seguenti prodotti Google Cloud :
- Google Kubernetes Engine (GKE): un servizio Kubernetes che puoi utilizzare per eseguire il deployment e gestire applicazioni containerizzate su larga scala utilizzando l'infrastruttura di Google.
- Gemini Enterprise Agent Platform: una piattaforma completa che ti consente di creare, scalare, gestire e ottimizzare agenti AI di livello enterprise.
- Cloud Storage: un archivio di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloude vengono replicati in più località per la ridondanza.
Considerazioni sulla progettazione
Questa sezione descrive i fattori di progettazione, le best practice e i consigli in linea con il Well-Architected FrameworkGoogle Cloud . Tieni conto di queste informazioni quando utilizzi questa architettura di riferimento per sviluppare una topologia che soddisfi i tuoi requisiti specifici di sicurezza, ottimizzazione dei costi, efficienza operativa e prestazioni.
Sicurezza, privacy e conformità
Per progettare una topologia in Google Cloud che soddisfi i requisiti di sicurezza, privacy e conformità del tuo workload, prendi in considerazione i seguenti suggerimenti:
- Per filtrare i prompt dei clienti non attendibili e le risposte RAG per prompt injection, jailbreak e contenuti dannosi, utilizza Model Armor.
- Per rilevare e oscurare le informazioni che consentono l'identificazione personale (PII) nei ticket di assistenza e nei documenti della knowledge base, integra Sensitive Data Protection.
Per i principi e i suggerimenti di sicurezza specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: sicurezza nel Well-Architected Framework.
Ottimizzazione dei costi
Questa sezione fornisce indicazioni per aiutarti a ottimizzare i costi di configurazione e gestione della topologia di assistenza clienti in Google Cloud.
Quando i prompt di assistenza condividono ripetutamente istruzioni di sistema e documenti di riferimento, attiva la memorizzazione nella cache del contesto su Agent Platform. Il riutilizzo dei token di prefisso memorizzati nella cache tra le richieste riduce i costi dei token di input ripetuti e la latenza della risposta.
Per i principi e i suggerimenti di ottimizzazione dei costi specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione dei costi nel Well-Architected Framework.
Efficienza operativa
Per progettare una topologia Google Cloud che puoi gestire in modo efficiente, considera i seguenti suggerimenti:
- Per automatizzare il chunking dei documenti, gli embedding e il recupero con grounding su Cloud Storage, utilizza il motore RAG su Gemini Enterprise Agent Platform. Per la ricerca a livello aziendale pronta all'uso con citazioni su articoli di assistenza non strutturati, in alternativa puoi basare le risposte su Ricerca agente.
- Per orchestrare flussi di lavoro di assistenza multi-turno e chiamate agli strumenti, crea i tuoi servizi con l'Agent Development Kit (ADK). Per rendere persistente lo stato della conversazione tra i turni, utilizza le sessioni di Gemini Enterprise Agent Platform. Per conservare il contesto del cliente a lungo termine tra le sessioni di assistenza, abbina Agent Platform Sessions a Memory Bank.
- Se il tuo team non ha bisogno della personalizzazione di GKE a livello di cluster, puoi eseguire il deployment degli agenti di assistenza su Agent Runtime su Gemini Enterprise Agent Platform. Per i servizi HTTP containerizzati stateless, puoi anche eseguire i workload su Cloud Run per ridurre l'overhead di gestione dell'infrastruttura.
- Prima di eseguire il deployment degli aggiornamenti ai prompt, alla logica di recupero o al modello, misura la groundedness e la qualità delle risposte con la valutazione di modelli e agenti su Agent Platform.
Per i principi e i suggerimenti di eccellenza operativa specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: eccellenza operativa nel framework Well-Architected.
Ottimizzazione delle prestazioni
Per progettare una topologia in Google Cloud che soddisfi i requisiti di prestazioni dei tuoi workload, tieni conto dei seguenti suggerimenti:
- Per ottenere un recupero semantico a bassa latenza in ampie knowledge base di assistenza, indicizza gli embedding dei documenti in Vector Search. Per combinare la ricerca vettoriale e per parole chiave con la generazione automatica di embedding in un'unica raccolta, prendi in considerazione il recupero agentico.
- Per mantenere una latenza di risposta costante ed evitare l'esaurimento della quota durante i picchi di traffico dell'assistenza, prenota la capacità con il Throughput riservato su Agent Platform.
Per i principi e i suggerimenti di ottimizzazione delle prestazioni specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione delle prestazioni nel Well-Architected Framework.
Deployment
Per sperimentare con le applicazioni di assistenza clienti assistite dall'AI inGoogle Cloud, utilizza i seguenti esempi di codice:
- Crea un'applicazione di assistenza clienti che utilizza l'AI generativa.
- Progetta prompt di chat per i chatbot di assistenza clienti.
Passaggi successivi
- Crea un agente di assistenza clienti utilizzando Gemini.
- Crea agenti AI per casi d'uso di assistenza clienti utilizzando istruzioni, agenti basati su flussi e strumenti di datastore in Customer Experience Agent Studio.
- Esplora altre guide all'architettura dell'AI generativa.
- Per una panoramica dei principi e dei suggerimenti di architettura specifici per i workload di AI e ML in Google Cloud, consulta la prospettiva di AI e ML nel Well-Architected Framework.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.
Collaboratori
Autore: Kumar Dhanagopal | Cross-Product Solution Developer
Altri collaboratori:
- Amina Mansour | Tech Lead, Global Developer Relations & Strategic Content
- Megan O'Keefe | Developer Advocate
- Samantha He | Technical Writer
- Shir Meir Lador | Developer Relations Engineering Manager