RAG di IA generativa con Cloud SQL

Il template AI generativa RAG con Cloud SQL in Application Design Center consente di eseguire il deployment di un'applicazione di chat di AI generativa che utilizza la Retrieval-Augmented Generation (RAG) per basare le risposte sui dati della tua organizzazione. Puoi personalizzare i componenti preconfigurati del database vettoriale di Cloud Run, Vertex AI e Cloud SQL in base al tuo workload ed eseguirne il deployment come applicazione.

Ad esempio, potresti implementare questo template per soddisfare le seguenti esigenze aziendali:

Esempio Esigenza aziendale Implementazione
Chatbot di assistenza clienti Le aziende devono fornire un'assistenza clienti immediata. Ospitare l'interfaccia di chat su Cloud Run. Vertex AI elabora con l'AI gli embedding e genera risposte in base alla documentazione tecnica archiviata come vettori in Cloud SQL.
Assistente HR interno I dipendenti devono trovare informazioni su benefit, policy aziendali e procedure interne. Ospitare l'assistente RU su Cloud Run. Quando i dipendenti eseguono query sullo strumento, Vertex AI recupera le informazioni pertinenti sulle policy da Cloud SQL per generare risposte accurate e basate sulle fonti.
Ricercatore di documenti legali I team legali devono trovare la giurisprudenza o le clausole contrattuali pertinenti in ampi repository di documenti. Ospitare il portale di ricerca su Cloud Run. Vertex AI riassume i precedenti pertinenti e identifica il linguaggio specifico nei contratti utilizzando i documenti legali archiviati come vettori in Cloud SQL.
Ricerca semantica dei prodotti Le aziende di e-commerce vogliono facilitare le ricerche di prodotti utilizzando descrizioni in linguaggio naturale anziché parole chiave esatte. Ospitare l'interfaccia di ricerca su Cloud Run. Vertex AI elabora con l'AI le descrizioni degli utenti per restituire i prodotti semanticamente più pertinenti dai cataloghi dei prodotti archiviati come vettori in Cloud SQL.

Architettura

La seguente immagine mostra i componenti e le connessioni nell'applicazione:

Un'applicazione RAG di AI generativa nel canvas di progettazione. L'applicazione include componenti di frontend, recupero, AI, gestione dei secret e database.

Di seguito è riportato il flusso di elaborazione delle richieste dell'applicazione:

  1. Carichi i dati in un database PostgreSQL in Cloud SQL.
  2. Vertex AI crea gli embedding dei campi di testo e li archivia come vettori nel database.
  3. Un frontend di Cloud Load Balancing riceve le richieste esterne e distribuisce il traffico al backend di Cloud Load Balancing.
  4. Il backend di Cloud Load Balancing distribuisce il traffico al servizio di frontend Cloud Run.
  5. Il servizio di frontend comunica con un servizio di recupero per una chiamata di AI generativa.
  6. Il servizio di recupero utilizza Secret Manager per accedere in modo sicuro alle chiavi API e alle credenziali necessarie per accedere a Vertex AI e Cloud SQL.
  7. Il servizio di recupero converte la richiesta in un embedding e cerca vettori simili nel database Cloud SQL.
  8. Il servizio di recupero invia i risultati della ricerca, insieme al prompt originale, a Vertex AI per creare una risposta.

Passaggi successivi