Questo documento descrive un'architettura di riferimento per le compagnie assicurative sanitarie che vogliono automatizzare l'elaborazione delle richieste di autorizzazione preventiva (PA) e migliorare i processi di revisione dell'utilizzo (UR) utilizzando Google Cloud. È rivolto agli sviluppatori di software e agli amministratori di programmi di queste organizzazioni. Questa architettura aiuta i fornitori di piani sanitari a ridurre i costi amministrativi, aumentare l'efficienza e migliorare il processo decisionale automatizzando l'importazione dati e l'estrazione di insight dai moduli clinici. Inoltre, consente loro di utilizzare modelli di AI per la generazione di prompt e i suggerimenti.
Architettura
Il seguente diagramma descrive un'architettura e un approccio per automatizzare il workflow di importazione dati e ottimizzare il processo di revisione della gestione dell'utilizzo (UM). Questo approccio utilizza i servizi di dati e AI in Google Cloud.
L'architettura precedente contiene due flussi di dati, supportati dai seguenti sottosistemi:
- Attivatore dati delle richieste di risarcimento (CDA), che estrae i dati da fonti non strutturate, come moduli e documenti, e li importa in un database in un formato strutturato e leggibile da macchina. CDA implementa il flusso di dati per l'importazione dei moduli di richiesta di AP.
- Servizio di revisione dell'utilizzo (servizio UR), che integra i dati delle richieste di AP, i documenti delle policy e altre linee guida per l'assistenza per generare consigli. Il servizio UR implementa il flusso di dati per esaminare le richieste di AP utilizzando l'AI generativa.
Le sezioni seguenti descrivono questi flussi di dati.
Flusso di dati CDA
Il seguente diagramma mostra il flusso di dati quando CDA importa i moduli di richiesta di AP.
Come mostrato nel diagramma precedente, i gestori dei casi di AP interagiscono con i componenti del sistema per importare, convalidare ed elaborare le richieste di AP. I case manager di AP sono i membri del team delle operazioni aziendali responsabili dell'acquisizione delle richieste di AP. Il flusso di eventi è il seguente:
- I case manager di PA ricevono i moduli di richiesta di PA (i moduli
pa_forms) dal fornitore di servizi sanitari e li caricano nel bucket Cloud Storagepa_forms_bkt. - Il servizio
ingestion_servicerimane in ascolto del bucketpa_forms_bktper rilevare eventuali modifiche. Il servizioingestion_servicepreleva i modulipa_formsdal bucketpa_forms_bkt. Il servizio identifica i processori Document AI preconfigurati, chiamatiform_processors. Questi processori sono definiti per elaborare i modulipa_forms. Il servizioingestion_serviceestrae le informazioni dai moduli utilizzando i processoriform_processors. I dati estratti dai moduli sono in formato JSON. - Il servizio
ingestion_servicescrive le informazioni estratte con i punteggi di affidabilità a livello di campo nella raccolta del database Firestore, denominata raccoltapa_form_collection. - L'applicazione
hitl_apprecupera le informazioni JSON con i punteggi di affidabilità dalla raccoltapa_form_collection. L'applicazione calcola il punteggio di affidabilità a livello di documento dai punteggi di affidabilità a livello di campo forniti dai modelli di machine learning (ML) diform_processorsnell'output. - L'applicazione
hitl_appmostra le informazioni estratte con i punteggi di affidabilità a livello di campo e di documento ai gestori dei casi di PA, in modo che possano esaminare e correggere le informazioni se i valori estratti non sono accurati. I case manager di PA possono aggiornare i valori errati e salvare il documento nella raccoltapa_form_collection.
Flusso di dati del servizio UR
Il seguente diagramma mostra il flusso di dati per il servizio UR.
Come mostrato nel diagramma precedente, gli specialisti UR interagiscono con i componenti del sistema per condurre una revisione clinica delle richieste di AP. Gli specialisti di UR sono in genere infermieri o medici con esperienza in un'area clinica specifica che lavorano per compagnie assicurative sanitarie. Il workflow di gestione e routing delle richieste di autorizzazione preventiva non rientra nell'ambito del workflow descritto in questa sezione.
Il flusso di eventi è il seguente:
- L'applicazione
ur_appmostra agli specialisti UR un elenco delle richieste di AP e il relativo stato di revisione. Lo stato viene visualizzato comein_queue,in_progressocompleted. - L'applicazione crea l'elenco dai dati
pa_form informationnella raccoltapa_form_collection. L'esperto UR apre una richiesta quando fa clic su un elemento dell'elenco nell'applicazioneur_app. L'applicazione
ur_appinvia i datipa_form informational modelloprompt_model. Utilizza l'API Gemini in Gemini Enterprise Agent Platform per generare un prompt simile al seguente:Review a PA request for {medication|device|medical service} for our member, {Patient Name}, who is {age} old, {gender} with {medical condition}. The patient is on {current medication|treatment list}, has {symptoms}, and has been diagnosed with {diagnosis}.L'applicazione
ur_appmostra il prompt generato agli specialisti UR per la revisione e il feedback. Gli esperti di UR possono aggiornare il prompt nella UI e inviarlo all'applicazione.L'applicazione
ur_appinvia il prompt al modellour_modelcon una richiesta di generazione di un suggerimento. Il modello genera una risposta e la restituisce all'applicazione. L'applicazione mostra il risultato consigliato agli specialisti di UR.Gli specialisti UR possono utilizzare l'applicazione
ur_search_appper cercare i fileclinical documents, i documenticare guidelinese i fileplan policy documents. Questi documenti sono pre-indicizzati e accessibili all'applicazioneur_search_app.
Componenti
L'architettura contiene i seguenti componenti:
Bucket Cloud Storage: i servizi delle applicazioni UM richiedono i seguenti bucket Cloud Storage nel tuo progetto Google Cloud :
pa_forms_bkt: un bucket per l'importazione dei moduli di AP che richiedono l'approvazione.training_forms: un bucket per contenere i moduli PA storici per addestrare i processori di moduli Document AI.eval_forms: un bucket per contenere i moduli PA per valutare l'accuratezza dei processori di moduli Document AI.tuning_dataset: un bucket per contenere i dati necessari per ottimizzare il modello linguistico di grandi dimensioni (LLM).eval_dataset: un bucket per contenere i dati necessari per valutare l'LLM.clinical_docs: un bucket per contenere i documenti clinici che i fornitori inviano come allegati ai moduli di AP o successivamente per supportare la richiesta di AP. L'applicazione di ricerca in Agent Search indicizza questi documenti.um_policies: un bucket per contenere le linee guida per la necessità medica e l'assistenza, i documenti delle polizze dei piani sanitari e le linee guida per la copertura. L'applicazione di ricerca in Agent Search indicizza questi documenti.
I processori
form_processors: processori Document AI addestrati per estrarre informazioni dai modulipa_forms.La raccolta
pa_form_collection: un datastore Firestore che archivia le informazioni estratte come documenti JSON in una raccolta di database NoSQL.Il servizio
ingestion_service: un microservizio che legge i documenti dal bucket, li passa agli endpoint di Document AI per l'analisi e archivia i dati estratti nella raccolta del database Firestore.L'applicazione
hitl_app: un'applicazione web di microservizi che recupera e visualizza i valori dei dati estratti dai modulipa_forms. Inoltre, visualizza il punteggio di affidabilità che i processori dei moduli (modelli ML) segnalano al case manager dell'AP, in modo che possa esaminare, correggere e salvare le informazioni nel datastore.L'applicazione
ur_app: un'applicazione web di microservizi che gli specialisti di UR possono utilizzare per esaminare le richieste di AP utilizzando l'AI generativa. Passa i dati estratti dai modulipa_formsal modelloprompt_modelper generare un prompt. Quindi, passa il prompt generato al modellour_modelper ottenere il suggerimento per un caso.Foundation model di Agent Platform: Agent Platform fornisce una varietà di foundation model di AI generativa, come i modelli Gemini, che puoi ottimizzare per ridurre costi e latenza. I modelli utilizzati in questa architettura sono i seguenti:
prompt_model: un adattatore LLM ottimizzato che genera prompt in base ai dati estratti dai modulipa_forms.ur_model: un adattatore LLM ottimizzato che genera una bozza di suggerimento in base al prompt di input.
L'applicazione
ur_search_app: un'applicazione di ricerca creata con Agent Search per trovare informazioni pertinenti per gli specialisti di UR da documenti clinici, policy di UM e linee guida sulla copertura.
Prodotti utilizzati
Questa architettura di riferimento utilizza i seguenti prodotti Google Cloud :
- Gemini Enterprise Agent Platform: una piattaforma completa che ti consente di creare, scalare, gestire e ottimizzare agenti AI di livello enterprise.
- Agent Search: una piattaforma che ti consente di creare ed eseguire il deployment di agenti e applicazioni basati sull'AI di livello enterprise.
- Document AI: una piattaforma di elaborazione dei documenti che prende i dati non strutturati dai documenti e li trasforma in dati strutturati.
- Firestore: un database di documenti NoSQL creato per offrire scalabilità automatica, prestazioni elevate e facilità di sviluppo delle applicazioni.
- Cloud Run: una piattaforma di serverless computing che consente di eseguire container direttamente sull'infrastruttura scalabile di Google.
- Cloud Storage: un archivio di oggetti a basso costo e senza limiti per diversi tipi di dati. I dati sono accessibili dall'interno e dall'esterno di Google Cloude vengono replicati in più località per la ridondanza.
- Cloud Logging: un sistema di gestione dei log in tempo reale con archiviazione, ricerca, analisi e avvisi.
- Cloud Monitoring: un servizio che fornisce visibilità su prestazioni, disponibilità e integrità delle tue applicazioni e dell'infrastruttura.
Caso d'uso
La gestione dell'utilizzo è un processo utilizzato dalle compagnie assicurative sanitarie principalmente negli Stati Uniti, ma processi simili (con alcune modifiche) vengono utilizzati a livello globale nel mercato delle assicurazioni sanitarie. L'obiettivo della gestione dell'utilizzo è contribuire a garantire che i pazienti ricevano le cure appropriate nel contesto corretto, al momento ottimale e al costo più basso possibile. La gestione dell'utilizzo contribuisce inoltre a garantire che l'assistenza medica sia efficace, efficiente e in linea con gli standard di assistenza basati su prove. L'AP è uno strumento di gestione dell'utilizzo che richiede l'approvazione della compagnia assicurativa prima che un paziente riceva cure mediche.
Il processo di gestione dell'utilizzo (UM) utilizzato da molte aziende rappresenta un ostacolo alla fornitura e alla ricezione di cure tempestive. È costoso, richiede tempo ed è eccessivamente amministrativo. È anche un processo complesso, manuale e lento. Questo processo influisce in modo significativo sulla capacità del piano sanitario di gestire in modo efficace la qualità dell'assistenza e di migliorare l'esperienza dei fornitori e dei membri. Tuttavia, se queste aziende modificassero il loro processo di gestione dell'utilizzo, potrebbero contribuire a garantire che i pazienti ricevano un trattamento di alta qualità ed economicamente vantaggioso. Ottimizzando il processo di UR, i piani sanitari possono ridurre i costi e i rifiuti tramite l'elaborazione accelerata delle richieste di AP, il che a sua volta può migliorare l'esperienza di pazienti e fornitori. Questo approccio contribuisce a ridurre l'onere amministrativo per gli operatori sanitari.
Quando i piani sanitari ricevono richieste di AP, i case manager di AP creano casi nel sistema di gestione dei casi per monitorare, gestire ed elaborare le richieste. Una quantità significativa di queste richieste viene ricevuta via fax e posta, con documenti clinici allegati. Tuttavia, le informazioni contenute in questi moduli e documenti non sono facilmente accessibili alle compagnie assicurative per l'analisi dei dati e la business intelligence. L'attuale processo di inserimento manuale delle informazioni di questi documenti nei sistemi di gestione delle richieste è inefficiente, richiede molto tempo e può portare a errori.
Automatizzando il processo di importazione dati, i piani sanitari possono ridurre i costi, gli errori di inserimento dei dati e l'onere amministrativo per il personale. L'estrazione di informazioni preziose dai moduli e dai documenti clinici consente alle compagnie assicurative sanitarie di accelerare il processo di UR.
Considerazioni sulla progettazione
Questa sezione descrive i fattori di progettazione, le best practice e i consigli in linea con il Well-Architected FrameworkGoogle Cloud . Tieni conto di queste informazioni quando utilizzi questa architettura di riferimento per sviluppare una topologia che soddisfi i tuoi requisiti specifici di sicurezza, affidabilità, ottimizzazione dei costi, efficienza operativa e prestazioni.
Sicurezza, privacy e conformità
Questa sezione descrive i fattori da considerare quando utilizzi questa architettura di riferimento per progettare e creare una topologia in Google Cloud che soddisfi i tuoi requisiti di sicurezza, privacy e conformità.
Negli Stati Uniti, l'Health Insurance Portability and Accountability Act (HIPAA, emendamenti inclusi, anche dall'Health Information Technology for Economic and Clinical Health (HITECH) Act) richiede la conformità alla Security Rule, alla Privacy Rule e alla Breach Notification Rule dell'HIPAA. Google Cloud supporta la conformità HIPAA, ma in ultima analisi sei tu responsabile della valutazione della tua conformità HIPAA. La conformità all'HIPAA è una responsabilità condivisa tra te e Google. Se la tua organizzazione è soggetta all'HIPAA e vuoi utilizzare i prodotti Google Cloudin relazione ai dati sanitari protetti (PHI), devi esaminare e accettare il Contratto di società in affari (BAA) di Google. I prodotti Google coperti dal BAA rispettano i requisiti previsti dalla normativa HIPAA e sono conformi alle certificazioni ISO/IEC 27001, 27017 e 27018 e al rapporto SOC 2 diGoogle Cloud.
Non tutti gli LLM ospitati in Model Garden supportano l'HIPAA. Valuta e utilizza solo gli LLM che supportano l'HIPAA.
Per valutare in che modo i prodotti Google possono soddisfare le tue esigenze di conformità HIPAA, puoi esaminare i report di controllo di terze parti nel Centro risorse per la conformità.
Quando selezioni i casi d'uso dell'AI e progetti la tua architettura, prendi in considerazione i seguenti controlli per la sicurezza e la privacy:
- Governance dei dati e privacy: come descritto in Agent Platform e conservazione dei dati pari a zero e Governance dei dati e AI generativa, Agent Platform, Agent Search e Document AI non utilizzano i dati dei clienti, i dati sull'utilizzo, i contenuti o i documenti per addestrare i foundation model di Google senza la tua autorizzazione o istruzione preventiva. Puoi ottimizzare i foundation model con i tuoi dati e documenti all'interno del tuo tenant protetto suGoogle Cloud.
- Screening di prompt e risposte: per proteggere i modelli
prompt_modeleur_modelda attacchi di prompt injection, tentativi di jailbreak e fughe di dati sensibili, puoi integrare Model Armor con la piattaforma dell'agente per eseguire lo screening di prompt e risposte. - Rilevamento e anonimizzazione delle PHI: per ridurre al minimo l'esposizione di PHI e informazioni che consentono l'identificazione personale (PII) in moduli di autorizzazione preventiva e documenti clinici non strutturati prima dell'inferenza o dell'indicizzazione del modello, puoi utilizzare Sensitive Data Protection per rilevare, classificare e anonimizzare i dati sensibili.
- Sicurezza del perimetro: per mitigare i rischi di esfiltrazione di dati nella pipeline di dati sanitari, puoi utilizzare i Controlli di servizio VPC per stabilire un perimetro di servizio attorno alle risorse di Agent Platform, Agent Search, Document AI, Cloud Storage e Cloud Run.
- Controllo degli accessi al database: le librerie client del server Firestore utilizzano Identity and Access Management (IAM) per gestire l'accesso al database. Per scoprire di più sui controlli per la sicurezza e la privacy di Firebase, consulta Privacy e sicurezza in Firebase.
- Crittografia dei container e gestione dei secret: per proteggere i dati sensibili, puoi criptare le immagini container per il servizio
ingestion_service, l'applicazionehitl_appe l'applicazioneur_apputilizzando chiavi di crittografia gestite dal cliente (CMEK) e integrare i servizi con Secret Manager. - Controlli di sicurezza della piattaforma: Agent Platform implementa Google Cloud controlli di sicurezza per proteggere i modelli e i dati di addestramento. Alcuni controlli di sicurezza non sono supportati da tutte le funzionalità di AI generativa in Agent Platform. Per saperne di più, consulta Controlli di sicurezza per i servizi di machine learning e Controlli di sicurezza per l'AI generativa.
- Privilegio minimo: utilizza IAM per implementare i principi del privilegio minimo e della separazione dei compiti per le tue risorse cloud. Questo controllo consente di limitare l'accesso a livello di progetto, cartella o risorsa.
- Crittografia dello spazio di archiviazione: Cloud Storage cripta automaticamente i dati at-rest. Per scoprire di più su altri metodi per criptare i dati, consulta Opzioni di crittografia dei dati.
I prodotti Google seguono i principi dell'AI responsabile.
Per i principi e i suggerimenti di sicurezza specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: sicurezza nel framework Well-Architected.
Affidabilità
Questa sezione descrive i fattori di progettazione da considerare quando crei e gestisci un'infrastruttura affidabile per automatizzare l'elaborazione delle richieste di AP.
I processori Document AI form_processors sono risorse regionali. Document AI archivia i dati in modo sincrono in più zone all'interno di una regione e bilancia automaticamente il carico del traffico tra le zone.
In caso di interruzione in una zona, i dati non vengono persi1. Se si verifica un'interruzione a livello di regione, il servizio non è disponibile finché Google non risolve il problema.
Puoi creare i bucket Cloud Storage in una delle tre località: singola regione, a due regioni o multiregionale. Cloud Storage replica i dati nei bucket regionali in modo sincrono in più zone all'interno di una regione. Per una maggiore disponibilità, puoi utilizzare bucket a due regioni o multiregionali, in cui Cloud Storage replica i dati in modo asincrono tra le regioni.
In Firestore, le informazioni nella raccolta pa_form_collection possono essere replicate in più data center per supportare l'alta affidabilità e la scalabilità.
Il servizio ingestion_service, l'applicazione hitl_app e l'applicazione ur_app vengono eseguiti come servizi Cloud Run regionali. Cloud Run archivia i dati in modo sincrono in più zone all'interno di una regione e bilancia automaticamente il carico del traffico tra queste zone. Per le best practice per la progettazione di servizi Cloud Run resilienti, consulta i suggerimenti generali per lo sviluppo di Cloud Run.
Se esegui attività di importazione di documenti in batch come job Cloud Run, le singole attività del job potrebbero non riuscire a causa di errori temporanei. Per gestire questi errori, configura i tentativi di ripetizione delle attività e il checkpointing. Per saperne di più, consulta Best practice per i nuovi tentativi e i checkpoint dei job.
Per garantire un throughput coerente e una latenza prevedibile quando i modelli prompt_model e ur_model elaborano volumi elevati di richieste di PA, puoi utilizzare il throughput riservato su Agent Platform.
Per i principi e i suggerimenti di affidabilità specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: affidabilità nel Well-Architected Framework.
Ottimizzazione dei costi
Questa sezione fornisce indicazioni per aiutarti a ottimizzare il costo dell'architettura di automazione di PA e UR. Puoi gestire il costo complessivo monitorando l'utilizzo delle risorse e selezionando i livelli di servizio appropriati.
- Classi di archiviazione di Cloud Storage: utilizza le diverse classi di archiviazione (Standard, Nearline, Coldline o Archive) in base alla frequenza con cui i tuoi workload accedono ai dati. Nearline, Coldline e Archive sono più convenienti per i dati ad accesso meno frequente.
- Policy del ciclo di vita di Cloud Storage: implementa le policy del ciclo di vita per trasferire automaticamente gli oggetti a classi di archiviazione a costo inferiore o eliminarli in base all'età e ai pattern di accesso.
- Document AI:
il prezzo di Document AI si basa sul numero di processori di cui è stato eseguito il deployment e sul numero di pagine analizzate dai processori di Document AI. Prendi in considerazione le seguenti strategie:
- Ottimizzazione dei processori: analizza i pattern dei workload per determinare il numero ottimale di processori Document AI di cui eseguire il deployment ed evita l'overprovisioning delle risorse.
- Gestione del volume delle pagine: pre-elabora i documenti per rimuovere le pagine non necessarie o ottimizzare la risoluzione, contribuendo a ridurre i costi di elaborazione.
- Firestore:
il prezzo di Firestore si basa su letture, scritture ed eliminazioni di documenti, voci dell'indice, spazio di archiviazione del database e larghezza di banda della rete. Prendi in considerazione le seguenti strategie:
- Modellazione dei dati: progetta il tuo modello dei dati per ridurre al minimo il numero di voci dell'indice e ottimizzare i pattern di query per l'efficienza.
- Larghezza di banda della rete: monitora e ottimizza l'utilizzo della rete per evitare addebiti eccessivi e memorizza nella cache i dati a cui accedi di frequente.
- Cloud Run: i costi di Cloud Run vengono calcolati in base all'utilizzo della CPU, alla memoria e al numero di richieste. Alloca le risorse di CPU e memoria in base alle caratteristiche del workload e utilizza la scalabilità automatica per adattare le risorse in modo dinamico in base alla domanda.
- Agent Platform:
i costi dei foundation model vengono addebitati in base al numero di token di input e output.
Ottimizza i prompt e la generazione delle risposte per l'efficienza dei token. Quando il modello
prompt_modelour_modelfa riferimento ripetutamente a linee guida cliniche o istruzioni di sistema condivise tra le richieste, puoi utilizzare la memorizzazione nella cache del contesto per ridurre i costi dei token di input. - Agent Search: i costi di Agent Search dipendono dal volume delle query, dallo spazio di archiviazione indicizzato e dalle funzionalità avanzate che attivi, come le funzionalità della versione Enterprise e le risposte generative. Per i workload di ricerca prevedibili, puoi anche valutare il modello di prezzi configurabile basato su abbonamento, che ti consente di abbonarti alla capacità di archiviazione e di query e di attivare i componenti aggiuntivi in modo selettivo.
Puoi anche applicare le seguenti pratiche generali per ottimizzare i costi:
- Monitoraggio e avvisi: configura Cloud Monitoring e gli avvisi di fatturazione per monitorare i costi e ricevere notifiche quando l'utilizzo supera le soglie.
- Report sui costi: esamina regolarmente i report sui costi nella consoleGoogle Cloud per identificare le tendenze e ottimizzare l'utilizzo delle risorse.
- Sconti per impegno di utilizzo: se hai workload prevedibili, valuta la possibilità di impegnarti a utilizzare le risorse per un periodo di tempo specificato per ricevere prezzi scontati.
Per i principi e i suggerimenti di ottimizzazione dei costi specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione dei costi nel Well-Architected Framework.
Efficienza operativa
Questa sezione descrive i fattori di progettazione e le best practice per aiutarti a valutare, monitorare e gestire in modo efficiente i workload di automazione PA e UR.
- Valutazione dei modelli di AI generativa: quando perfezioni i template di prompt o valuti nuove versioni dei modelli
prompt_modeleur_model, utilizza il servizio di valutazione dell'AI generativa in Agent Platform. Misura sistematicamente la qualità, la fondatezza e l'aderenza ai criteri di revisione clinica delle risposte utilizzando i dati di benchmark nel bucketeval_dataset. - Valutazione e riaddestramento del processore di documenti: per valutare e riaddestrare continuamente gli estrattori personalizzati di Document AI, utilizza i moduli di valutazione nel bucket
eval_formse le correzioni verificate da persone nell'applicazionehitl_app. - Osservabilità: per raccogliere log strutturati e monitorare i punteggi di confidenza dell'estrazione, la latenza di inferenza del modello, i tassi di errore e il consumo di token nel servizio
ingestion_servicee nelle applicazioni, utilizza Cloud Logging e Cloud Monitoring.
Per i principi e i suggerimenti di eccellenza operativa specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: eccellenza operativa nel framework Well-Architected.
Ottimizzazione delle prestazioni
Questa sezione descrive i fattori di progettazione e i consigli per aiutarti a progettare una topologia in Google Cloud che soddisfi i requisiti di prestazioni e latenza dei tuoi workload.
- Configurazione delle risorse Cloud Run: configura i limiti della CPU e i limiti della memoria per il servizio
ingestion_service, l'applicazionehitl_appe l'applicazioneur_appin base alla contemporaneità delle richieste e alle dimensioni del payload dei documenti. Per ridurre la latenza di avvio a freddo per le revisioni cliniche interattive nelle applicazionihitl_appeur_app, configura il numero minimo di istanze e abilita il boost della CPU all'avvio. - Latenza di inferenza del modello: per ridurre il tempo al primo token quando il modello
ur_modelvaluta casi clinici complessi in contesti di policy di grandi dimensioni, utilizza la memorizzazione nella cache del contesto e prenota la capacità con il Throughput riservato sulla piattaforma dell'agente.
Per i principi e i suggerimenti di ottimizzazione delle prestazioni specifici per i workload di AI e ML, consulta Prospettiva di AI e ML: ottimizzazione delle prestazioni nel Well-Architected Framework.
Deployment
Il codice di implementazione di riferimento per questa architettura è disponibile con licenza open source. L'architettura implementata da questo codice è un prototipo e potrebbe non includere tutte le funzionalità e la protezione necessarie per un deployment in produzione. Per implementare ed espandere questa architettura di riferimento in modo che soddisfi i tuoi requisiti, contatta Google Cloud Consulting.
Il codice di avvio per questa architettura di riferimento è disponibile nei seguenti repository Git:
- Repository Git CDA: questo repository contiene gli script di deployment di Terraform per il provisioning dell'infrastruttura e il deployment del codice dell'applicazione.
- Repository Git del servizio UR: questo repository contiene esempi di codice per il servizio UR.
Puoi scegliere una delle seguenti opzioni per implementare l'assistenza e i servizi per questa architettura di riferimento:
- Contatta Google Cloud Consulting.
- Collabora con un partner che ha creato un'offerta in pacchetto utilizzando i prodotti e i componenti della soluzione descritti in questa architettura.
Passaggi successivi
- Infrastruttura RAG per l'AI generativa che utilizza Agent Platform e Vector Search
- Infrastruttura RAG per l'AI generativa che utilizza Agent Platform e AlloyDB per PostgreSQL
- Infrastruttura RAG per l'AI generativa che utilizza GKE e Cloud SQL
- Infrastruttura RAG per l'AI generativa che utilizza Gemini Enterprise e Agent Platform
- Infrastruttura GraphRAG per l'AI generativa che utilizza Agent Platform e Spanner Graph
- Google Cloud opzioni per la fondatezza delle risposte dell'AI generativa
- Ottimizza le applicazioni Python per Cloud Run
- Per una panoramica dei principi e dei suggerimenti di architettura specifici per i workload di AI e ML in Google Cloud, consulta la prospettiva di AI e ML nel Well-Architected Framework.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.
Collaboratori
Autore: Dharmesh Patel | Industry Solutions Architect, Healthcare
Altri collaboratori:
- Ben Swenka | Key Enterprise Architect
- Emily Qiao | AI/ML Customer Engineer
- Luis Urena | Developer Relations Engineer
- Praney Mittal | Group Product Manager
- Lakshmanan Sethu | Technical Account Manager
-
Per saperne di più sulle considerazioni specifiche per le regioni, consulta Area geografica e regioni. ↩