In diesem Dokument wird eine Referenzarchitektur für Krankenversicherungen beschrieben, die die Verarbeitung von Anträgen auf Vorabgenehmigung automatisieren und ihre Prozesse zur Nutzungsprüfung mithilfe von Google Cloudverbessern möchten. Es richtet sich an Softwareentwickler und Programmadministratoren in diesen Organisationen. Diese Architektur hilft Anbietern von Krankenversicherungen, den Verwaltungsaufwand zu reduzieren, die Effizienz zu steigern und die Entscheidungsfindung zu verbessern, indem die Datenaufnahme und die Extraktion von Erkenntnissen aus klinischen Formularen automatisiert werden. Außerdem können sie KI-Modelle für die Prompt-Generierung und Empfehlungen verwenden.
Architektur
Das folgende Diagramm zeigt eine Architektur und einen Ansatz zur Automatisierung des Workflows für die Datenaufnahme und zur Optimierung des Überprüfungsprozesses für die Nutzungsverwaltung. Bei diesem Ansatz werden Daten- und KI-Dienste in Google Cloudverwendet.
Die obige Architektur enthält zwei Datenflüsse, die von den folgenden Subsystemen unterstützt werden:
- Claims Data Activator (CDA), der Daten aus unstrukturierten Quellen wie Formularen und Dokumenten extrahiert und in einem strukturierten, maschinenlesbaren Format in eine Datenbank einliest. CDA implementiert den Datenfluss, um PA-Anfrageformulare aufzunehmen.
- Utilization Review Service (UR-Dienst), der Daten aus Vorabgenehmigungsanfragen, Richtliniendokumente und andere Behandlungsrichtlinien einbezieht, um Empfehlungen zu generieren. Der UR-Dienst implementiert den Datenfluss zur Überprüfung von PA-Anfragen mithilfe von generativer KI.
In den folgenden Abschnitten werden diese Datenflüsse beschrieben.
CDA-Datenfluss
Das folgende Diagramm zeigt den Datenfluss, wenn CDA Antragsformulare für Vorabgenehmigungen aufnimmt.
Wie im vorherigen Diagramm dargestellt, interagieren die PA-Fallmanager mit den Systemkomponenten, um die PA-Anfragen aufzunehmen, zu validieren und zu verarbeiten. Die PA-Fallmanager sind die Personen aus dem Team für Geschäftstätigkeiten, die für die Annahme der PA-Anfragen verantwortlich sind. Der Ablauf der Ereignisse sieht so aus:
- Die PA-Fallmanager erhalten die PA-Anfrageformulare (die
pa_forms-Formulare) vom Gesundheitsdienstleister und laden sie in den Cloud Storage-Bucketpa_forms_bkthoch. - Der Dienst
ingestion_serviceüberwacht den Bucketpa_forms_bktauf Änderungen. Der Dienstingestion_serviceruft diepa_forms-Formulare aus dem Bucketpa_forms_bktab. Der Dienst identifiziert die vorkonfigurierten Document AI-Prozessoren, dieform_processorsheißen. Diese Prozessoren sind für die Verarbeitung derpa_forms-Formulare definiert. Der Dienstingestion_serviceextrahiert Informationen aus den Formularen mithilfe derform_processors-Prozessoren. Die aus den Formularen extrahierten Daten liegen im JSON-Format vor. - Der Dienst
ingestion_serviceschreibt die extrahierten Informationen mit Konfidenzwerten auf Feldebene in die Firestore-Datenbanksammlung, die alspa_form_collection-Sammlung bezeichnet wird. - Die Anwendung
hitl_appruft die JSON-Informationen mit Konfidenzwerten aus der Sammlungpa_form_collectionab. Die Anwendung berechnet den Konfidenzwert auf Dokumentebene aus den Konfidenzwerten auf Feldebene, die dieform_processors-Modelle für maschinelles Lernen (ML) in der Ausgabe bereitstellen. - In der Anwendung
hitl_appwerden die extrahierten Informationen mit den Konfidenzwerten auf Feld- und Dokumentebene für die PA-Fallmanager angezeigt, damit sie die Informationen prüfen und korrigieren können, wenn die extrahierten Werte ungenau sind. PA-Fallmanager können die falschen Werte aktualisieren und das Dokument in der Sammlungpa_form_collectionspeichern.
Datenfluss des UR-Dienstes
Das folgende Diagramm zeigt den Datenfluss für den UR-Dienst.
Wie im vorherigen Diagramm dargestellt, interagieren die UR-Spezialisten mit den Systemkomponenten, um eine klinische Überprüfung der PA-Anfragen durchzuführen. Die UR-Spezialisten sind in der Regel Pflegekräfte oder Ärzte mit Erfahrung in einem bestimmten klinischen Bereich, die bei Krankenversicherungen angestellt sind. Der Workflow für die Fallverwaltung und das Routing von Vorabgenehmigungsanfragen ist nicht Teil des Workflows, der in diesem Abschnitt beschrieben wird.
Der Ablauf der Ereignisse sieht so aus:
- In der Anwendung
ur_appwird den UR-Spezialisten eine Liste der PA-Anfragen und deren Prüfstatus angezeigt. Der Status wird alsin_queue,in_progressodercompletedangezeigt. - Die Anwendung erstellt die Liste aus den
pa_form information-Daten in der Sammlungpa_form_collection. Der UR-Spezialist öffnet eine Anfrage, wenn er in derur_app-Anwendung auf ein Element in der Liste klickt. Die Anwendung
ur_appsendet die Datenpa_form informationan das Modellprompt_model. Dabei wird die Gemini API in der Gemini Enterprise Agent Platform verwendet, um einen Prompt zu generieren, der in etwa so aussieht:Review a PA request for {medication|device|medical service} for our member, {Patient Name}, who is {age} old, {gender} with {medical condition}. The patient is on {current medication|treatment list}, has {symptoms}, and has been diagnosed with {diagnosis}.Die Anwendung
ur_appzeigt den generierten Prompt den UR-Spezialisten zur Überprüfung und für Feedback an. UR-Spezialisten können den Prompt in der Benutzeroberfläche aktualisieren und an die Anwendung senden.Die Anwendung
ur_appsendet den Prompt an das Modellur_modelmit der Anfrage, eine Empfehlung zu generieren. Das Modell generiert eine Antwort und gibt sie an die Anwendung zurück. Die Anwendung zeigt den UR-Spezialisten das empfohlene Ergebnis an.Die UR-Spezialisten können die Anwendung
ur_search_appverwenden, um nach denclinical documents-Dateien, dencare guidelines-Dokumenten und denplan policy documents-Dateien zu suchen. Diese Dokumente sind vorindexiert und für dieur_search_app-Anwendung zugänglich.
Komponenten
Die Architektur umfasst die folgenden Komponenten:
Cloud Storage-Buckets: UM-Anwendungsdienste erfordern die folgenden Cloud Storage-Buckets in Ihrem Google Cloud -Projekt:
pa_forms_bkt: Ein Bucket zum Aufnehmen der PA-Formulare, die genehmigt werden müssen.training_forms: Ein Bucket für historische Vorabgenehmigungsformulare, mit denen die Document AI-Formularprozessoren trainiert werden.eval_forms: Ein Bucket für PA-Formulare, um die Genauigkeit der Document AI-Formularprozessoren zu bewerten.tuning_dataset: Ein Bucket für die Daten, die zum Optimieren des Large Language Models (LLM) erforderlich sind.eval_dataset: Ein Bucket für die Daten, die zum Bewerten des LLM erforderlich sind.clinical_docs: Ein Bucket für die klinischen Dokumente, die die Anbieter als Anhänge zu den Vorabgenehmigungsformularen oder danach zur Unterstützung des Vorabgenehmigungsfalls einreichen. Die Suchanwendung in Agent Search indexiert diese Dokumente.um_policies: Ein Bucket für Richtlinien zur medizinischen Notwendigkeit und Pflege, Dokumente zu Krankenversicherungsrichtlinien und Richtlinien zur Abdeckung. Die Suchanwendung in Agent Search indexiert diese Dokumente.
Die
form_processors-Prozessoren: Document AI-Prozessoren, die darauf trainiert sind, Informationen aus denpa_forms-Formularen zu extrahieren.Die Sammlung
pa_form_collection: Ein Firestore-Datenspeicher, in dem die extrahierten Informationen als JSON-Dokumente in einer NoSQL-Datenbanksammlung gespeichert werden.Der Dienst
ingestion_service: Ein Mikrodienst, der die Dokumente aus dem Bucket liest, sie zum Parsen an die Document AI-Endpunkte übergibt und die extrahierten Daten in der Firestore-Datenbanksammlung speichert.Die Anwendung
hitl_app: Eine Mikrodienst-Webanwendung, die Datenwerte abruft und anzeigt, die aus denpa_forms-Formularen extrahiert wurden. Außerdem wird der Konfidenzwert gerendert, den die Formularprozessoren (ML-Modelle) an den PA-Fallmanager melden, damit dieser die Informationen im Datenspeicher prüfen, korrigieren und speichern kann.Die
ur_app-Anwendung: Eine Microservice-Webanwendung, mit der UR-Spezialisten die PA-Anfragen mithilfe von generativer KI prüfen können. Die aus denpa_forms-Formularen extrahierten Daten werden an dasprompt_model-Modell übergeben, um einen Prompt zu generieren. Anschließend wird der generierte Prompt an dasur_model-Modell übergeben, um die Empfehlung für einen Fall zu erhalten.Agent Platform-Foundation Models: Die Agent Platform bietet eine Vielzahl von generativen KI-Foundation Models, z. B. Gemini-Modelle, die Sie optimieren können, um Kosten und Latenz zu reduzieren. In dieser Architektur werden die folgenden Modelle verwendet:
prompt_model: Ein abgestimmter LLM-Adapter, der Prompts basierend auf den Daten generiert, die aus denpa_forms-Formularen extrahiert wurden.ur_model: Ein abgestimmter LLM-Adapter, der basierend auf dem Eingabe-Prompt einen Empfehlungsentwurf generiert.
Die Anwendung
ur_search_app: Eine Suchanwendung, die mit Agent Search erstellt wurde, um relevante Informationen für UR-Spezialisten aus klinischen Dokumenten, UM-Richtlinien und Abdeckungsrichtlinien zu finden.
Verwendete Produkte
In dieser Referenzarchitektur werden die folgenden Google Cloud -Produkte verwendet:
- Gemini Enterprise Agent Platform: Eine umfassende Plattform, mit der Sie KI-Agenten auf Unternehmensniveau erstellen, skalieren, verwalten und optimieren können.
- Agent Search: Eine Plattform, mit der Sie KI-basierte Agenten und Anwendungen auf Unternehmensniveau erstellen und bereitstellen können.
- Document AI: Eine Plattform zur Dokumentverarbeitung, die unstrukturierte Daten aus Dokumenten in strukturierte Daten transformiert.
- Firestore: Eine NoSQL-Dokumentdatenbank, die auf Autoscaling, hohe Leistung und einfache Anwendungsentwicklung ausgelegt ist.
- Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
- Cloud Storage: Ein kostengünstiger, unbegrenzter Objektspeicher für verschiedene Datentypen. Auf Daten kann von innerhalb und außerhalb von Google Cloudzugegriffen werden. Sie werden zu Redundanzzwecken über Standorte hinweg repliziert.
- Cloud Logging: Ein Echtzeit-Log-Verwaltungssystem mit Speicher, Suche, Analyse und Benachrichtigungen.
- Cloud Monitoring: Ein Dienst, der Einblicke in die Leistung, Verfügbarkeit und Integrität Ihrer Anwendungen und Infrastruktur bietet.
Anwendungsfall
Das UM ist ein Prozess, der von Krankenversicherungen hauptsächlich in den USA verwendet wird. Ähnliche Prozesse (mit einigen Änderungen) werden jedoch weltweit im Krankenversicherungsmarkt eingesetzt. Das Ziel des UM ist es, dafür zu sorgen, dass Patienten die richtige Versorgung in der richtigen Umgebung, zum optimalen Zeitpunkt und zu den niedrigstmöglichen Kosten erhalten. Das UM trägt auch dazu bei, dass die medizinische Versorgung effektiv, effizient und im Einklang mit evidenzbasierten Versorgungsstandards ist. Die Vorabgenehmigung ist ein UM-Tool, das die Genehmigung der Versicherung erfordert, bevor ein Patient medizinisch versorgt wird.
Der von vielen Unternehmen verwendete UM-Prozess ist ein Hindernis für die rechtzeitige Bereitstellung und den Erhalt von Pflegeleistungen. Es ist kostspielig, zeitaufwendig und mit zu viel Verwaltungsaufwand verbunden. Außerdem ist es komplex, manuell und langsam. Dieser Prozess hat erhebliche Auswirkungen auf die Fähigkeit des Krankenversicherers, die Qualität der Versorgung effektiv zu verwalten und die Erfahrung von Anbietern und Mitgliedern zu verbessern. Wenn diese Unternehmen jedoch ihren UM-Prozess ändern würden, könnten sie dazu beitragen, dass Patienten eine qualitativ hochwertige und kostengünstige Behandlung erhalten. Durch die Optimierung des UR-Prozesses können Krankenversicherungen die Kosten und Ablehnungen durch eine beschleunigte Bearbeitung von PA-Anfragen reduzieren, was wiederum die Zufriedenheit von Patienten und Anbietern verbessern kann. Dieser Ansatz trägt dazu bei, den Verwaltungsaufwand für Gesundheitsdienstleister zu reduzieren.
Wenn Krankenversicherungen Anträge auf Vorabgenehmigung erhalten, erstellen die Fallmanager für Vorabgenehmigungen Fälle im Fallverwaltungssystem, um die Anträge zu verfolgen, zu verwalten und zu bearbeiten. Ein erheblicher Teil dieser Anfragen geht per Fax und Post mit angehängten klinischen Dokumenten ein. Die Informationen in diesen Formularen und Dokumenten sind jedoch für Krankenversicherungen nicht leicht zugänglich, um Datenanalysen und Business Intelligence durchzuführen. Der aktuelle Prozess, bei dem Informationen aus diesen Dokumenten manuell in die Fallverwaltungssysteme eingegeben werden, ist ineffizient, zeitaufwendig und fehleranfällig.
Durch die Automatisierung der Datenaufnahme können Krankenversicherungen die Kosten, Dateneingabefehler und den Verwaltungsaufwand für das Personal reduzieren. Durch das Extrahieren wertvoller Informationen aus den klinischen Formularen und Dokumenten können Krankenversicherungen den UR-Prozess beschleunigen.
Designaspekte
In diesem Abschnitt werden Designfaktoren, Best Practices und Empfehlungen im Einklang mit dem Google Cloud Well-Architected Framework beschrieben. Berücksichtigen Sie diese Informationen, wenn Sie diese Referenzarchitektur verwenden, um eine Topologie zu entwickeln, die Ihren spezifischen Anforderungen an Sicherheit, Zuverlässigkeit, Kostenoptimierung, betriebliche Effizienz und Leistung entspricht.
Sicherheit, Datenschutz und Compliance
In diesem Abschnitt werden die Faktoren beschrieben, die Sie berücksichtigen sollten, wenn Sie diese Referenzarchitektur zum Entwerfen und Erstellen einer Topologie in Google Cloud verwenden, die Ihre Sicherheits-, Datenschutz- und Compliance-Anforderungen erfüllt.
In den USA erfordert der Health Insurance Portability and Accountability Act (HIPAA, in der jeweils gültigen Fassung, einschließlich des Health Information Technology for Economic and Clinical Health (HITECH) Act) die Einhaltung der HIPAA-Sicherheitsregeln, Datenschutzregeln und Regeln zur Benachrichtigung bei Sicherheitsverletzungen. Google Cloud unterstützt die HIPAA-Compliance, aber letztendlich sind Sie für die Bewertung Ihrer eigenen HIPAA-Compliance verantwortlich. Die Einhaltung des HIPAA ist eine gemeinsame Verantwortung von Ihnen und Google. Wenn Ihre Organisation dem HIPAA unterliegt und Sie Produkte von Google Cloudin Verbindung mit geschützten Gesundheitsdaten (Protected Health Information, PHI) verwenden möchten, müssen Sie die Geschäftspartner-Vereinbarung (Business Associate Agreement, BAA) von Google lesen und akzeptieren. Die der BAA unterliegenden Google-Produkte erfüllen die HIPAA-Anforderungen sowie die ISO/IEC 27001-, 27017- und 27018-Zertifizierungen vonGoogle Cloudund entsprechen dem SOC 2-Bericht.
Nicht alle LLMs, die in Model Garden gehostet werden, unterstützen HIPAA. Bewerten und verwenden Sie nur LLMs, die HIPAA unterstützen.
Wenn Sie wissen möchten, wie die Produkte von Google Ihre HIPAA-Compliance-Anforderungen erfüllen können, lesen Sie die Prüfberichte von Drittanbietern im Center für Compliance-Ressourcen.
Berücksichtigen Sie die folgenden Sicherheits- und Datenschutzkontrollen, wenn Sie KI-Anwendungsfälle auswählen und Ihre Architektur entwerfen:
- Data Governance und Datenschutz: Wie unter Agent Platform und Zero Data Retention und Data Governance und generative KI beschrieben, werden von der Agent Platform, Agent Search und Document AI keine Kundendaten, Nutzungsdaten, Inhalte oder Dokumente zum Trainieren der Foundation Models von Google verwendet, es sei denn, Sie haben Ihre Erlaubnis dazu erteilt oder eine entsprechende Anweisung gegeben. Sie können die Foundation Models mit Ihren Daten und Dokumenten in Ihrem sicheren Mandanten auf Google Cloudoptimieren.
- Prompt- und Antwortprüfung: Um die Modelle
prompt_modelundur_modelvor Prompt-Injection-Angriffen, Jailbreak-Versuchen und Datenlecks zu schützen, können Sie Model Armor in die Agent Platform einbinden, um Prompts und Antworten zu prüfen. - PHI-Erkennung und ‑De-Identifizierung: Um die Offenlegung von PHI und personenidentifizierbaren Informationen in unstrukturierten PA-Formularen und klinischen Dokumenten vor der Modellinferenz oder ‑indexierung zu minimieren, können Sie Sensitive Data Protection verwenden, um sensible Daten zu erkennen, zu klassifizieren und zu de-identifizieren.
- Perimetersicherheit: Um das Risiko einer Daten-Exfiltration in Ihrer Datenpipeline für Gesundheitsdaten zu minimieren, können Sie mit VPC Service Controls einen Dienstperimeter um Ihre Ressourcen für Agent Platform, Agent Search, Document AI, Cloud Storage und Cloud Run einrichten.
- Datenbankzugriffssteuerung: Firestore-Server-Clientbibliotheken verwenden Identity and Access Management (IAM), um den Zugriff auf Ihre Datenbank zu verwalten. Informationen zu den Sicherheits- und Datenschutzeinstellungen von Firebase finden Sie unter Datenschutz und Sicherheit in Firebase.
- Containerverschlüsselung und Secrets-Verwaltung: Zum Schutz sensibler Daten können Sie die Container-Images für den
ingestion_service-Dienst, diehitl_app-Anwendung und dieur_app-Anwendung mit kundenverwalteten Verschlüsselungsschlüsseln (CMEKs) verschlüsseln und die Dienste in Secret Manager einbinden. - Sicherheitskontrollen der Plattform: Die Agent Platform implementiert Sicherheitskontrollen von Google Cloud , um Ihre Modelle und Trainingsdaten zu schützen. Einige Sicherheitskontrollen werden nicht von allen Funktionen für generative KI in der Agent Platform unterstützt. Weitere Informationen finden Sie unter Sicherheitskontrollen für Dienste für maschinelles Lernen und Sicherheitskontrollen für generative KI.
- Geringste Berechtigung: Verwenden Sie IAM, um die Prinzipien der geringsten Berechtigung und der Aufgabentrennung für Ihre Cloud-Ressourcen zu implementieren. Mit dieser Einstellung können Sie den Zugriff auf Projekt-, Ordner- oder Ressourcenebene einschränken.
- Speicherverschlüsselung: Cloud Storage verschlüsselt ruhende Daten automatisch. Weitere Informationen zu zusätzlichen Methoden zur Verschlüsselung von Daten finden Sie unter Datenverschlüsselungsoptionen.
Die Produkte von Google folgen den Grundsätzen für verantwortungsbewusste KI.
Sicherheitsgrundsätze und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Sicherheit.
Zuverlässigkeit
In diesem Abschnitt werden Designfaktoren beschrieben, die Sie beim Erstellen und Betreiben einer zuverlässigen Infrastruktur zur Automatisierung der Verarbeitung von Vorabgenehmigungsanfragen berücksichtigen sollten.
Die Document AI-Prozessoren vom Typ form_processors sind regionale Ressourcen. Document AI speichert Daten synchron über mehrere Zonen innerhalb einer Region hinweg und verteilt den Traffic automatisch auf die Zonen.
Wenn ein zonaler Ausfall auftritt, gehen keine Daten verloren1. Wenn ein regionaler Ausfall auftritt, ist der Dienst erst verfügbar, wenn Google den Ausfall behoben hat.
Sie können die Cloud Storage-Buckets an einem von drei Standorten erstellen: regional, biregional oder multiregional. Cloud Storage repliziert Daten in regionalen Buckets synchron über mehrere Zonen innerhalb einer Region. Für eine höhere Verfügbarkeit können Sie biregionale oder multiregionale Buckets verwenden, bei denen Cloud Storage Daten asynchron über Regionen hinweg repliziert.
In Firestore können die Informationen in der Sammlung pa_form_collection über mehrere Rechenzentren hinweg repliziert werden, um Hochverfügbarkeit und Skalierbarkeit zu unterstützen.
Der ingestion_service-Dienst, die hitl_app-Anwendung und die ur_app-Anwendung werden als regionale Cloud Run-Dienste ausgeführt. Cloud Run speichert Daten synchron über mehrere Zonen innerhalb einer Region hinweg und verteilt den Traffic automatisch auf diese Zonen. Best Practices zum Entwerfen ausfallsicherer Cloud Run-Dienste finden Sie unter Allgemeine Entwicklungstipps für Cloud Run.
Wenn Sie Batch-Aufgaben zur Dokumentaufnahme als Cloud Run-Jobs ausführen, können einzelne Jobaufgaben aufgrund vorübergehender Fehler fehlschlagen. Konfigurieren Sie Aufgabenwiederholungen und Prüfpunkte, um solche Fehler zu beheben. Weitere Informationen finden Sie unter Best Practices für Wiederholungsversuche und Prüfpunkte.
Damit die Modelle prompt_model und ur_model bei der Verarbeitung großer Mengen von PA-Anfragen einen konsistenten Durchsatz und eine vorhersehbare Latenz bieten, können Sie auf der Agent-Plattform Bereitgestellter Durchsatz verwenden.
Zuverlässigkeitsprinzipien und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Zuverlässigkeit.
Kostenoptimierung
Dieser Abschnitt enthält Anleitungen zur Kostenoptimierung Ihrer PA- und UR-Automatisierungsarchitektur. Sie können Ihre Gesamtkosten verwalten, indem Sie die Ressourcennutzung im Blick behalten und die entsprechenden Dienststufen auswählen.
- Cloud Storage-Speicherklassen: Verwenden Sie die verschiedenen Speicherklassen (Standard, Nearline, Coldline oder Archive), je nachdem, wie häufig Ihre Arbeitslasten auf die Daten zugreifen. Nearline, Coldline und Archive sind für seltener abgerufene Daten kostengünstiger.
- Cloud Storage-Lebenszyklusrichtlinien: Implementieren Sie Lebenszyklusrichtlinien, um Objekte automatisch in kostengünstigere Speicherklassen zu verschieben oder sie basierend auf Alter und Zugriffsmustern zu löschen.
- Document AI:
Die Preise für Document AI richten sich nach der Anzahl der bereitgestellten Prozessoren und der Anzahl der Seiten, die von den Document AI-Prozessoren geparst werden. Hier einige Strategien:
- Prozessoroptimierung: Analysieren Sie Arbeitslastmuster, um die optimale Anzahl von Document AI-Prozessoren zu ermitteln, die bereitgestellt werden sollen, und vermeiden Sie eine Überdimensionierung von Ressourcen.
- Seitenvolumen verwalten: Dokumente vorverarbeiten, um unnötige Seiten zu entfernen oder die Auflösung zu optimieren, was die Verarbeitungskosten senkt.
- Firestore: Die Preise für Firestore richten sich nach der Anzahl der Lesevorgänge, Schreibvorgänge und Löschvorgänge für Dokumente, Indexeinträge, Datenbankspeicher und Netzwerkbandbreite. Hier sind einige Strategien:
- Datenmodellierung: Entwerfen Sie Ihr Datenmodell so, dass die Anzahl der Indexeinträge minimiert und die Abfragemuster für mehr Effizienz optimiert werden.
- Netzwerkbandbreite: Überwachen und optimieren Sie die Netzwerknutzung, um zusätzliche Gebühren zu vermeiden, und speichern Sie häufig aufgerufene Daten im Cache.
- Cloud Run: Die Cloud Run-Gebühren werden anhand der CPU-Auslastung, des Arbeitsspeichers und der Anzahl der Anfragen berechnet. Weisen Sie CPU- und Arbeitsspeicherressourcen basierend auf den Merkmalen der Arbeitslast zu und verwenden Sie Autoscaling, um Ressourcen dynamisch an die Nachfrage anzupassen.
- Agent Platform: Foundation Models werden basierend auf der Anzahl der Eingabe- und Ausgabetokens abgerechnet.
Optimieren Sie Ihre Prompts und die Antwortgenerierung für eine effiziente Token-Nutzung. Wenn das Modell
prompt_modeloderur_modelin mehreren Anfragen wiederholt auf gemeinsame klinische Richtlinien oder Systemanweisungen verweist, können Sie das Kontext-Caching verwenden, um die Kosten für Eingabetokens zu senken. - Agent Search: Die Gebühren für Agent Search hängen vom Anfragevolumen, dem indexierten Speicher und den von Ihnen aktivierten erweiterten Funktionen ab, z. B. Funktionen der Enterprise-Version und generative Antworten. Für vorhersehbare Sucharbeitslasten können Sie auch das abobasierte konfigurierbare Preismodell in Betracht ziehen, mit dem Sie Speicher- und Abfragekapazität abonnieren und Add-ons selektiv aktivieren können.
Sie können auch die folgenden allgemeinen Best Practices anwenden, um die Kosten zu optimieren:
- Monitoring und Benachrichtigungen: Richten Sie Cloud Monitoring und Abrechnungsbenachrichtigungen ein, um die Kosten im Blick zu behalten und Benachrichtigungen zu erhalten, wenn die Nutzung Ihre Grenzwerte überschreitet.
- Kostenberichte: Prüfen Sie regelmäßig die Kostenberichte in derGoogle Cloud Console, um Trends zu erkennen und die Ressourcennutzung zu optimieren.
- Rabatte für zugesicherte Nutzung: Wenn Sie vorhersehbare Arbeitslasten haben, können Sie sich für einen bestimmten Zeitraum zur Ressourcennutzung verpflichten, um Rabatte zu erhalten.
Prinzipien und Empfehlungen zur Kostenoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Kostenoptimierung.
Betriebliche Effizienz
In diesem Abschnitt werden Designfaktoren und Best Practices beschrieben, mit denen Sie Ihre PA- und UR-Automatisierungsarbeitslasten effizient bewerten, überwachen und ausführen können.
- Bewertung von generativen KI-Modellen: Wenn Sie Prompt-Vorlagen verfeinern oder neue Modellversionen für die Modelle
prompt_modelundur_modelbewerten, verwenden Sie den Gen AI Evaluation Service auf der Agent Platform. Messen Sie systematisch die Antwortqualität, die Fundierung und die Einhaltung der Kriterien für die klinische Überprüfung, indem Sie die Benchmarkdaten im Bucketeval_datasetverwenden. - Bewertung und erneutes Training von Dokumentprozessoren: Wenn Sie Ihre benutzerdefinierten Extraktoren für Document AI kontinuierlich evaluieren und neu trainieren möchten, verwenden Sie die Bewertungsformulare im Bucket
eval_formsund die manuell überprüften Korrekturen aus der Anwendunghitl_app. - Beobachtbarkeit: Verwenden Sie Cloud Logging und Cloud Monitoring, um strukturierte Logs zu erfassen und Konfidenzwerte für die Extraktion, die Latenz der Modellinferenz, Fehlerraten und den Tokenverbrauch im
ingestion_service-Dienst und in den Anwendungen zu verfolgen.
Prinzipien und Empfehlungen für operative Exzellenz, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Operative Exzellenz.
Leistungsoptimierung
In diesem Abschnitt werden Designfaktoren und Empfehlungen beschrieben, die Ihnen beim Entwerfen einer Topologie in Google Cloud helfen, die die Leistungs- und Latenzanforderungen Ihrer Arbeitslasten erfüllt.
- Cloud Run-Ressourcenkonfiguration: Konfigurieren Sie CPU-Limits und Speicherlimits für den
ingestion_service-Dienst, diehitl_app-Anwendung und dieur_app-Anwendung basierend auf der Nebenläufigkeit von Anfragen und der Größe der Dokumentnutzlast. Um die Kaltstartlatenz für interaktive klinische Prüfungen in den Anwendungenhitl_appundur_appzu reduzieren, konfigurieren Sie die Mindestanzahl von Instanzen und aktivieren Sie den CPU-Boost beim Start. - Latenz der Modellinferenz: Um die Zeit bis zum ersten Token zu verkürzen, wenn das
ur_model-Modell komplexe klinische Fälle anhand großer Richtlinienkontexte bewertet, verwenden Sie Kontext-Caching und reservieren Sie Kapazität mit bereitgestelltem Durchsatz auf der Agent Platform.
Prinzipien und Empfehlungen zur Leistungsoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Leistungsoptimierung.
Bereitstellung
Der Referenzimplementierungscode für diese Architektur ist unter einer Open-Source-Lizenz verfügbar. Die Architektur, die dieser Code implementiert, ist ein Prototyp und enthält möglicherweise nicht alle Funktionen und Härtungen, die Sie für eine Produktionsbereitstellung benötigen. Wenn Sie diese Referenzarchitektur implementieren und erweitern möchten, damit sie Ihren Anforderungen entspricht, wenden Sie sich an Google Cloud Consulting.
Der Starter-Code für diese Referenzarchitektur ist in den folgenden Git-Repositories verfügbar:
- CDA-Git-Repository: Dieses Repository enthält Terraform-Bereitstellungsskripts für die Infrastrukturbereitstellung und die Bereitstellung von Anwendungscode.
- Git-Repository für den UR-Dienst: Dieses Repository enthält Codebeispiele für den UR-Dienst.
Sie können eine der folgenden beiden Optionen auswählen, um Support und Dienste für diese Referenzarchitektur zu implementieren:
- Google Cloud Consulting einbeziehen.
- Wenden Sie sich an einen Partner, der ein Paketangebot erstellt hat, indem Sie die in dieser Architektur beschriebenen Produkte und Lösungskomponenten verwenden.
Nächste Schritte
- RAG-Infrastruktur für generative KI mit Agent Platform und Vektorsuche
- RAG-Infrastruktur für generative KI mit Agent Platform und AlloyDB for PostgreSQL
- RAG-Infrastruktur für generative KI mit GKE und Cloud SQL
- RAG-Infrastruktur für generative KI mit Gemini Enterprise und Agent Platform
- GraphRAG-Infrastruktur für generative KI mit Agent Platform und Spanner Graph
- Google Cloud Optionen für die Fundierung generativer KI-Antworten
- Python-Anwendungen für Cloud Run optimieren
- Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.
- Weitere Referenzarchitekturen, Diagramme und Best Practices finden Sie im Cloud-Architekturcenter.
Beitragende
Autor: Dharmesh Patel | Industry Solutions Architect, Healthcare
Weitere Beitragende:
- Ben Swenka | Key Enterprise Architect
- Emily Qiao | AI/ML Customer Engineer
- Luis Urena | Developer Relations Engineer
- Praney Mittal | Group Product Manager
- Lakshmanan Sethu | Technical Account Manager
-
Weitere Informationen zu regionsspezifischen Aspekten finden Sie unter Geografie und Regionen ↩