이 문서에서는 Google Cloud를 사용하여 사전 승인(PA) 요청 처리를 자동화하고 사용률 검토(UR) 프로세스를 개선하려는 의료 보험 회사를 위한 참조 아키텍처를 설명합니다. 이러한 조직의 소프트웨어 개발자와 프로그램 관리자를 대상으로 합니다. 이 아키텍처는 의료 보험 제공업체에서 데이터 수집 및 임상 양식의 유용한 정보 추출을 자동화하여 관리 오버헤드를 줄이고 효율성을 높이며 의사 결정을 개선하는 데 도움이 됩니다. 프롬프트 생성 및 추천에 AI 모델을 사용할 수도 있습니다.
아키텍처
다음 다이어그램은 데이터 수집 워크플로를 자동화하고 사용률 관리(UM) 검토 프로세스를 최적화하기 위한 아키텍처와 접근 방식을 설명합니다. 이 접근 방식에서는 Google Cloud의 데이터 및 AI 서비스가 사용됩니다.
위 아키텍처에는 다음 하위 시스템에서 지원되는 두 가지 데이터 흐름이 포함됩니다.
- 클레임 데이터 활성자(CDA): 양식 및 문서와 같은 비정형 소스에서 데이터를 추출하여 기계 가독형 정형 형식으로 데이터베이스에 수집합니다. CDA는 PA 요청 양식을 수집하기 위한 데이터 흐름을 구현합니다.
- 사용률 검토 서비스(UR 서비스): PA 요청 데이터, 정책 문서, 기타 치료 가이드라인을 통합하여 추천을 생성합니다. UR 서비스는 생성형 AI를 사용하여 PA 요청을 검토하는 데이터 흐름을 구현합니다.
다음 섹션에서는 이러한 데이터 흐름을 설명합니다.
CDA 데이터 흐름
다음 다이어그램은 CDA가 PA 요청 양식을 수집할 때의 데이터 흐름을 보여줍니다.
위 다이어그램에 표시된 것처럼 PA 케이스 관리자는 시스템 구성요소와 상호작용하여 PA 요청을 수집, 검증, 처리합니다. PA 케이스 관리자는 PA 요청을 수신하고 처리하는 비즈니스 운영팀의 일원입니다. 이벤트 흐름은 다음과 같습니다.
- PA 케이스 관리자는 의료 서비스 제공업체로부터 PA 요청 양식(
pa_forms양식)을 받아pa_forms_bktCloud Storage 버킷에 업로드합니다. ingestion_service서비스는pa_forms_bkt버킷의 변경사항을 수신 대기합니다.ingestion_service서비스는pa_forms_bkt버킷에서pa_forms양식을 가져옵니다. 이 서비스는 사전 구성된 Document AI 프로세서(form_processors라고 함)를 식별합니다. 이러한 프로세스는pa_forms양식을 처리하도록 정의되어 있습니다.ingestion_service서비스는form_processors프로세서를 사용하여 양식에서 정보를 추출합니다. 양식에서 추출된 데이터는 JSON 형식으로 표시됩니다.ingestion_service서비스는 필드 수준 신뢰도 점수와 함께 추출된 정보를pa_form_collection컬렉션이라는 Firestore 데이터베이스 컬렉션에 기록합니다.hitl_app애플리케이션은pa_form_collection컬렉션에서 신뢰도 점수가 포함된 JSON 정보를 가져옵니다. 이 애플리케이션은form_processors머신러닝(ML) 모델이 출력에서 제공하는 필드 수준 신뢰도 점수에서 문서 수준 신뢰도 점수를 계산합니다.hitl_app애플리케이션은 추출된 정보를 PA 케이스 관리자에게 필드 수준 및 문서 수준의 신뢰도 점수와 함께 표시하여 관리자가 정보를 검토하고 추출된 값이 부정확하면 이를 수정할 수 있도록 합니다. PA 케이스 관리자는 잘못된 값을 업데이트하고 문서를pa_form_collection컬렉션에 저장할 수 있습니다.
UR 서비스의 데이터 흐름
다음 다이어그램은 UR 서비스의 데이터 흐름을 보여줍니다.
위 다이어그램에 표시된 것처럼 UR 전문가는 시스템 구성요소와 상호작용하여 PA 요청의 임상 검토를 수행합니다. UR 전문가는 일반적으로 의료 보험 회사에 고용된 특정 임상 분야에 대한 경험이 있는 간호사 또는 의사입니다. PA 요청의 케이스 관리 및 라우팅 워크플로는 이 섹션에서 설명하는 워크플로 범위를 벗어납니다.
이벤트 흐름은 다음과 같습니다.
ur_app애플리케이션은 PA 요청 목록과 검토 상태를 UR 전문가에게 표시됩니다. 상태는in_queue,in_progress,completed로 표시됩니다.- 애플리케이션은
pa_form_collection컬렉션의pa_form information데이터에서 목록을 만듭니다. UR 전문가는ur_app애플리케이션의 목록에서 항목을 클릭하여 요청을 엽니다. ur_app애플리케이션은pa_form information데이터를prompt_model모델에 제출합니다. Gemini Enterprise Agent Platform의 Gemini API를 사용하여 다음과 비슷한 프롬프트를 생성합니다.Review a PA request for {medication|device|medical service} for our member, {Patient Name}, who is {age} old, {gender} with {medical condition}. The patient is on {current medication|treatment list}, has {symptoms}, and has been diagnosed with {diagnosis}.ur_app애플리케이션에서 생성된 프롬프트를 UR 전문가에게 표시하면 UR 전문가가 검토하고 의견을 작성합니다. UR 전문가는 UI에서 프롬프트를 업데이트하고 이를 애플리케이션에 전송할 수 있습니다.ur_app애플리케이션은 요청과 함께 프롬프트를ur_model모델에 전송하여 추천을 생성합니다. 모델이 대답을 생성하고 애플리케이션으로 반환합니다. 애플리케이션이 UR 전문가에게 추천되는 결과를 표시합니다.UR 전문가는
ur_search_app애플리케이션을 사용하여clinical documents파일,care guidelines문서,plan policy documents파일을 검색할 수 있습니다. 이러한 문서는 사전 색인 생성되며ur_search_app애플리케이션에서 액세스할 수 있습니다.
구성요소
이 아키텍처에는 다음 구성요소가 포함됩니다.
Cloud Storage 버킷: UM 애플리케이션 서비스를 사용하려면 Google Cloud 프로젝트에 다음 Cloud Storage 버킷이 있어야 합니다.
pa_forms_bkt: 승인이 필요한 PA 양식을 수집하는 버킷입니다.training_forms: Document AI 양식 프로세서를 학습시키기 위해 이전 PA 양식을 보관하는 버킷입니다.eval_forms: Document AI 양식 프로세서의 정확성을 평가하기 위해 PA 양식을 보관하는 버킷입니다.tuning_dataset: 대규모 언어 모델(LLM)을 조정하는 데 필요한 데이터를 보관하는 버킷입니다.eval_dataset: LLM 평가에 필요한 데이터를 보관하는 버킷입니다.clinical_docs: 의료 서비스 제공업체가 PA 양식에 첨부파일로 제출하거나 PA 케이스를 지원하기 위해 나중에 제출하는 임상 문서를 보관하는 버킷입니다. Agent Search의 검색 애플리케이션은 이러한 문서를 색인화합니다.um_policies: 의료품 및 치료 가이드라인, 의료 보험 정책 문서, 보험 보장 범위 가이드라인을 보관하는 버킷입니다. Agent Search의 검색 애플리케이션은 이러한 문서를 색인화합니다.
form_processors프로세서:pa_forms양식에서 정보를 추출하도록 학습된 Document AI 프로세서입니다.pa_form_collection컬렉션: 추출한 정보를 NoSQL 데이터베이스 컬렉션에 JSON 문서로 저장하는 Firestore 데이터 스토어입니다.ingestion_service서비스: 버킷에서 문서를 읽고, 파싱을 위해 Document AI 엔드포인트로 전달하고, 추출된 데이터를 Firestore 데이터베이스 컬렉션에 저장하는 마이크로서비스입니다.hitl_app애플리케이션:pa_forms양식에서 추출된 데이터 값을 가져와서 표시하는 마이크로서비스 웹 애플리케이션입니다. 또한 PA 케이스 관리자가 데이터 스토어에서 정보를 검토, 수정, 저장할 수 있도록 양식 프로세서(ML 모델)가 PA 케이스 관리자에게 보고한 신뢰도 점수를 렌더링합니다.ur_app애플리케이션: UR 전문가가 생성형 AI를 사용하여 PA 요청을 검토하는 데 사용할 수 있는 마이크로서비스 웹 애플리케이션입니다.pa_forms양식에서 추출된 데이터를prompt_model모델에 전달하여 프롬프트를 생성합니다. 그런 후 생성된 프롬프트를ur_model모델로 전달하여 케이스 추천을 가져옵니다.Agent Platform 파운데이션 모델: Agent Platform은 Gemini 모델과 같은 다양한 생성형 AI 파운데이션 모델을 제공하며, 이를 조정하여 비용과 지연 시간을 줄일 수 있습니다. 이 아키텍처에 사용된 모델은 다음과 같습니다.
prompt_model:pa_forms양식에서 추출된 데이터를 기반으로 프롬프트를 생성하는 조정된 LLM 어댑터입니다.ur_model: 입력 프롬프트를 기반으로 초안 추천을 생성하는 조정된 LLM 어댑터입니다.
ur_search_app애플리케이션: Agent Search로 빌드된 검색 애플리케이션으로, 임상 문서, UM 정책, 보험 보장 범위 가이드라인에서 UR 전문가와 관련된 정보를 찾습니다.
사용 제품
이 참조 아키텍처에는 다음과 같은 Google Cloud 제품이 사용됩니다.
- Gemini Enterprise Agent Platform: 엔터프라이즈급 AI 에이전트를 빌드, 확장, 제어, 최적화할 수 있는 포괄적인 플랫폼입니다.
- Agent Search: 엔터프라이즈급 AI 기반 에이전트 및 애플리케이션을 만들고 배포할 수 있는 플랫폼입니다.
- Document AI: 문서에서 비정형 데이터를 가져와서 정형 데이터로 변환하는 문서 처리 플랫폼입니다.
- Firestore: 자동 확장, 고성능, 간편한 애플리케이션 개발을 위해 설계된 NoSQL 문서 데이터베이스입니다.
- Cloud Run: Google의 확장 가능한 인프라에서 직접 컨테이너를 실행할 수 있게 해주는 서버리스 컴퓨팅 플랫폼입니다.
- Cloud Storage: 다양한 데이터 유형에 적합한 저비용, 무제한 객체 스토어입니다. Google Cloud내부 및 외부에서 데이터에 액세스할 수 있고 중복성을 위해 여러 위치에 복제됩니다.
- Cloud Logging: 스토리지, 검색, 분석, 알림을 지원하는 실시간 로그 관리 시스템입니다.
- Cloud Monitoring: 애플리케이션 및 인프라의 성능, 가용성, 상태에 관한 정보를 제공하는 서비스입니다.
사용 사례
UM은 주로 미국 의료 보험 회사에서 사용하는 프로세스이지만, 몇 가지가 수정된 유사한 프로세스가 전 세계 의료 보험 시장에서 사용되고 있습니다. UM의 목표는 환자가 적합한 환경에서 최적의 시기에 최소한의 비용으로 적절한 치료를 받을 수 있도록 지원하는 것입니다. UM은 의료 행위가 효과적이고 효율적이며 증거 기반의 의료 표준에 부합하도록 하는 데에도 도움이 됩니다. PA는 환자가 치료를 받기 전에 보험 회사에서 승인을 얻어야 하는 UM 도구입니다.
많은 기업에서 사용하는 UM 프로세스는 시의적절한 치료를 제공하고 받는 데 장애 요소로 작용합니다. 비용과 시간이 많이 들고 지나친 관리를 요합니다. 또한 복잡하고, 수동적이고, 느립니다. 이 프로세스는 의료 보험 회사에서 의료의 질을 효과적으로 관리하고 제공업체 및 구성원의 경험을 개선하는 데 큰 영향을 미칩니다. 하지만 이러한 기업에서 UM 프로세스를 수정하면 환자가 비용 효율적인 양질의 치료를 받는 데 도움이 될 수 있습니다. UR 프로세스를 최적화하면 의료 보험 회사에서 PA 요청을 빠르게 처리하여 비용과 거부를 줄일 수 있으며, 이는 환자와 제공업체의 경험을 개선하는 데 도움이 됩니다. 이 접근 방식은 의료 서비스 제공업체의 관리 부담을 줄이는 데 도움이 됩니다.
의료 보험 회사에서 PA 요청을 받으면 PA 케이스 관리자가 케이스 관리 시스템에서 케이스를 만들어 요청을 추적, 관리, 처리합니다. 이러한 요청의 상당수는 첨부된 의료 문서와 함께 팩스 및 우편으로 수신됩니다. 그러나 의료 보험 회사에서 데이터 분석 및 비즈니스 인텔리전스를 위해 이러한 양식과 문서의 정보에 쉽게 액세스할 수 없습니다. 현재 이러한 문서의 정보를 케이스 관리 시스템에 수동으로 입력하는 프로세스는 비효율적이고 시간이 많이 걸리며 오류가 발생할 수 있습니다.
의료 보험 회사에서 데이터 수집 프로세스를 자동화하면 비용, 데이터 입력 오류, 직원의 관리 부담을 줄일 수 있습니다. 임상 양식 및 문서에서 유용한 정보를 추출하면 의료 보험 회사에서 UR 프로세스를 신속하게 처리할 수 있습니다.
설계 고려사항
이 섹션에서는 Google Cloud Well-Architected Framework에 따른 설계 요소, 권장사항, 추천을 설명합니다. 이 참조 아키텍처를 사용하여 보안, 안정성, 비용 최적화, 운영 효율성, 성능에 대한 특정 요구사항을 충족하는 토폴로지를 개발할 때 이 정보를 고려하세요.
보안, 개인 정보 보호, 규정 준수
이 섹션에서는 이 참조 아키텍처를 사용하여 Google Cloud 에서 보안, 개인 정보 보호, 규정 준수 요구사항을 충족하는 토폴로지를 설계하고 빌드할 때 고려해야 하는 요소를 설명합니다.
미국에서는 건강 보험 이동성 및 책임법(HIPAA, 경제적 및 임상적 건전성을 위한 의료정보기술(HITECH) 법안 도입에 따른 개정 등 개정판 포함)에 따라 HIPAA 보안 규칙, 개인 정보 보호 규칙, 위반 통지 규칙을 준수해야 합니다. Google Cloud 는 HIPAA 규정 준수를 지원하지만, 궁극적으로 HIPAA 규정 준수 여부를 평가할 책임은 사용자에게 있습니다. HIPAA 준수는 사용자와 Google의 공동 책임입니다. 조직에 HIPAA가 적용되고 보호 건강 정보(PHI)와 관련하여 Google Cloud제품을 사용하려면 Google의 비즈니스 제휴 계약(BAA)을 검토하고 계약에 동의해야 합니다. BAA에 해당하는 Google 제품은 HIPAA 요구사항을 충족하고Google Cloud의 ISO/IEC 27001, 27017, 27018 인증 및 SOC 2 보고서 규정을 따릅니다.
Model Garden에서 호스팅되는 모든 LLM이 HIPAA를 지원하지는 않습니다. HIPAA를 지원하는 LLM만 평가하고 사용하세요.
Google 제품이 어떻게 HIPAA 규정 준수 요건을 충족하는지 평가하려면 규정 준수 리소스 센터에서 서드 파티 감사 보고서를 검토하세요.
AI 사용 사례를 선택하고 아키텍처를 설계할 때는 다음 보안 및 개인 정보 보호 설정을 고려하세요.
- 데이터 거버넌스 및 개인 정보 보호: 에이전트 플랫폼 및 데이터 보관 제로 및 데이터 거버넌스 및 생성형 AI에 설명된 대로 에이전트 플랫폼, 에이전트 검색, Document AI는 사용자의 사전 허가나 지시 없이 Google의 파운데이션 모델을 학습시키는 데 고객 데이터, 사용 데이터, 콘텐츠 또는 문서를 사용하지 않습니다.Google Cloud의 안전한 테넌트 내에서 데이터와 문서를 사용하여 파운데이션 모델을 조정할 수 있습니다.
- 프롬프트 및 응답 검사: 프롬프트 인젝션 공격, 탈옥 시도, 민감한 데이터 유출로부터
prompt_model및ur_model모델을 보호하기 위해 Model Armor를 Agent Platform과 통합하여 프롬프트 및 응답을 검사할 수 있습니다. - PHI 검색 및 익명화: 모델 추론 또는 색인 생성 전에 비정형 PA 양식 및 임상 문서에서 PHI 및 개인 식별 정보(PII)의 노출을 최소화하기 위해 Sensitive Data Protection을 사용하여 민감한 정보를 검색, 분류, 익명화할 수 있습니다.
- 경계 보안: 의료 데이터 파이프라인 전반에서 데이터 무단 반출 위험을 완화하기 위해 VPC 서비스 제어를 사용하여 Agent Platform, Agent Search, Document AI, Cloud Storage, Cloud Run 리소스 주변에 서비스 경계를 설정할 수 있습니다.
- 데이터베이스 액세스 제어: Firestore 서버 클라이언트 라이브러리는 Identity and Access Management(IAM)를 사용하여 데이터베이스 액세스를 관리합니다. Firebase의 보안 및 개인 정보 보호 설정에 관해 알아보려면 Firebase의 개인 정보 보호 및 보안을 참조하세요.
- 컨테이너 암호화 및 보안 비밀 관리: 민감한 정보를 보호하기 위해 고객 관리 암호화 키(CMEK)를 사용하여
ingestion_service서비스,hitl_app애플리케이션,ur_app애플리케이션의 컨테이너 이미지를 암호화하고 서비스를 Secret Manager와 통합할 수 있습니다. - 플랫폼 보안 제어: Agent Platform은 모델 및 학습 데이터를 보호하기 위해 Google Cloud 보안 제어를 구현합니다. 일부 보안 제어는 Agent Platform의 모든 생성형 AI 기능에서 지원되지 않습니다. 자세한 내용은 머신러닝 서비스의 보안 제어 및 생성형 AI의 보안 제어를 참조하세요.
- 최소 권한: IAM을 사용하여 클라우드 리소스에 최소 권한 및 직무 분리 원칙을 구현합니다. 이러한 제어를 통해 프로젝트, 폴더 또는 리소스 수준에서 액세스를 제한할 수 있습니다.
- 스토리지 암호화: Cloud Storage는 저장 데이터를 자동으로 암호화합니다. 데이터를 암호화하는 그 밖의 방법에 대해 자세히 알아보려면 데이터 암호화 옵션을 참조하세요.
Google 제품은 책임감 있는 AI 원칙을 따릅니다.
AI 및 ML 워크로드와 관련된 보안 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 보안을 참조하세요.
안정성
이 섹션에서는 PA 요청 처리를 자동화하기 위해 안정적인 인프라를 빌드 및 운영할 때 고려해야 하는 설계 요소에 대해 설명합니다.
Document AI form_processors 프로세서는 리전별 리소스입니다. Document AI는 리전 내 여러 영역에 데이터를 동기식으로 저장하고 영역 간에 트래픽을 자동으로 부하 분산합니다.
영역 서비스 중단이 발생해도 데이터가 손실되지 않습니다1. 리전 서비스 중단이 발생하면 Google에서 서비스 중단을 해결할 때까지 서비스를 사용할 수 없습니다.
리전, 이중 리전, 멀티 리전의 세 가지 위치 중 하나로 Cloud Storage 버킷을 만들 수 있습니다. Cloud Storage는 리전 버킷의 데이터를 리전 내 여러 영역에 동기식으로 복제합니다. 더 높은 가용성을 위해서는 Cloud Storage가 리전 간에 데이터를 비동기식으로 복제하는 이중 리전 또는 멀티 리전 버킷을 사용하면 됩니다.
Firestore에서 pa_form_collection 컬렉션의 정보는 고가용성과 확장성을 지원하기 위해 여러 데이터 센터에 복제될 수 있습니다.
ingestion_service 서비스, hitl_app 애플리케이션, ur_app 애플리케이션은 리전 Cloud Run 서비스로 실행됩니다. Cloud Run은 리전 내 여러 영역에 동기식으로 데이터를 저장하고 이러한 영역 간에 트래픽을 자동으로 부하 분산합니다. 복원력이 우수한 Cloud Run 서비스를 설계할 때의 권장사항은 Cloud Run 일반 개발 팁을 참조하세요.
일괄 문서 수집 태스크를 Cloud Run 작업으로 실행하는 경우 일시적인 오류로 인해 개별 작업 태스크가 실패할 수 있습니다. 이러한 실패를 처리하려면 태스크 재시도 및 체크포인트 지정을 구성합니다. 자세한 내용은 작업 재시도 및 체크포인트 권장사항을 참조하세요.
prompt_model 및 ur_model 모델이 대량의 PA 요청을 처리할 때 일관된 처리량과 예측 가능한 지연 시간을 보장하려면 Agent Platform에서 프로비저닝된 처리량을 사용하면 됩니다.
AI 및 ML 워크로드와 관련된 안정성 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 안정성을 참조하세요.
비용 최적화
이 섹션에서는 PA 및 UR 자동화 아키텍처의 비용을 최적화하는 데 도움이 되는 안내를 제공합니다. 리소스 사용량을 모니터링하고 적절한 서비스 등급을 선택하면 전반적인 비용을 관리할 수 있습니다.
- Cloud Storage 스토리지 클래스: 워크로드에서 데이터에 액세스하는 빈도에 따라 다른 스토리지 클래스(Standard, Nearline, Coldline, Archive)를 사용합니다. Nearline, Coldline, Archive는 자주 액세스하지 않는 데이터를 위한 비용 효율적인 스토리지입니다.
- Cloud Storage 수명 주기 정책: 수명 주기 정책을 구현하여 객체를 더 저렴한 스토리지 클래스로 자동 전환하거나 기간 및 액세스 패턴을 기준으로 객체를 삭제합니다.
- Document AI: Document AI 가격은 배포된 프로세서 수와 Document AI 프로세서가 파싱하는 페이지 수를 기준으로 책정됩니다. 다음 전략을 고려하세요.
- 프로세스 최적화: 워크로드 패턴을 분석하여 배포할 Document AI 프로세서의 최적 개수를 결정하고 리소스의 과도한 프로비저닝을 방지합니다.
- 페이지 볼륨 관리: 불필요한 페이지를 없애거나 처리 비용 감소를 돕기 위한 해결 방법을 최적화하기 위해 문서를 미리 처리합니다.
- Firestore: Firestore 가격은 문서 읽기, 쓰기, 삭제, 색인 항목, 데이터베이스 스토리지, 네트워크 대역폭을 기준으로 책정됩니다. 다음 전략을 고려하세요.
- 데이터 모델링: 색인 항목 수를 최소화하고 효율성을 위해 쿼리 패턴을 최적화하도록 데이터 모델을 설계합니다.
- 네트워크 대역폭: 과도한 요금이 청구되지 않도록 네트워크 사용량을 모니터링하고 최적화하며 자주 액세스하는 데이터를 캐시합니다.
- Cloud Run: Cloud Run 요금은 CPU 사용량, 메모리, 요청 수를 기준으로 계산됩니다. 워크로드 특성에 따라 CPU 및 메모리 리소스를 할당하고 자동 확장을 사용하여 수요에 따라 리소스를 동적으로 조정합니다.
- 에이전트 플랫폼: 파운데이션 모델은 입력 및 출력 토큰 수를 기준으로 요금이 청구됩니다.
토큰 효율성을 위해 프롬프트 및 대답 생성을 최적화하세요.
prompt_model또는ur_model모델이 요청 전반에서 공유 임상 가이드라인 또는 시스템 안내를 반복적으로 참조하는 경우 컨텍스트 캐싱을 사용하여 입력 토큰 비용을 줄일 수 있습니다. - Agent Search: Agent Search 요금은 쿼리 볼륨, 색인 생성된 스토리지, 사용 설정하는 고급 기능(예: Enterprise 버전 기능 및 생성형 대답)에 따라 다릅니다. 예측 가능한 검색 워크로드의 경우 스토리지 및 쿼리 용량을 구독하고 부가기능을 선택적으로 사용 설정할 수 있는 구독 기반 구성 가능한 가격 책정 모델을 평가할 수도 있습니다.
비용을 최적화하는 데 도움이 되는 다음과 같은 일반적인 관행을 적용할 수도 있습니다.
- 모니터링 및 알림: Cloud Monitoring 및 결제 알림을 설정하여 비용을 추적하고 사용량이 기준점을 초과하면 알림을 받으세요.
- 비용 보고서:Google Cloud 콘솔에서 비용 보고서를 정기적으로 검토하여 추세를 파악하고 리소스 사용량을 최적화하세요.
- 약정 사용 할인: 예측 가능한 워크로드가 있는 경우 할인된 가격이 책정되도록 일정 기간 동안 리소스 사용을 약정해 보세요.
AI 및 ML 워크로드와 관련된 비용 최적화 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 비용 최적화를 참조하세요.
운영 효율성
이 섹션에서는 PA 및 UR 자동화 워크로드를 효율적으로 평가, 모니터링, 운영하는 데 도움이 되는 설계 요소와 권장사항을 설명합니다.
- 생성형 AI 모델 평가: 프롬프트 템플릿을 미세 조정하거나
prompt_model및ur_model모델의 새 모델 버전을 평가할 때는 Agent Platform의 Gen AI Evaluation Service를 사용합니다.eval_dataset버킷의 벤치마크 데이터를 사용하여 응답 품질, 그라운딩, 임상 검토 기준 준수 여부를 체계적으로 측정합니다. - 문서 프로세서 평가 및 재학습: Document AI 커스텀 추출기를 지속적으로 평가하고 재학습시키려면
eval_forms버킷의 평가 양식과hitl_app애플리케이션의 사람이 확인한 수정사항을 사용합니다. - 모니터링 가능성: 구조화된 로그를 수집하고
ingestion_service서비스 및 애플리케이션 전반에서 추출 신뢰도 점수, 모델 추론 지연 시간, 오류율, 토큰 소비를 추적하려면 Cloud Logging 및 Cloud Monitoring을 사용합니다.
AI 및 ML 워크로드와 관련된 운영 효율성 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 운영 효율성을 참조하세요.
성능 최적화
이 섹션에서는 워크로드의 성능 및 지연 시간 요구사항을 충족하는 Google Cloud 에서 토폴로지를 설계하는 데 도움이 되는 설계 요소와 권장사항을 설명합니다.
- Cloud Run 리소스 구성: 요청 동시 실행 및 문서 페이로드 크기에 따라
ingestion_service서비스,hitl_app애플리케이션,ur_app애플리케이션의 CPU 한도 및 메모리 한도를 구성합니다.hitl_app및ur_app애플리케이션에서 대화형 임상 검토의 콜드 스타트 지연 시간을 줄이려면 최소 인스턴스를 구성하고 시작 CPU 부스트를 사용 설정합니다. - 모델 추론 지연 시간:
ur_model모델이 대규모 정책 컨텍스트를 기준으로 복잡한 임상 사례를 평가할 때 첫 번째 토큰까지의 시간을 줄이려면 컨텍스트 캐싱을 사용하고 에이전트 플랫폼에서 프로비저닝된 처리량으로 용량을 예약합니다.
AI 및 ML 워크로드와 관련된 성능 최적화 원칙 및 권장사항은 Well-Architected Framework의 AI 및 ML 관점: 성능 최적화를 참조하세요.
배포
이 아키텍처의 참조 구현 코드는 오픈소스 라이선스에 따라 제공됩니다. 이 코드가 구현하는 아키텍처는 프로토타입이며 프로덕션 배포에 필요한 일부 기능과 강화가 포함되지 않을 수 있습니다. 요구사항을 충족하도록 이 참조 아키텍처를 구현하고 확장하려면 Google Cloud 컨설팅에 문의하세요.
이 참조 아키텍처의 시작 코드는 다음 Git 저장소에서 제공됩니다.
- CDA git 저장소: 이 저장소에는 애플리케이션 코드의 인프라 프로비저닝 및 배포를 위한 Terraform 배포 스크립트가 포함되어 있습니다.
- UR 서비스 git 저장소: 이 저장소에는 UR 서비스의 코드 샘플이 포함되어 있습니다.
이 참조 아키텍처의 지원 및 서비스를 구현하기 위해서는 다음 두 가지 옵션 중 하나를 선택할 수 있습니다.
- Google Cloud 컨설팅에 문의합니다.
- 이 아키텍처에 설명된 제품 및 솔루션 구성요소를 사용하여 패키징된 제품을 빌드한 파트너에게 문의합니다.
다음 단계
- Agent Platform 및 벡터 검색을 사용한 생성형 AI를 위한 RAG 인프라
- 에이전트 플랫폼 및 PostgreSQL용 AlloyDB를 사용한 생성형 AI를 위한 RAG 인프라
- GKE 및 Cloud SQL을 사용한 생성형 AI를 위한 RAG 인프라
- Gemini Enterprise 및 Agent Platform을 사용한 생성형 AI를 위한 RAG 인프라
- Agent Platform 및 Spanner Graph를 사용하는 생성형 AI용 GraphRAG 인프라
- 생성형 AI 대답 그라운딩을 위한Google Cloud 옵션
- Cloud Run용 Python 애플리케이션 최적화
- Google Cloud에서 AI 및 ML 워크로드와 관련된 아키텍처 원칙 및 권장사항에 대한 개요는 Well-Architected Framework의 AI 및 ML 관점을 참조하세요.
- 그 밖의 참조 아키텍처, 다이어그램, 튜토리얼, 권장사항을 알아보려면 Cloud 아키텍처 센터를 확인하세요.
참여자
저자: 다메쉬 파텔 | 의료 업종별 솔루션 설계자
기타 참여자: