BigQuery에서 Knowledge Catalog 사용

Knowledge Catalog(이전 명칭: Dataplex Universal Catalog)는 BigQuery의 메타데이터를 위한 중앙 데이터 거버넌스 및 에이전트 액세스 레이어로서 BigQuery와 상호작용합니다. 자세한 내용은 Knowledge Catalog 개요를 참고하세요.

BigQuery와 함께 Knowledge Catalog를 사용하려면 어떻게 해야 하나요?

Knowledge Catalog는 다음과 같은 방식으로 BigQuery와 상호작용합니다.

자동 메타데이터 수집

Knowledge Catalog는 BigQuery 애셋의 기술 메타데이터를 자동으로 검색하고 색인을 생성합니다. 여기에는 다음이 포함됩니다.

메타데이터 표현 및 보강

  • 항목: 각 BigQuery 테이블 또는 애셋은 전체 테이블이 아닌 카탈로그의 항목으로 표시됩니다(예: project.dataset.table).
  • 데이터 품질 스코어카드 통합: Knowledge Catalog는 카탈로그의 각 항목에 데이터 품질 스코어카드를 제공합니다. 기본 제공 Knowledge Catalog 데이터 스캔 외에도 Dataform의 어설션 결과가 이 스코어카드의 소스입니다(미리보기).

  • 자동 메타데이터 보강: Dataform으로 만든 테이블 및 뷰의 경우 코드에서 직접 시맨틱 메타데이터를 정의할 수 있습니다. 이 메타데이터는 파이프라인 작업(미리보기)이 성공적으로 완료되면 Knowledge Catalog에 자동으로 동기화됩니다. 지원되는 측면 유형은 다음과 같습니다.

    • 개요: 항목의 문서 및 요약 텍스트입니다.
    • 일반적인 측면: 테이블 시스템 및 유형 정보와 같은 기술 세부정보를 위한 시맨틱 메타데이터 태그입니다.

    메타데이터 업데이트 상태를 확인하려면 이전 수동 실행 보기의 안내를 따르세요.

    메타데이터가 동기화되면 Knowledge Catalog에서 항목을 검색하고 볼 수 있습니다. 자세한 내용은 리소스 검색을 참고하세요.

  • 열 수준 메타데이터: 개별 열 또는 필드가 경로로 표시되므로 테이블 자체가 아닌 BigQuery 테이블 내의 개별 필드에 PII 마커 또는 데이터 품질 점수와 같은 특정 메타데이터를 연결할 수 있습니다.

  • 관점: 기술 메타데이터는 소유권, 데이터 품질, 문서와 같은 비즈니스 컨텍스트를 데이터에 추가하는 관점으로 보강됩니다.

  • 데이터 제품: 관련 BigQuery 애셋을 공유 액세스 및 거버넌스 제약 조건이 있는 데이터 제품(예: 전자상거래 비즈니스 데이터)으로 패키징할 수 있습니다.

  • 시맨틱 검색: 사용자는 자연어를 사용하여 BigQuery 데이터를 검색할 수 있습니다. 이는 특히 데이터 과학자와 AI 에이전트가 길거나 복잡한 쿼리를 사용하여 신뢰할 수 있는 데이터 제품을 찾는 데 유용합니다.
  • 이름 변환: 프로그래매틱 조회를 더 쉽게 할 수 있도록 시스템에서 BigQuery SQL 이름 또는 정규화된 이름을 Knowledge Catalog 항목 이름으로 변환할 수 있습니다.

에이전트 액세스 및 그라운딩

  • 에이전트 액세스: AI 에이전트는 로컬 또는 원격 MCP 서버를 통해 지식 카탈로그 도구를 검색하고 적응적으로 사용할 수 있습니다.
  • AI 에이전트의 컨텍스트: Knowledge Catalog는 BigQuery 데이터 세트를 비즈니스 시맨틱과 연결하는 컨텍스트 그래프를 선별하여 모델이 엔터프라이즈 승인 데이터를 사용하도록 함으로써 AI 환각을 줄이는 데 도움이 됩니다.

거버넌스 및 규정 준수

  • 데이터 계보: Knowledge Catalog는 데이터가 BigQuery 테이블로 흘러 들어가고 변환되는 방식을 자동으로 추적합니다. 이 기능은 데이터 전반에서 PII와 같은 민감한 정보를 감사하는 데 중요합니다.
  • 액세스 제어: 메타데이터 관리가 Identity and Access Management (IAM) 및 VPC 서비스 제어와 통합되어 BigQuery 메타데이터의 검색 및 액세스가 조직 보안 정책을 따르도록 합니다.

마이그레이션 고려사항

지원 중단된 Data Catalog에서 Knowledge Catalog로 마이그레이션하려면 여러 단계를 거쳐야 합니다. BigQuery의 표준 메타데이터(예: 데이터 세트, 테이블, 뷰)는 Knowledge Catalog에서 자동으로 사용할 수 있으므로 마이그레이션 프로세스는 주로 맞춤 메타데이터, API 사용, 사용자 인터페이스 기본값에 중점을 둡니다.

다음은 마이그레이션할 때 고려해야 할 주요 사항입니다.

변경사항 이해하기

Knowledge Catalog는 Data Catalog에 비해 메타데이터 관리, 거버넌스, 검색을 위한 향상된 기능을 제공합니다. Knowledge Catalog는 다른 API (Knowledge Catalog API)를 사용하며 데이터 모델이 약간 다릅니다. 예를 들어 Knowledge Catalog는 태그 및 태그 템플릿 대신 관점 및 관점 유형을 사용합니다.

현재 데이터 카탈로그 사용량 평가

  • 맞춤 메타데이터 없음: 맞춤 태그, 태그 템플릿, 맞춤 항목 또는 항목 그룹을 만들지 않고 표준 BigQuery 메타데이터의 자동 수집 및 검색에만 Knowledge Catalog를 사용한 경우 전환이 간단합니다. 바로 Knowledge Catalog 인터페이스를 사용할 수 있습니다.
  • 맞춤 메타데이터 또는 프로그래매틱 사용: 맞춤 태그 또는 템플릿, 맞춤 항목을 만들었거나 Data Catalog API, 클라이언트 라이브러리, Google Cloud CLI 명령어 또는 Terraform을 사용하는 경우 더 구조화된 전환이 필요합니다.

BigQuery 관련 고려사항

  • 자동 수집: BigQuery 애셋 (데이터 세트, 테이블, 뷰, 모델, 루틴, 그래프)의 기술 메타데이터는 Dataplex Universal Catalog와 마찬가지로 Knowledge Catalog에 계속 자동으로 수집됩니다.
  • 정책 태그: BigQuery 열 수준 액세스 제어에 사용되는 정책 태그는 지원 중단되지 않으며 관리는 BigQuery 내에서 유지됩니다.
  • 계보: BigQuery 작업의 데이터 계보가 Knowledge Catalog 내에 표시됩니다. 데이터 계보에 대한 자세한 내용은 BigQuery 테이블의 데이터 계보 추적을 참고하세요.

전환 가이드 따르기

Knowledge Catalog로 이전하려면 Data Catalog에서 Knowledge Catalog로 전환의 단계를 따르세요.

프로그래매틱 워크플로를 Knowledge Catalog API로 업데이트하려면 Data Catalog API 메서드를 Knowledge Catalog에 매핑을 참고하세요.

다음 단계

Knowledge Catalog에 대해 자세히 알아보세요.