메타데이터 커넥터 정보

데이터 환경이 복잡해짐에 따라 메타데이터가 여러 플랫폼에 사일로화되어 팀에서 데이터를 찾고, 신뢰하고, 관리하기가 어려워질 수 있습니다. Knowledge Catalog (이전 명칭: Dataplex Universal Catalog) 커넥터를 사용하면 서드 파티 데이터 소스의 기술, 운영, 비즈니스, 시맨틱 메타데이터를 Google Cloud로 직접 자동 가져올 수 있으므로 이 문제를 해결할 수 있습니다.

이러한 커넥터를 통해 애널리스트는 도구를 전환하지 않고도 외부 데이터 애셋을 검색할 수 있고, 데이터 관리 책임자는 멀티 클라우드 환경 전반에서 중앙 집중식 거버넌스를 적용할 수 있으며, 한곳에서 크로스 플랫폼 데이터 품질을 모니터링할 수 있습니다. 반복 실행을 예약하면 카탈로그를 소스 시스템과 동기화된 상태로 유지하여 팀에서 데이터 생태계를 정확하고 최신 상태로 파악할 수 있습니다.

지원되는 데이터 소스

Knowledge Catalog 커넥터를 사용하여 다음 소스에서 메타데이터를 가져올 수 있습니다.

  • Databricks Unity Catalog
  • dbt Core 및 Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

데이터 거버넌스 파트너와의 통합

Knowledge Catalog를 다른 Data Catalog 작성 및 거버넌스 플랫폼과 통합할 수도 있습니다. 이러한 통합을 통해 원시 데이터 소스에서 가져오는 대신 병렬 카탈로그 도구에서 정보를 공유할 수 있습니다. Knowledge Catalog 내에서 메타데이터를 보강하거나 Knowledge Catalog 메타데이터를 내보내 서드 파티 도구 내에서 볼 수 있습니다.

다음 파트너는 Knowledge Catalog 통합을 제공합니다.

이 페이지의 나머지 부분에서는 커넥터를 통해 메타데이터를 가져오는 방법을 설명합니다. 파트너 통합에 대한 자세한 내용은 연결된 파트너 페이지를 참조하세요.

작동 방식

Knowledge Catalog 커넥터는 사전 빌드된 통합을 사용하여 데이터 소스에 연결하고 메타데이터를 자동으로 추출합니다. BigQuery Data Transfer Service는 이러한 전송을 관리하고 추출된 메타데이터를 선택한 특정 Knowledge Catalog 항목 그룹에 매핑합니다.

커넥터는 다음 유형의 메타데이터를 추출합니다.

  • 기술 메타데이터: 스키마, 데이터 유형, 열 이름 정의
  • 운영 메타데이터: 생성 및 수정된 타임스탬프, 계보, 사용 통계, 데이터 품질 결과입니다.
  • 비즈니스 메타데이터: 태그, 소유자, 주석
  • 시맨틱 메타데이터: 측정기준, 측정, 측정항목, 표준 쿼리, 관계

커넥터를 구성하면 Knowledge Catalog는 지정된 일정에 따라 메타데이터 가져오기 실행을 예약하여 카탈로그가 소스 시스템과 동기화된 상태를 유지하도록 합니다. 메타데이터 가져오기 실행이 발생할 때마다 해당 구성에서 관리하는 대상 항목 그룹의 항목을 완전히 덮어씁니다. 소스에 더 이상 존재하지 않는 메타데이터 객체는 항목 그룹에서 삭제되고 새 객체가 추가됩니다. 커넥터 구성으로 가져오지 않은 항목 그룹의 객체는 영향을 받지 않습니다.

용어

이 문서에서는 다음 용어가 사용됩니다.

  • 메타데이터 가져오기 구성: BigQuery Data Transfer Service를 사용하여 소스에서 메타데이터를 추출하고 Knowledge Catalog에 로드하는 예약된 태스크 또는 주문형 태스크의 설정입니다.
  • 실행: 메타데이터 가져오기 구성의 단일 실행 인스턴스입니다.
  • 항목 그룹: 메타데이터 항목이 포함된 Knowledge Catalog의 리소스입니다. 커넥터를 구성할 때 항목 그룹을 가져온 메타데이터의 대상으로 지정합니다.
  • 항목: 테이블 또는 뷰와 같은 데이터 애셋을 나타내는 Knowledge Catalog의 리소스입니다.

가격 책정

커넥터를 사용하여 메타데이터를 가져오는 경우 Knowledge Catalog 또는 BigQuery Data Transfer Service에서 추가 요금이 청구되지 않습니다.

다른 Knowledge Catalog 사용량 (예: 메타데이터 스토리지)에는 표준 요금이 적용됩니다. 자세한 내용은 Knowledge Catalog 가격 책정을 참조하세요.

제한사항

  • 소스 테이블 또는 뷰의 기본 데이터가 아닌 메타데이터만 가져옵니다. 기본 데이터를 전송하려면 BigQuery Data Transfer Service를 사용하면 됩니다.
  • 각 실행은 대상 항목 그룹에서 커넥터 관리 항목을 완전히 덮어씁니다. 증분 메타데이터 업데이트는 지원되지 않습니다.
  • 실행 기록은 90일 동안 보관됩니다.

다음 단계