관점 및 관점 유형 정보

엔터프라이즈 데이터 환경에는 여러 스토리지 시스템에 걸쳐 수백 개의 데이터 세트, 테이블, 데이터 모델이 포함되는 경우가 많습니다. 각 데이터 세트의 소유자가 누구인지, 개인 식별 정보(PII)와 같은 민감한 정보가 포함되어 있는지, 품질 표준을 충족하는지 파악하려면 일반적으로 데이터 소스를 수동으로 조사하거나 흩어져 있는 문서를 추적해야 합니다.

Knowledge Catalog(이전 명칭: Dataplex Universal Catalog)의 관점과 관점 유형은 구조화된 비즈니스 컨텍스트, 거버넌스 정책, 운영 속성을 데이터 애셋에 직접 연결하는 표준화되고 확장 가능한 방법을 제공하여 이 문제를 해결합니다.

이 문서에서는 Knowledge Catalog의 관점 유형 및 관점에 대한 아키텍처 개념, 범위 지정 규칙, 거버넌스 경계를 설명합니다. 기존 항목에 관점을 연결하거나 커스텀 관점 유형을 만들려면 관점 관리 및 메타데이터 보강을 참조하세요.

관점 유형

관점 유형(AspectType)은 관점의 메타데이터 필드, 데이터 유형, 검증 규칙을 정의하는 재사용 가능한 스키마 템플릿입니다. 관점을 만들거나 연결하려면 먼저 스키마를 정의하는 관점 유형이 있어야 합니다.

커스텀 관점 유형을 만들 때는 Knowledge Catalog 리소스 이름 지정 가이드라인을 준수하는 ID를 지정해야 합니다.

관점 유형 카테고리

관점 유형은 소유권과 범위에 따라 커스텀 관점 유형과 시스템 관점 유형의 두 가지 카테고리로 나뉩니다.

커스텀 관점 유형

커스텀 관점 유형은 조직에서 만들고 관리하는 스키마 템플릿입니다. 이를 사용하여 비즈니스 소유권, SLA 등급, 데이터 보관 정책, 규정 준수 분류와 같은 도메인별 메타데이터를 캡처합니다.

커스텀 관점 유형은 항목과 열에 적용되지만 항목 링크에는 적용되지 않습니다. 즉, 커스텀 관점 유형을 사용하여 데이터 애셋 및 개별 스키마 필드에 대해 조직별 분류를 정의할 수 있습니다. 커스텀 관점 유형은 항목 링크에 적용되지 않으므로 항목 간의 커스텀 관계 메타데이터를 정의하는 데 사용할 수 없습니다. 항목 링크는 특정 시스템 관점 유형만 지원합니다. 특정 리전 위치에 또는 global 리소스로 커스텀 관점 유형을 정의할 수 있습니다.

  • 전역 관점 유형: 모든 Google Cloud 리전에 복제되며 모든 리전에 있는 항목에 연결할 수 있습니다. 전역 관점 유형을 정의하면 중복을 관리하지 않고도 전체 분산 환경에서 단일 표준화된 스키마를 적용할 수 있습니다. 하지만 스키마 정의는 전역적으로 복제되므로 조직의 규정 준수 또는 데이터 레지던시 정책 요구사항에 따라 메타데이터 정의가 특정 지리적 경계 내에 엄격하게 제한되어야 하는 경우 리전 관점 유형을 선택하세요.
  • 리전 관점 유형: us-central1 또는 europe-west1과 같은 특정 리전에 저장되며 동일한 리전에 있는 항목에만 연결할 수 있습니다. 데이터 주권 요구사항을 준수하거나 메타데이터 구조가 리전 워크로드에 고유한 경우 리전 관점 유형을 선택합니다. 여러 격리된 리전에서 동일한 메타데이터 구조가 필요한 경우 각 대상 리전에서 별도의 관점 유형 정의를 만들고 유지보수해야 합니다.

리소스 범위 지정에 대한 자세한 내용은 프로젝트 및 위치 제약 조건을 참조하세요.

시스템 관점 유형

시스템 관점 유형은 Google Cloud 에서 제공하고 유지보수하는 사전 정의된 템플릿입니다. 시스템 관점 유형은 항상 전역이며 프로젝트 번호가 655216118709이고 별칭이 dataplex-types인 Google 관리 프로젝트에 저장됩니다. 예를 들면 다음과 같습니다.

projects/655216118709/locations/global/aspectTypes/schema

시스템 관점 유형은 두 가지 기능 그룹으로 나뉩니다.

  • 재사용 가능한 시스템 관점 유형: 항목 또는 열에 연결하여 스키마 정의, 자동 데이터 프로파일링, 데이터 품질 스코어카드와 같은 표준화된 메타데이터를 기록할 수 있는 퍼스트 파티 템플릿입니다.
  • 제한된 시스템 관점 유형: BigQuery 테이블 레이아웃 또는 Cloud Storage 버킷 구성과 같은 기본 인프라 속성을 나타내기 위해 Google Cloud 서비스에서 자동으로 관리됩니다. 제한된 유형의 관점을 볼 수 있지만 수동으로 만들거나 수정하거나 삭제할 수는 없습니다.

각 시스템 관점 유형에는 자체 IAM 권한이 있습니다. 자세한 내용은 시스템 관점 유형, 항목 유형, 항목 링크 유형에 대한 IAM 권한을 참조하세요.

다음 표에는 Knowledge Catalog에서 제공하는 시스템 관점 유형이 나와 있습니다.

카테고리 설명 Knowledge Catalog에서 제공하는 관점 유형
재사용 가능한 시스템 관점 유형 항목, 열 또는 항목 링크에 연결할 수 있는 사전 정의된 템플릿입니다.
  • contacts
  • data-profile
  • data-quality-rule-template
  • data-quality-scorecard
  • data-rules
  • generic
  • graph-profile
  • guidelines
  • overview
  • schema-join
  • schema
  • storage
  • usage
제한된 시스템 관점 유형 Google Cloud 서비스에서 자동으로 관리하는 인프라 템플릿입니다. 관점은 읽기 전용입니다. 여기에는 다음이 포함되지만 이에 국한되지 않습니다.
  • analytics-hub
  • aspecttype-aspect
  • bigquery-dataset
  • bigquery-table
  • cloudsql-database
  • cloudsql-instance
  • cloudsql-table
  • entrygroup-aspect
  • entrytype-aspect
  • sensitive-data-protection-profile
  • storage-bucket
  • storage-folder

커스텀 관점 유형 및 BigQuery의 Gemini

BigQuery의 Gemini는 표준 스키마 정의, 테이블 제약 조건, 기본 테이블 또는 열 설명 필드를 기반으로 SQL 생성 및 데이터 추론을 수행합니다. Knowledge Catalog의 사용자 정의 커스텀 관점 유형은 거버넌스, 검색, API 검색을 위해 카탈로그 영역에 저장되지만 Gemini의 컨텍스트 프롬프트 검색 파이프라인에 동적으로 삽입되지는 않습니다.

워크플로에서 이는 BigQuery의 생성형 AI 기능이 SQL 쿼리를 생성하거나 데이터에 관한 질문에 답변할 때 커스텀 관점 필드에 저장된 메타데이터를 자동으로 읽을 수 없음을 의미합니다.

권장사항

BigQuery의 생성형 AI 모델이 생성된 쿼리에 비즈니스 컨텍스트를 통합하도록 하려면 커스텀 카탈로그 관점과 함께 BigQuery의 기본 테이블 설명과 열 설명을 채워야 합니다. 이 이중 접근 방식은 카탈로그 거버넌스 파이프라인이 엔터프라이즈 메타데이터 정책을 시행하는 동안 운영 AI 어시스턴트가 테이블 컨텍스트를 대화형으로 검색하도록 보장하는 데 도움이 됩니다.

관점

관점(Aspect)은 특정 항목, 열 또는 관계에 연결된 관점 유형의 구체적인 인스턴스로, 실제 메타데이터 값을 포함합니다. 관점은 상위 리소스 내에 직접 캡슐화되므로 항목 업데이트와 함께 원자적 읽기 및 쓰기 작업을 수행할 수 있습니다. 즉, 단일 API 호출로 항목과 연결된 모든 메타데이터를 검색하거나 업데이트할 수 있으므로 다중 호출 일관성 문제를 방지할 수 있습니다.

관점 배치 및 목표 수준

Knowledge Catalog 내에서 세 가지 고유한 대상 수준으로 관점을 연결할 수 있습니다.

  • 항목 수준 관점: 데이터 애셋을 전체적으로 설명합니다. 애셋 수준 소유권(contacts), 핵심 요약(overview), 데이터 세트 사용량 측정항목(usage), 집계 품질 점수(data-quality-scorecard)에 항목 수준 관점을 사용합니다.
  • 열 수준 관점(스키마 경로): 정형 테이블 내의 개별 열 또는 중첩 필드를 설명합니다. 열을 참조할 때는 스키마 경로 표기법 @Schema.<column_name>(예: @Schema.email_address 또는 @Schema.billing_address.postal_code)을 사용하여 관점을 연결합니다. PII 분류, 열 수준 데이터 품질 규칙, 시맨틱 태그에는 열 수준 관점을 사용합니다.
  • 항목 링크 수준 측면: 연결된 두 항목 간의 관계를 설명합니다. 방향성 또는 비방향성 항목 링크(schema-join 링크 제외)에 관점을 연결하여 관계 메타데이터를 기록할 수 있습니다. 조인 신뢰도 점수, 변환 규칙 또는 매핑 계보 메모에 항목 링크 수준 관점을 사용합니다.

다음 표에는 지원되는 관점 배치가 요약되어 있습니다.

대상 수준 대상 리소스 키 식별자 문법 일반적인 관점 유형
초급 데이터 애셋(테이블, 모델, 파일 세트) <aspect_type_id> contacts, overview, data-profile, 커스텀 SLA
열 수준 항목 스키마 내의 필드 또는 열 <aspect_type_id>@Schema.<column_name> PII 분류, 열 마스킹 규칙, 필드 검증 점수
항목 링크 수준 항목 간의 시맨틱 관계 <aspect_type_id> 관계 신뢰도, 조인 기준, 매핑 계보

관점 카테고리

관리 EntryType에 따라 항목에 연결된 관점은 필수 또는 선택사항으로 분류됩니다.

  • 필수 관점: 항목의 EntryType에 의해 필수로 정의됩니다. 필수 관점은 항목이 생성될 때 채워져야 하며 항목이 존재하는 한 삭제할 수 없습니다. 시스템 항목(예: BigQuery 테이블)의 경우 Schema와 같은 필수 관점이 Google Cloud에 의해 자동으로 채워지고 동기화됩니다.
  • 선택적 관점: 데이터 관리 책임자, 자동화된 파이프라인 또는 AI 에이전트가 연결하여 기준 템플릿 요구사항을 넘어 항목을 보강하는 보조 메타데이터입니다. 선택적 관점은 항목의 수명 주기에 영향을 주지 않고 언제든지 추가, 업데이트, 삭제할 수 있습니다.

특수 시스템 관점 유형

Knowledge Catalog는 데이터 프로파일링, 데이터 품질, 관계 추출 결과를 기록하는 재사용 가능한 특수 시스템 관점 유형을 제공합니다.

  • 데이터 품질 스코어카드(data-quality-scorecard): Dataplex 데이터 품질 스캔에서 생성된 전반적인 데이터 품질 점수, 평가 상태, 열별 측정기준 점수를 기록합니다.
  • 데이터 규칙(data-rules) 및 규칙 템플릿(data-quality-rule-template): 여러 데이터 세트에 적용할 수 있는 재사용 가능한 데이터 검증 규칙 및 템플릿을 저장하고 관리합니다.
  • 데이터 프로필(data-profile): null 비율, 고유 값, 분포 빈도와 같은 테이블 데이터에 대한 통계 측정항목을 저장합니다.
  • 그래프 프로필(graph-profile): 비정형 문서에서 추출된 AI 추출 항목, 관계 에지, 지식 그래프를 캡처합니다.

프로젝트 및 위치 범위 지정 제약 조건

데이터 거버넌스 경계를 유지하고 의도치 않은 리전 간 메타데이터 종속 항목을 방지하기 위해 Knowledge Catalog는 다음 범위 지정 제약 조건을 적용합니다.

리소스 위치 규칙 프로젝트 규칙
항목 항목의 위치가 EntryType의 위치와 일치하거나 EntryType이 global이어야 합니다. 전역 또는 동일 프로젝트 항목 유형을 참조할 수 있습니다.
항목의 관점 관점의 AspectType은 항목과 동일한 위치에 있어야 하거나 AspectType이 global이어야 합니다. 전역 시스템 관점 유형 또는 동일 프로젝트 커스텀 관점 유형을 참조할 수 있습니다.
항목 링크 항목 링크의 위치가 EntryLinkType와 일치하거나 EntryLinkType가 global여야 합니다. 동일한 조직 내의 여러 프로젝트에 있는 항목을 연결할 수 있습니다.
항목 유형 항목 유형과 동일한 위치에 저장된 관점 유형 또는 global인 관점 유형으로 구성됩니다. 항목 유형이 커스텀 관점 유형을 참조하는 경우 관점 유형은 동일한 프로젝트 및 위치에 있어야 합니다.

다음 단계

작업

콘솔, gcloud CLI 또는 API를 사용하여 항목, 열, 항목 링크에 관점을 연결하고 커스텀 관점 유형을 관리합니다.

개념

항목 그룹, 항목, 관점 유형, 활성 컨텍스트 그래프를 비롯한 통합 메타모델을 살펴봅니다.

빠른 시작

단계별 튜토리얼을 따라 애셋을 검색하고 BigQuery 테이블에 커스텀 관점 메타데이터를 연결합니다.

탐색

관점 기반 검색 조건자를 사용하여 Google Cloud 및 커스텀 소스 전반에서 리소스를 찾습니다.