(지원 중단됨) 데이터 메시 개념
Google Cloud Cortex Framework를 사용하여 데이터 메시를 배포하는 방법에 대한 자세한 가이드를 살펴보기 전에 이 페이지에서는 관련 데이터 메시 개념이 일반적으로 Google Cloud 제품 내에서, 특히 Cortex Framework 컨텍스트에서 구현되는 방식에 대한 기초를 제공합니다. 데이터 메시 개념을 이해한 후 Cortex Framework 데이터 기반에 대한 데이터 메시 사용자 가이드를 참조하세요.
Knowledge Catalog
다음 표에서는 Knowledge Catalog 내의 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 호수 | 데이터 메시 내에서 데이터를 구성하는 최상위 단위입니다. Knowledge Catalog - 레이크를 관리합니다. | 데이터 소스(예: SAP ECC, Salesforce, Google Ads)
|
| 영역 | 레이크 내에서 데이터를 구성하는 두 번째 수준 단위입니다. | 데이터 소스 내의 특정 처리 레이어(예: 원시 데이터와 CDC) |
| Knowledge Catalog 애셋 | 영역과 연결된 Cloud Storage 또는 BigQuery에 저장된 데이터에 대한 참조입니다. 이는 데이터 애셋에 대한 참조이며 데이터 자체가 아닙니다. | 영역에 등록된 BigQuery 데이터 세트에 대한 참조입니다. |
| 라벨 | 레이크 또는 영역에 적용할 수 있는 임의의 키-값 쌍입니다. | Knowledge Catalog에서 보거나 커스텀 애플리케이션에 사용할 수 있는 메타데이터로 테이블이나 열이 아닌 전체 레이크 또는 영역에 라벨을 지정합니다. |
| Data Catalog | 웨어하우스 내에서 데이터 애셋을 검색, 이해 또는 관리하는 데 사용할 수 있는 기술 비즈니스 메타데이터입니다. | Knowledge Catalog 검색 또는 커스텀 애플리케이션에서 사용할 수 있는 풍부한 메타데이터 태그로 테이블 또는 열 (레이크 또는 영역이 아님)에 주석을 추가합니다. |
| 카탈로그 태그 템플릿 | 태그에서 사용 가능한 필드와 해당 유형을 정의하는 템플릿입니다. Knowledge Catalog - 태그 템플릿 관리 | 비즈니스 라인으로 데이터 애셋에 태그를 지정하는 등의 용도로 사용할 템플릿 집합을 정의합니다. |
| 카탈로그 태그 | 테이블 또는 열에 적용 가능한 메타데이터가 포함된 필드 및 해당 값의 집합입니다. 태그 템플릿의 인스턴스입니다. | 특정 비즈니스 라인과 같이 해당 애셋과 관련된 메타데이터 값으로 테이블 또는 열에 주석을 추가합니다. |
| 카탈로그 용어집 | 정의하고 BigQuery 열과 연결할 수 있는 용어 사전입니다. Knowledge Catalog - 용어집을 관리합니다. | BigQuery 애셋에 사용되는 용어 또는 약어를 정의합니다. 이는 향후에 지원될 예정이며 현재는 지원되지 않습니다. |
| 데이터 계보 | BigQuery 애셋 종속 항목을 나타내는 그래프입니다. | Cortex 데이터 메시에서 정의하지 않지만 사용자가 BigQuery 애셋 데이터 소스를 검색하는 데 도움이 되는 관련 Knowledge Catalog 도구입니다. |
| 계보 이벤트 | BigQuery 애셋 간에 데이터를 이동하는 작업이 발생한 시점입니다. 링크 목록을 포함합니다. | 지원되는 BigQuery 및 Composer 작업에 대해 자동으로 생성됩니다. |
| 계보 링크 | 계보 이벤트의 일부로 소스에서 대상 애셋으로 흐르는 데이터를 나타내는 에지입니다. | 콘솔에 표시되는 계보 시각화 그래프 이외의 사용 사례를 지원하도록 분석할 수 있습니다. |
BigQuery
다음 표에서는 BigQuery 내의 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 정책 분류 | 정책 태그의 계층 구조입니다. BigQuery - 정책 태그 관리. | 액세스 제어에 사용할 수 있는 관련 정책 태그를 상속된 권한이 있는 계층 구조로 구성합니다. |
| 정책 태그 | BigQuery 테이블 또는 뷰 내의 특정 열에 적용되는 태그입니다. 계층 구조의 모든 수준에서 정책 태그를 적용할 수 있습니다. 특정 열에는 정책 태그를 하나만 적용할 수 있습니다. | 열 수준 액세스 제어에 사용되는 태그로 열에 주석을 추가합니다. 정책 태그의 주 구성원은 원시 열 데이터를 볼 수 있는 '세분화된' 또는 '마스킹 해제된' 리더를 정의합니다. |
| 데이터 정책 | 마스킹된 열 데이터를 볼 수 있는 방법과 사용자를 정의하는 정책 태그에 적용되는 정책입니다. | 데이터 정책의 주 구성원은 마스킹된 열 데이터를 볼 수 있는 '마스킹된 리더'를 정의합니다. 마스킹된 리더 권한 또는 마스킹되지 않은 리더 권한이 없는 사용자는 열을 쿼리할 수 없습니다. |
| 마스킹 규칙 | 데이터 마스킹 방법(예: 해싱, 기본값 표시, 마지막 4자(영문 기준) 등)을 정의하는 데이터 정책에 적용되는 규칙입니다. | 민감한 열에 상황에 따라 적용됩니다. |
| 행 액세스 정책 | 특정 열 값을 기준으로 테이블 내의 행을 쿼리할 수 있는 그룹을 정의하는 SQL 문입니다. | 애셋 및 열 수준 제어가 충분하지 않은 경우 행 수준 액세스 제어에 사용됩니다. |
Cortex 데이터 메시 개념
다음 표에서는 Cortex Framework 내의 특정 데이터 메시 개념을 정의합니다.
| 개념 | 설명 | Cortex Framework 컨텍스트 |
| 메타데이터 리소스 | 여러 BigQuery 애셋에서 재사용할 수 있는 메타데이터 항목입니다. 예를 들면 레이크, 카탈로그 태그 템플릿, 정책 분류가 있습니다. 이는 BigQuery 자체의 데이터가 아닌 메타데이터입니다. | Cortex 데이터 메시의 일관된 관리를 지원하기 위해 재사용 가능한 리소스를 정의합니다. |
| BigQuery 애셋 | BigQuery 테이블 또는 뷰 | 데이터 메시로 관리되는 기존 Cortex BigQuery 객체 |
| BigQuery 애셋 주석 | 특정 BigQuery 테이블 또는 뷰에 적용되는 메타데이터입니다. 여기에는 설명, 액세스 정책, 메타데이터 리소스에 대한 매핑이 포함됩니다. | 메타데이터를 BigQuery 애셋과 연결하여 검색 및 액세스 제어를 사용 설정합니다. |
| 리소스 사양 (spec) | 메타데이터 리소스 또는 BigQuery 애셋 주석을 정의하는 YAML 파일입니다. | 전체 리소스 사양 세트는 배포할 데이터 메시 구성을 코드화합니다. |