정규화된 이름은 전역적으로 고유한 대소문자 구분 리소스 식별자이며 Knowledge Catalog (이전 명칭: Dataplex Universal Catalog)와 함께 사용하여 Google Cloud및Google Cloud 이외의 리소스를 참조할 수 있습니다.
예를 들어 정규화된 이름은 Google Cloud의 메타데이터 자동 수집을 지원하는 시스템에 사용됩니다. Knowledge Catalog에서 Google Cloud 외의 리소스를 카탈로그화하는 경우 이러한 서드 파티 리소스를 나타내는 커스텀 항목을 만들 때 정규화된 이름을 제공할 수 있습니다.
정규화된 이름은 프리픽스 뒤에 점으로 구분된 세그먼트로 구성됩니다. 최대 길이는 4,000자입니다.
콜론, 점, 공백과 같은 예약된 문자가 포함된 백틱을 사용한 세그먼트입니다. 이중 백틱을 사용하여 세그먼트 내에서 백틱을 지정합니다.
Google Cloud 리소스의 사전 정의된 형식
다음 표에는 Google Cloud 리소스에 지원되는 정규화된 이름의 사전 정의된 형식이 나와 있습니다.
BigQuery
| 리소스 |
형식 |
| 데이터 세트 |
bigquery:{projectId}.{datasetId} |
| 테이블 |
bigquery:{projectId}.{datasetId}.{tableId} |
| 뷰 |
bigquery:{projectId}.{datasetId}.{viewId} |
| 모델 |
bigquery:{projectId}.{datasetId}.{modelId} |
| 공유 테이블 |
bigquery:sharded:{projectId}.{datasetId}.{tablePrefix} |
| 루틴 |
bigquery:routine:{projectId}.{datasetId}.{routineId} |
| 연결 |
bigquery:connection:{projectId}.{location}.{connectionId} |
BigQuery Sharing(이전의 Analytics Hub)
| 리소스 |
형식 |
| Exchange |
analytics_hub:{projectId}.{location}.{exchangeId} |
| 등록정보 |
analytics_hub:{projectId}.{location}.{exchangeId}.{listingId} |
Bigtable
| 리소스 |
형식 |
| 인스턴스 |
bigtable:{projectId}.{instanceId} |
| 테이블 |
bigtable:{projectId}.{instanceId}.{tableId} |
MySQL용 Cloud SQL
| 리소스 |
형식 |
| 인스턴스 |
cloudsql_mysql:{projectId}.{location}.{instanceId} |
| 스키마 |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId} |
| 테이블 |
cloudsql_mysql:{projectId}.{location}.{instanceId}.{schemaId}.{tableId} |
PostgreSQL용 Cloud SQL
| 리소스 |
형식 |
| 인스턴스 |
cloudsql_postgresql:{projectId}.{location}.{instanceId} |
| 데이터베이스 |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId} |
| 스키마 |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId} |
| 테이블 |
cloudsql_postgresql:{projectId}.{location}.{instanceId}.{databaseId}.{schemaId}.{tableId} |
Cloud Storage
| 리소스 |
형식 |
| 버킷 |
gcs:{bucketName} |
| 경로 |
gcs:{bucketName}.{virtualPath} |
Knowledge Catalog
| 리소스 |
형식 |
| 호수 |
dataplex:{projectId}.{location}.{lakeId} |
| 영역 |
dataplex:{projectId}.{location}.{lakeId}.{zoneId} |
| 테이블 |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{tableId} |
| 파일 세트 |
dataplex:{projectId}.{location}.{lakeId}.{zoneId}.{filesetId} |
| 리소스 |
형식 |
| 서비스 |
dataproc_metastore:{projectId}.{location}.{instanceId} |
| 데이터베이스 |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId} |
| 테이블 |
dataproc_metastore:{projectId}.{location}.{instanceId}.{databaseId}.{tableId} |
Looker
| 리소스 |
형식 |
| 인스턴스 |
looker:{instanceId} |
| 대시보드 |
looker:dashboard:{instanceId}.{folderId}.{dashboardId} |
| Explore |
looker:explore:{instanceId}.{folderId}.{exploreId} |
| Look |
looker:look:{instanceId}.{folderId}.{lookId} |
Pub/Sub
| 리소스 |
형식 |
| 주제 |
pubsub:topic:{projectId}.{topicId} |
| 구독 |
pubsub:subscription:{projectId}.{subscriptionId} |
Spanner
| 리소스 |
형식 |
| 인스턴스 |
spanner:{projectId}.{instanceConfigId}.{instanceId} |
| 데이터베이스 |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId} |
| 테이블 |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{tableId} |
| 뷰 |
spanner:{projectId}.{instanceConfigId}.{instanceId}.{databaseId}.{viewId} |
Vertex AI
| 리소스 |
형식 |
| 모델 |
vertex_ai:model:{projectId}.{locationId}.{modelId}.{version} |
| 데이터 세트 |
vertex_ai:dataset:{projectId}.{locationId}.{datasetId} |
| FeatureGroup |
vertex_ai:featuregroup:{projectId}.{locationId}.{featureGroupId} |
| FeatureOnlineStore |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId} |
| FeatureView |
vertex_ai:featureonlinestore:{projectId}.{locationId}.{featureOnlineStoreId}.{FeatureViewId} |
Google Cloud 이외 리소스의 사전 정의된 형식
다음 표에는 서드 파티 리소스에 지원되는 정규화된 이름의 사전 정의된 형식이 나와 있습니다.
Apache Cassandra
| 리소스 |
형식 |
| 클러스터 |
cassandra:{dns} |
| 키스페이스 |
cassandra:{dns}.{keyspaceId} |
| 테이블 |
cassandra:{dns}.{keyspaceId}.{tableId} |
Apache Hive
| 리소스 |
형식 |
| 인스턴스 |
hive_metastore:{dns} |
| 데이터베이스 |
hive_metastore:{dns}.{database} |
| 테이블 |
hive_metastore:{dns}.{database}.{table} |
Apache Kafka
| 리소스 |
형식 |
| 클러스터 |
kafka:{dns} |
| 주제 |
kafka:{dns}.{topicId} |
AWS Athena
| 리소스 |
형식 |
| 카탈로그 |
athena:{catalogId}.{region} |
| 데이터베이스 |
athena:{catalogId}.{region}.{databaseId} |
| 테이블 |
athena:{catalogId}.{region}.{databaseId}.{tableId} |
AWS Redshift
| 리소스 |
형식 |
| 인스턴스 |
redshift:{clusterId}.{region}.{port} |
| 데이터베이스 |
redshift:{clusterId}.{region}.{port}.{databaseId} |
| 스키마 |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId} |
| 테이블 |
redshift:{clusterId}.{region}.{port}.{databaseId}.{schemaId}.{tableId} |
AWS S3
| 리소스 |
형식 |
| 버킷 |
s3:{bucket} |
| 경로 |
s3:{bucket}.{virtualPath} |
AWS Glue
| 리소스 |
형식 |
| 테이블 |
aws_glue:table:{region}.{accountId}.{dbName}.{tableName} |
Azure Blob Storage
| 리소스 |
형식 |
| 계정 |
abs:{account} |
| 컨테이너 |
abs:{account}.{container} |
| 경로 |
abs:{account}.{container}.{virtualPath} |
Azure Cosmos DB
| 리소스 |
형식 |
| 계정 |
cosmos-db:{accountName} |
| 데이터베이스 |
cosmos-db:{accountName}.{databaseId} |
| 컨테이너 |
cosmos-db:{accountName}.{databaseId}.{containerId} |
Azure 데이터 탐색기
| 리소스 |
형식 |
| 클러스터 |
kusto:{clusterName}.{region} |
| 데이터베이스 |
kusto:{clusterName}.{region}.{databaseId} |
| 테이블 |
kusto:{clusterName}.{region}.{databaseId}.{tableId} |
Databricks
| 리소스 |
형식 |
| Metastore |
databricks:{metastoreId} |
| 카탈로그 |
databricks:{metastoreId}.{catalogId} |
| 스키마 |
databricks:{metastoreId}.{catalogId}.{schemaId} |
| 테이블 |
databricks:{metastoreId}.{catalogId}.{schemaId}.{tableId} |
| 뷰 |
databricks:{metastoreId}.{catalogId}.{schemaId}.{viewId} |
| 루틴 |
databricks:routine:{metastoreId}.{catalogId}.{schemaId}.{routineId} |
| 볼륨 |
databricks:volume:{metastoreId}.{catalogId}.{schemaId}.{volumeId} |
| 모델 |
databricks:model:{metastoreId}.{catalogId}.{schemaId}.{modelId} |
Databricks 파일 시스템
| 리소스 |
형식 |
| 인스턴스 |
dbfs:{workspace} |
| 경로 |
dbfs:{workspace}.{path} |
일반 파일 시스템
| 리소스 |
형식 |
| 인스턴스 |
filesystem:{dns} |
| 경로 |
filesystem:{dns}.{path} |
Hadoop 분산 파일 시스템
| 리소스 |
형식 |
| 인스턴스 |
hdfs:{dns} |
| 경로 |
hdfs:{dns}.{path} |
IBM DB2
| 리소스 |
형식 |
| 인스턴스 |
db2:{dns} |
| 데이터베이스 |
db2:{dns}.{databaseId} |
| 스키마 |
db2:{dns}.{databaseId}.{schemaId} |
| 테이블 |
db2:{dns}.{databaseId}.{schemaId}.{tableId} |
| 리소스 |
형식 |
| 인스턴스 |
informix:{dns} |
| 데이터베이스 |
informix:{dns}.{databaseId} |
| 스키마 |
informix:{dns}.{databaseId}.{schemaId} |
| 테이블 |
informix:{dns}.{databaseId}.{schemaId}.{tableId} |
Microsoft SQL Server
| 리소스 |
형식 |
| 인스턴스 |
sqlserver:{dns} |
| 데이터베이스 |
sqlserver:{dns}.{databaseId} |
| 스키마 |
sqlserver:{dns}.{databaseId}.{schemaId} |
| 테이블 |
sqlserver:{dns}.{databaseId}.{schemaId}.{tableId} |
MySQL
| 리소스 |
형식 |
| 인스턴스 |
mysql:{dns} |
| 스키마 |
mysql:{dns}.{schemaId} |
| 테이블 |
mysql:{dns}.{schemaId}.{tableId} |
Oracle 데이터베이스
| 리소스 |
형식 |
| 인스턴스 |
oracle:{dns} |
| 데이터베이스 |
oracle:{dns}.{databaseId} |
| 스키마 |
oracle:{dns}.{databaseId}.{schemaId} |
| 테이블 |
oracle:{dns}.{databaseId}.{schemaId}.{tableId} |
PostgreSQL
| 리소스 |
형식 |
| 인스턴스 |
postgresql:{dns} |
| 데이터베이스 |
postgresql:{dns}.{databaseId} |
| 스키마 |
postgresql:{dns}.{databaseId}.{schemaId} |
| 테이블 |
postgresql:{dns}.{databaseId}.{schemaId}.{tableId} |
Salesforce
| 리소스 |
형식 |
| SObject |
salesforce:{environment}.{orgId}.{sobject} |
Snowflake
| 리소스 |
형식 |
| 계정 |
snowflake:{accountName} |
| 데이터베이스 |
snowflake:{accountName}.{databaseId} |
| 스키마 |
snowflake:{accountName}.{databaseId}.{schemaId} |
| 테이블 |
snowflake:{accountName}.{databaseId}.{schemaId}.{tableId} |
| 보기 |
snowflake:{accountName}.{databaseId}.{schemaId}.{viewId} |
Tableau
| 리소스 |
형식 |
| 서버 |
tableau:{dns} |
| 사이트 |
tableau:{dns}.{site} |
| 프로젝트 |
tableau:project:{dns}.{site}.{projectId} |
| 데이터 소스 |
tableau:datasource:{dns}.{site}.{projectId}.{datasourceId} |
| 통합문서 |
tableau:workbook:{dns}.{site}.{projectId}.{workbookId} |
| 시트 |
tableau:sheet:{dns}.{site}.{projectId}.{workbookId}.{sheetId} |
| 대시보드 |
tableau:dashboard:{dns}.{site}.{projectId}.{workbookId}.{dashboardId} |
Trino
| 리소스 |
형식 |
| 인스턴스 |
trino:{dns} |
| 카탈로그 |
trino:{dns}.{catalogId} |
| 스키마 |
trino:{dns}.{catalogId}.{schemaId} |
| 테이블 |
trino:{dns}.{catalogId}.{schemaId}.{tableId} |
커스텀 형식
custom: 프리픽스를 사용하여 정규화된 커스텀 이름 형식을 만들 수 있습니다. 커스텀 형식은 검증되지 않으며 Knowledge Catalog 기능과 호환되지 않을 수 있습니다. 이후 마이그레이션을 쉽게 수행할 수 있도록 사전 정의된 형식과 유사한 커스텀 형식을 만듭니다.
OpenLineage 메시지에서 custom 네임스페이스로 참조되는 리소스는 커스텀 정규화된 이름으로 해석됩니다.
