Lakehouse 런타임 카탈로그의 사용자 인증 정보 자동 판매 모드를 사용하면 Cloud Storage 액세스를 쿼리 엔진에 위임하고 Apache Iceberg 테이블의 카탈로그, 네임스페이스, 테이블 수준에서 세분화된 Identity and Access Management(IAM) 정책을 적용할 수 있습니다. 직접 버킷 권한을 부여하는 대신 Apache Iceberg REST 카탈로그 엔드포인트를 구성하여 승인된 테이블 경로에 대해 수명이 짧고 범위가 축소된 스토리지 토큰을 제공합니다. 이 모드는 자동 테이블 관리에도 필요합니다.
사용자 인증 정보 자동 판매를 사용해야 하는 경우
다음은 몇 가지 일반적인 사용 사례입니다.
- 버킷 수준 역할 없이 테이블 수준 액세스 적용: 분석가와 워크로드에 특정 Apache Iceberg 테이블에 대한 액세스 권한을 부여하는 동시에 기본 Cloud Storage 버킷 또는 동위 테이블 디렉터리에 대한 직접 액세스를 방지합니다.
- 여러 쿼리 엔진에서 액세스 거버넌스 중앙 집중화: 단기 경로 범위 토큰을 사용하여 BigQuery, Managed Service for Apache Spark, 오픈소스 Apache Spark, Trino 전반에 일관된 IAM 정책을 적용합니다.
- 서비스 경계 내에서 웨어하우스 버킷 격리: 단일 카탈로그 엔드포인트 서비스 계정을 통해 스토리지 읽기 및 쓰기를 승인하면서 VPC 서비스 제어로 보호되는 Cloud Storage 버킷에 테이블 데이터를 저장합니다.
사용자 인증 정보 벤더 제공 작동 방식
사용자 인증 정보 자동 판매 모드를 사용하면 스토리지에 액세스하기 전에 작업 시퀀스가 IAM 정책을 적용합니다. 다음 다이어그램은 쿼리 엔진이 Lakehouse 런타임 카탈로그에서 범위 축소된 스토리지 토큰을 가져와 Cloud Storage에서 직접 데이터를 안전하게 읽고 쓰는 방법을 보여줍니다.
위 다이어그램에 표시된 작업 시퀀스는 다음과 같습니다.
- 요청: 사용자가 쿼리, DML 또는 DDL 작업과 같은 SQL 문을 Spark 또는 BigQuery와 같은 지원되는 엔진에 제출합니다.
- 메타데이터 조회: 엔진이 테이블을 확인하기 위해 Lakehouse 런타임 카탈로그에 요청을 보냅니다.
- 인증 및 정책: Lakehouse 런타임 카탈로그는 사용자를 인증하고 Lakehouse 리소스에 대한 IAM 권한을 확인합니다.
- 응답: 사용자 인증 정보 벤더 제공 모드가 사용 설정되어 있으므로 Lakehouse 런타임 카탈로그는 메타데이터와 수명이 짧은 스토리지 토큰(범위가 축소된 스토리지 사용자 인증 정보)을 엔진에 반환합니다. 토큰은 테이블과 연결된 경로로 범위가 지정되고 필요한 최소 권한으로 범위가 축소됩니다(예: 파일을 쓸 필요가 없는 쿼리에 대한 읽기 전용 액세스).
- 액세스: 엔진은 이 토큰을 사용하여 Cloud Storage에서 직접 특정 승인된 파일을 읽거나 씁니다.
- 컴퓨팅: 엔진이 데이터를 처리하거나 작업을 실행하고 결과를 반환합니다.
자동 테이블 관리(gcp.biglake.table-management.enabled)가 사용 설정되면 압축, 스냅샷 만료, 가비지 컬렉션과 같은 백그라운드 유지보수 태스크에서 카탈로그의 자동 프로비저닝된 서비스 계정을 사용하여 Cloud Storage에 직접 인증하고 기본 데이터 파일을 업데이트합니다.
지원되는 엔진
쿼리 엔진에서 사용자 인증 정보 제공을 사용하려면 사용자 인증 정보 제공 모드의 Lakehouse 런타임 카탈로그에서 Apache Iceberg REST 카탈로그 엔드포인트를 구성해야 합니다. Apache Hive 카탈로그 엔드포인트에는 사용자 인증 정보 자동 판매가 지원되지 않습니다.
- 오픈소스 엔진: Spark 및 Trino와 같은 지원되는 엔진은 Lakehouse 런타임 카탈로그에서 제공하는 단기 스토리지 토큰을 사용합니다. 클라이언트 애플리케이션은
X-Iceberg-Access-Delegation헤더에서 사용자 인증 정보 자동 판매 지원을 지정해야 합니다. - BigQuery: BigQuery는 최종 사용자 인증 정보 대신 Cloud Storage 액세스에 판매된 인증 정보를 사용합니다.
필수 서비스 계정 권한
사용자 인증 정보 자동 판매 모드가 사용 설정된 경우 다음 서비스 계정에 필요한 역할이 있는지 확인합니다.
- 자동 프로비저닝된 카탈로그 엔드포인트 서비스 계정: 연결된 모든 Cloud Storage 버킷에서 이 계정에 스토리지 객체 사용자 역할(
roles/storage.objectUser)을 부여해야 합니다. 이 액세스 권한이 없으면 판매된 사용자 인증 정보가 스토리지에 읽거나 쓸 수 없습니다.Google Cloud 콘솔을 사용하는 경우 버킷 권한 설정을 클릭하면 이 역할이 확인됩니다. Google Cloud CLI, Terraform 또는 REST API의 경우 이 역할을 수동으로 부여해야 합니다. - 쿼리 엔진 서비스 계정: 쿼리 엔진 작업(예: Managed Service for Apache Spark 또는 Dataflow)을 실행하는 서비스 계정에는 쓰기 범위가 있는 판매된 사용자 인증 정보를 가져오기 위해 BigLake 편집자 역할(
roles/biglake.editor)이 필요합니다.
사용자 인증 정보 자동 판매와 함께 VPC 서비스 제어 사용
VPC 서비스 제어 서비스 경계 내에서 Cloud Storage 버킷과 함께 사용자 인증 정보 자동 판매 모드에서 Apache Iceberg REST 카탈로그 엔드포인트를 사용하는 경우 다음 사용 사례를 지원할 수 있습니다.
- 보호된 버킷에서 Apache Iceberg 테이블 만들기 및 수정: 웨어하우스 버킷이 서비스 경계 내에 있는 경우 BigQuery, Managed Service for Apache Spark, Spark 또는 Trino에서
CREATE TABLE또는 DML 문을 실행합니다. - 스토리지 경계 내에서 세분화된 테이블 읽기 위임: 경계로 보호되는 버킷에 대한 직접 IAM 역할을 최종 사용자 또는 쿼리 런타임에 부여하지 않고 수명이 짧은 다운스코프 스토리지 토큰을 사용하여 테이블 수준 IAM 정책을 적용합니다.
사용자 인증 정보 자동 판매 모드에서 쿼리 엔진과 Lakehouse는 카탈로그 엔드포인트의 자동 프로비저닝된 서비스 계정(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.)에 발급된 사용자 인증 정보를 사용하여 Cloud Storage에 인증합니다. 이 서비스 에이전트는 서비스 경계 외부의 Google 관리 프로젝트에 속하므로 Cloud Storage는 버킷 프로젝트의 경계가 storage.googleapis.com를 제한할 때마다 사용자 인증 정보로 인증된 요청을 경계 인그레스로 평가합니다. 이 평가는 카탈로그 엔드포인트, 쿼리 작업, 버킷이 동일한 프로젝트 및 서비스 경계에 있는 경우에도 적용됩니다.
액세스를 허용하려면 다음 설정을 사용하여 버킷 프로젝트를 보호하는 경계에서 Access Context Manager의 인그레스 규칙을 구성합니다.
- 소스 ID:
serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog. - 대상 프로젝트: 버킷 프로젝트(
projects/BUCKET_PROJECT_NUMBER) - 서비스: 모든 메서드 (
'*')가 있는storage.googleapis.com또는 특정 지원되는 서비스 메서드
다음 ingress.yaml 예시에서는 카탈로그 엔드포인트의 서비스 계정이 버킷 프로젝트의 storage.googleapis.com에 액세스할 수 있도록 허용합니다.
- ingressFrom:
identities:
- serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: '*'
resources:
- projects/BUCKET_PROJECT_NUMBER
다음을 바꿉니다.
CATALOG_ENDPOINT_SERVICE_ACCOUNT: 카탈로그 엔드포인트의 자동 프로비저닝된 서비스 계정 이메일 주소(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.)입니다. 이 이메일 주소를 검색하려면 카탈로그 엔드포인트를 설명합니다.gcloud biglake iceberg catalogs describe CATALOG_ID \ --project=PROJECT_ID \ --format='value(biglake-service-account)'이 명령어에서
CATALOG_ID는 카탈로그 엔드포인트의 ID이고PROJECT_ID는 카탈로그 엔드포인트가 포함된 프로젝트의 ID입니다.BUCKET_PROJECT_NUMBER: Cloud Storage 버킷이 포함된 프로젝트의 숫자 프로젝트 번호입니다.
VPC 서비스 제어에서 테이블 생성 또는 쿼리 요청을 차단하면 오류 메시지에 vpcServiceControlsUniqueIdentifier 값이 포함됩니다. protoPayload.metadata.vpcServiceControlsUniqueId를 해당 식별자와 일치시켜 Cloud 감사 로그에서 정책 거부 감사 로그를 검색하고 blirc-... 주 구성원의 ingressViolations를 검사합니다. 자세한 내용은 감사 로그에서 VPC 서비스 제어 오류 검색을 참조하세요.