Lakehouse 런타임 카탈로그를 사용하면 경계 없는 Lakehouse의 카탈로그 엔드포인트에 대해 사용자 인증 정보 제공 모드를 사용 설정하여 승인된 쿼리 엔진 및 워크로드에 수명이 짧고 범위가 축소된 스토리지 토큰을 제공할 수 있습니다. 이 인증 방법을 사용하면 사용자 또는 쿼리 런타임이 기본 Cloud Storage 버킷에 대한 직접 읽기 및 쓰기 권한을 보유할 필요가 없습니다.
시작하기 전에
- Lakehouse 런타임 카탈로그 정보를 읽고 Lakehouse 런타임 카탈로그의 작동 방식과 서비스 제한사항을 이해합니다.
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the serviceusage.services.enable permission. If you
created the project, then you likely already have this permission through the
Owner role (roles/owner). Otherwise, you can get this permission through the
Service Usage Admin role (roles/serviceusage.serviceUsageAdmin).
Learn how to grant roles.
필요한 역할
사용자 인증 정보 자동 판매를 사용 설정하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
-
전체:
- 프로젝트에 대한 BigLake 관리자(
roles/biglake.admin) - 프로젝트에 대한 스토리지 관리자(
roles/storage.admin)
- 프로젝트에 대한 BigLake 관리자(
-
자동 프로비저닝된 Apache Iceberg REST 카탈로그 서비스 계정: 연결된 모든 Cloud Storage 버킷에 대한 스토리지 객체 사용자(
roles/storage.objectUser) 사용자 인증 정보 판매를 사용 설정한 후 카탈로그의 자동 프로비저닝된 Apache Iceberg REST 카탈로그 서비스 계정에 연결된 모든 스토리지 버킷에 대한 스토리지 객체 사용자 역할(roles/storage.objectUser)을 명시적으로 부여합니다.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
카탈로그 엔드포인트와 연결된 Cloud Storage 버킷이 VPC 서비스 제어 서비스 경계로 보호되는 경우 카탈로그 서비스 계정에 대한 인그레스 규칙도 구성해야 합니다. 자세한 내용은 사용자 인증 정보 자동 판매와 함께 VPC 서비스 제어 사용을 참조하세요.
사용자 인증 정보 자동 판매 사용 설정
Apache Iceberg REST 카탈로그 엔드포인트의 인증 방법이 최종 사용자 인증 정보로 설정된 경우 사용자 인증 정보 벤더 제공 모드로 전환할 수 있습니다.
콘솔
Google Cloud 콘솔에서 Lakehouse 페이지로 이동합니다.
카탈로그 이름 열에서 업데이트할 카탈로그의 이름을 클릭합니다.
카탈로그 세부정보 페이지의 인증 방법 섹션에서 카탈로그 인증 수정을 클릭합니다.
인증 대화상자에서 사용자 인증 정보 자동 판매 모드를 선택합니다.
카탈로그의 자동 프로비저닝된 서비스 계정에는 연결된 모든 Cloud Storage 버킷에 대한 스토리지 객체 사용자(
roles/storage.objectUser) 역할이 필요합니다. 기본적으로 액세스 권한이 없습니다. 이 역할이 없으면 판매된 사용자 인증 정보에 스토리지 쓰기를 수행할 수 있는 충분한 범위가 없습니다.저장을 클릭합니다.
버킷 권한을 부여하려면 인증 방법 섹션에서 다중 버킷 카탈로그의 경우 버킷 권한 설정을 클릭하고 단일 버킷 카탈로그의 경우 버킷 권한 설정을 클릭합니다.
확인 대화상자에서 확인을 클릭합니다.
이 작업을 수행하면 카탈로그의 서비스 계정에 연결된 모든 Cloud Storage 버킷에 대한 스토리지 객체 사용자 역할이 아직 부여되지 않은 경우 해당 역할이 부여됩니다.
gcloud
gcloud biglake iceberg catalogs update 명령어를 사용합니다.
gcloud biglake iceberg catalogs update \ CATALOG_NAME \ --project PROJECT_ID \ --credential-mode vended-credentials
다음을 바꿉니다.
CATALOG_NAME: 카탈로그 이름입니다. Lakehouse 카탈로그의 경우 커스텀 카탈로그 이름입니다. Cloud Storage 버킷 카탈로그의 경우 REST 카탈로그에 사용되는 Cloud Storage 버킷 ID와 일치합니다. 이 이름은 BigQuery에서 이러한 테이블을 쿼리할 때 카탈로그 식별자로도 사용됩니다.PROJECT_ID: Google Cloud프로젝트 ID사용자 인증 정보 판매를 사용 설정한 후 카탈로그의 자동 프로비저닝된 Apache Iceberg REST 카탈로그 서비스 계정에 연결된 모든 스토리지 버킷에 대한 스토리지 객체 사용자 역할(
roles/storage.objectUser)을 명시적으로 부여합니다.
REST
REST API를 사용하여 사용자 인증 정보 자동 판매 모드를 사용 설정하려면 UpdateIcebergCatalog 엔드포인트에 PATCH 요청을 보냅니다.
PATCH /iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs/CATALOG_ID?updateMask=credential_mode
요청 본문에는 credential_mode가 VENDED_CREDENTIALS로 설정된 IcebergCatalog JSON 페이로드가 포함되어야 합니다.
다음을 바꿉니다.
PROJECT_ID: Google Cloud 프로젝트 ID입니다.CATALOG_ID: Lakehouse 런타임 카탈로그의 ID입니다.