認証情報ベンディングの概要

Lakehouse ランタイム カタログの認証情報ベンディング モードを使用すると、Cloud Storage へのアクセスをクエリエンジンに委任し、Apache Iceberg テーブルのカタログ、名前空間、テーブルレベルで、きめ細かい Identity and Access Management(IAM)ポリシーを適用できます。バケットに直接権限を付与する代わりに、Apache Iceberg REST カタログ エンドポイントを構成して、承認されたテーブルパスに有効期間が短い、スコープを縮小したストレージ トークンを販売します。このモードは、自動テーブル管理にも必要です。

認証情報の自動販売を使用するタイミング

一般的なユースケースは次のとおりです。

  • バケットレベルのロールなしでテーブルレベルのアクセスを適用する: アナリストとワークロードに特定の Apache Iceberg テーブルへのアクセス権を付与し、基盤となる Cloud Storage バケットまたは兄弟テーブル ディレクトリへの直接アクセスを防止します。
  • 複数のクエリエンジンにわたるアクセス ガバナンスを一元化する: 有効期間が短く、パススコープのトークンを使用して、BigQuery、Managed Service for Apache Spark、オープンソースの Apache Spark、Trino に一貫した IAM ポリシーを適用します。
  • サービス境界内でウェアハウス バケットを分離する: VPC Service Controls で保護された Cloud Storage バケットにテーブルデータを保存し、単一のカタログ エンドポイント サービス アカウントを介してストレージの読み取りと書き込みを認可します。

認証情報ベンディングの仕組み

認証情報提供モードを使用すると、一連のオペレーションで、ストレージにアクセスする前に IAM ポリシーが適用されます。次の図は、クエリエンジンが Lakehouse ランタイム カタログからスコープを縮小したストレージ トークンを取得し、Cloud Storage で直接データを安全に読み書きする方法を示しています。

クエリエンジンは、Lakehouse ランタイム カタログからダウンスコープされたストレージ トークンを取得して、Cloud Storage のデータの読み取りと書き込みを行います。
Cloud Storage アクセスを委任する認証情報提供ワークフロー。

上の図に示されているオペレーションのシーケンスは次のとおりです。

  1. リクエスト: ユーザーが、クエリ、DML、DDL オペレーションなどの SQL ステートメントを、Spark や BigQuery などのサポートされているエンジンに送信します。
  2. メタデータ検索: エンジンは、テーブルを解決するために Lakehouse ランタイム カタログにリクエストを送信します。
  3. 認証とポリシー: Lakehouse ランタイム カタログは、ユーザーを認証し、Lakehouse リソースに対する IAM 権限を確認します。
  4. レスポンス: 認証情報ベンディング モードが有効になっているため、レイクハウス ランタイム カタログはメタデータと有効期間の短いストレージ トークン(スコープを縮小したストレージ認証情報)をエンジンに返します。トークンのスコープは、テーブルに関連付けられたパスに設定され、必要な最小限の権限にダウンスコープされます(たとえば、ファイルの書き込みを必要としないクエリの読み取り専用アクセス)。
  5. アクセス: エンジンは、このトークンを使用して、特定の承認済みファイルを Cloud Storage から直接読み書きします。
  6. コンピューティング: エンジンがデータを処理するか、オペレーションを実行して、結果を返します。

自動テーブル管理(gcp.biglake.table-management.enabled)が有効になっている場合、コンパクション、スナップショットの有効期限、ガベージ コレクションなどのバックグラウンド メンテナンス タスクは、カタログの自動プロビジョニングされたサービス アカウントを使用して Cloud Storage に対して直接認証し、基盤となるデータファイルを更新します。

サポートされているエンジン

クエリエンジンで認証情報ベンディングを使用するには、Lakehouse ランタイム カタログで Apache Iceberg REST カタログ エンドポイントを認証情報ベンディング モードで構成する必要があります。Apache Hive カタログ エンドポイントでは、認証情報の提供はサポートされていません。

  • オープンソース エンジン: Spark や Trino などのサポートされているエンジンは、Lakehouse ランタイム カタログから提供される有効期間の短いストレージ トークンを使用します。クライアント アプリケーションは、X-Iceberg-Access-Delegation ヘッダーで認証情報の自動販売のサポートを指定する必要があります。
  • BigQuery: BigQuery は、エンドユーザーの認証情報ではなく、Cloud Storage アクセスに提供された認証情報を使用します。

必要なロール

自動プロビジョニングされたカタログ エンドポイント サービス アカウントに、認証情報ベンディング モードでテーブルデータの読み取りと書き込みを行うために必要な権限があることを確認するには、自動プロビジョニングされたカタログ エンドポイント サービス アカウントに次の IAM ロールを付与するよう管理者に依頼してください。

  • Cloud Storage でテーブルデータの読み取りと書き込みを行う: 関連するすべての Cloud Storage バケットに対する Storage オブジェクト ユーザー(roles/storage.objectUser)

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

管理者は、カスタムロールや他の事前定義ロールを使用して、自動プロビジョニングされたカタログ エンドポイント サービス アカウントに必要な権限を付与することもできます。

クエリエンジン ジョブを実行するサービス アカウントに、書き込みスコープを持つベンダー認証情報を取得するために必要な権限があることを確認するには、クエリエンジン ジョブを実行するサービス アカウントに次の IAM ロールを付与するよう管理者に依頼してください。

  • クエリエンジン ジョブ(Managed Service for Apache Spark や Dataflow など)から書き込みスコープを持つベンダー認証情報を取得します。カタログ、名前空間、テーブル、またはプロジェクトに対する BigLake 編集者(roles/biglake.editor)

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

管理者は、カスタムロールや他の事前定義ロールを使用して、クエリエンジン ジョブを実行するサービス アカウントに必要な権限を付与することもできます。

Google Cloud コンソールを使用している場合、[バケットの権限を設定] をクリックすると、関連するバケットの Storage オブジェクト ユーザーロール(roles/storage.objectUser)が確認されます。Google Cloud CLI、Terraform、REST API の場合は、自動プロビジョニングされたカタログ エンドポイント サービス アカウントにこのロールを手動で付与する必要があります。

自動プロビジョニングされたカタログ エンドポイント サービス アカウントの作成は、結果整合性があります。サービス アカウントがシステム全体に反映されるまで時間がかかります。作成直後にサービス アカウントにロールを付与しようとすると、リクエストが失敗することがあります。アクセス権の変更が伝播されるまでの時間については、アクセス変更の伝播をご覧ください。

FGAC で保護されたテーブルの認証情報ベンディング ガードレール

行レベルのセキュリティまたは列レベルのデータポリシー(きめ細かいアクセス制御、または FGAC)が、認証情報自動販売モードを使用するカタログ内の Apache Iceberg テーブルを保護している場合、Cloud Storage ファイルへの直接アクセスは、BigQuery でのクエリ時のポリシー評価をバイパスします。

不正なデータ漏洩を防ぐため、Apache Iceberg REST カタログ エンドポイントは、呼び出し元のプリンシパルがテーブルへの完全アクセス権を持っていない限り、FGAC で保護されたテーブルに対する認証情報提供リクエストに対して 403 Forbidden HTTP ステータス コードを返します。

  • すべての保護された列へのマスクされていない(未加工の)データアクセス: テーブルの保護されたすべての列に RAW_DATA_ACCESS_POLICY がアタッチされている必要があります。IAM v2 プリンシパル ID(principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL など)を使用して、呼び出し元のプリンシパルにその RAW_DATA_ACCESS_POLICY データポリシーの FINE_GRAINED_READ 権限を付与します。
  • フィルタされていない行アクセス(すべての行): テーブルに行レベルのアクセス ポリシーが適用されている場合は、呼び出し元のプリンシパルに FILTER USING (TRUE) 句を含む行レベルのアクセス ポリシーを付与します。

オープンソース エンジン(Spark、Trino、Apache Flink など)から FGAC で保護されたテーブルの読み取りまたは書き込みを行うようにサービス アカウントを構成するには、FGAC で保護されたテーブルのオープンソース エンジンの認証情報を構成するをご覧ください。

認証情報の自動販売で VPC Service Controls を使用する

VPC Service Controls サービス境界内の Cloud Storage バケットで、認証情報自動販売モードの Apache Iceberg REST カタログ エンドポイントを使用すると、次のユースケースをサポートできます。

  • 保護されたバケットに Apache Iceberg テーブルを作成して変更する: ウェアハウス バケットがサービス境界内にある場合は、BigQuery、Managed Service for Apache Spark、Spark、Trino から CREATE TABLE または DML ステートメントを実行します。
  • ストレージ境界内でテーブルの読み取りをきめ細かく委任する: 有効期間が短く、スコープが縮小されたストレージ トークンを使用して、テーブルレベルの IAM ポリシーを適用します。境界で保護されたバケットに対する直接の IAM ロールをエンドユーザーやクエリ ランタイムに付与する必要はありません。

認証情報提供モードでは、クエリエンジンと Lakehouse は、カタログ エンドポイントの自動プロビジョニングされたサービス アカウント(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.)に発行された認証情報を使用して Cloud Storage に対する認証を行います。このサービス エージェントは、サービス境界外の Google 管理プロジェクトに属しているため、バケット プロジェクトの境界が storage.googleapis.com を制限するたびに、Cloud Storage はその認証情報で認証されたリクエストを境界上り(内向き)として評価します。この評価は、カタログ エンドポイント、クエリジョブ、バケットが同じプロジェクトとサービス境界にある場合でも適用されます。

アクセスを許可するには、バケット プロジェクトを保護する境界の Access Context Manager で、次の設定を使用して上り(内向き)ルールを構成します。

  • ソース ID: serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.
  • ターゲット プロジェクト: バケット プロジェクト(projects/BUCKET_PROJECT_NUMBER)
  • サービス: すべてのメソッド('*')を含む storage.googleapis.com、または特定のサポートされているサービス メソッド

次の ingress.yaml の例では、カタログ エンドポイントのサービス アカウントがバケット プロジェクトの storage.googleapis.com にアクセスできるようにします。

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

次のように置き換えます。

  • CATALOG_ENDPOINT_SERVICE_ACCOUNT: カタログ エンドポイントの自動プロビジョニングされたサービス アカウントのメールアドレス(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.)。このメールアドレスを取得するには、カタログ エンドポイントの説明を取得します。

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    このコマンドで、CATALOG_ID はカタログ エンドポイントの ID、PROJECT_ID はカタログ エンドポイントを含むプロジェクトの ID です。

  • BUCKET_PROJECT_NUMBER: Cloud Storage バケットを含むプロジェクトの数値プロジェクト番号。

テーブルの作成リクエストまたはクエリ リクエストが VPC Service Controls によってブロックされた場合、エラー メッセージに vpcServiceControlsUniqueIdentifier 値が含まれます。protoPayload.metadata.vpcServiceControlsUniqueId をその ID と照合して、Cloud Audit Logs でポリシー拒否監査ログを検索し、blirc-... プリンシパルの ingressViolations を確認します。詳細については、監査ログから VPC Service Controls のエラーを取得するをご覧ください。

次のステップ