行レベルと列レベルのセキュリティ

プリンシパルが表示できる行を制限し、基盤となる Cloud Storage ファイルを複製せずに機密性の高い列値をマスクまたはブロックするには、Lakehouse ランタイム カタログで管理されている Apache Iceberg テーブルに BigQuery のきめ細かいアクセス制御(FGAC)を構成します。FGAC には、行レベルのセキュリティと、動的データ マスキングを使用した列レベルのセキュリティが含まれます。このドキュメントでは、行レベルのアクセス ポリシーを作成し、データポリシーを列に直接適用する方法について説明します。

Apache Iceberg テーブルで行レベルのアクセス ポリシーと列データポリシーをアタッチして管理するには、4 つの部分からなる P.C.N.T(Project.Catalog.Namespace.Table)テーブル識別子を使用する GoogleSQL データ定義言語(DDL)ステートメントを BigQuery で実行します。カタログで認証情報ベンディング モードを使用している場合、Apache Iceberg REST カタログ エンドポイントは、FGAC で保護されたテーブルに認証情報ベンディング ガードレールを適用します。呼び出し元のプリンシパルが、保護されたすべての列に対してマスクされていない(RAW_DATA_ACCESS_POLICY)アクセス権を持ち、テーブルに行レベルのアクセス ポリシーがある場合は、フィルタされていない行アクセス(FILTER USING (TRUE))がない限り、エンドポイントは、直接 Cloud Storage 認証情報リクエストに対して 403 Forbidden HTTP ステータス コードを返します。

制限事項

Lakehouse ランタイム カタログで管理される Apache Iceberg テーブルのきめ細かいアクセス制御には、標準の列データポリシーの制限と行レベルのセキュリティの制限に加えて、次の制限があります。

  • SQL DDL のみ: 列データポリシーのアタッチ、更新、デタッチ、行レベルのアクセス ポリシーの作成または削除は、BigQuery GoogleSQL DDL ステートメント(CREATE TABLE、ALTER TABLE ... ADD COLUMN、ALTER TABLE ... ALTER COLUMN ... SET OPTIONS、CREATE ROW ACCESS POLICY、DROP ROW ACCESS POLICY)でのみ行うことができます。 Google Cloud コンソール、BigQuery API(tables.patch)、bq コマンドライン ツール、Terraform を使用したこれらのテーブル バインディングの管理はサポートされていません。
  • 4 つの部分からなる P.C.N.T テーブル識別子が必要: DDL ステートメントまたはクエリで Lakehouse ランタイム カタログによって管理される Apache Iceberg テーブルを参照する場合は、4 つの部分からなる P.C.N.T(PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME)形式を使用する必要があります。
  • ポリシータグとデータ ガバナンス タグはサポートされていません: Data Catalog ポリシータグ(と分類)と Resource Manager データ ガバナンス タグは、Lakehouse ランタイム カタログの Apache Iceberg テーブルではサポートされていません。列レベルのセキュリティとデータ マスキングを適用するには、データポリシーを列に直接適用する必要があります。
  • 行レベルのアクセス ポリシーのサブクエリはサポートされていません: Lakehouse ランタイム カタログの Apache Iceberg テーブルの行レベルのアクセス ポリシーは、FILTER USING フィルタ式のサブクエリをサポートしていません。
  • オープンソース エンジンの認証情報提供ガードレール: 認証情報提供モードで構成されたカタログで、オープンソース エンジンなどのクライアントが FGAC で保護されたテーブルの一時的な Cloud Storage 認証情報をリクエストすると、Apache Iceberg REST カタログ エンドポイントは 403 Forbidden HTTP ステータス コードを返します。ベンダー認証情報を取得するには、呼び出し元のプリンシパルが、保護されたすべての列に対してマスクされていない(RAW_DATA_ACCESS_POLICY)アクセス権を持っている必要があります。また、テーブルに行レベルのアクセス ポリシーがある場合は、フィルタされていない行アクセス権(FILTER USING (TRUE))を持っている必要があります。構成手順については、FGAC で保護されたテーブルのオープンソース エンジンの認証情報を構成するをご覧ください。
  • エンドユーザー認証情報モード: 認証情報自動販売モードを使用しないカタログでは、BigQuery は BigQuery で実行されるクエリに対してのみ行レベルと列レベルのアクセス ポリシーを適用します。プリンシパルが基盤となる Cloud Storage ファイルを直接読み取る場合は適用されません。プリンシパルがストレージ ファイルを直接読み取ってきめ細かいアクセス制御を回避しないようにするには、認証情報の払い出しモードを使用します。
  • 連携カタログはサポートされていません: きめ細かいアクセス制御(行レベルのセキュリティと列データポリシー)は、連携カタログまたはクロスクラウド接続を使用してアクセスされる外部テーブルではサポートされていません。

始める前に

  1. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  2. BigLake API と BigQuery Data Policy API がまだ有効になっていない場合は、有効にします。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

    API を有効にする

  3. 認証情報提供モードで Apache Iceberg REST カタログ エンドポイントを使用して Lakehouse ランタイム カタログを設定します。
  4. Apache Iceberg テーブルを作成する。

必要なロール

Apache Iceberg テーブルできめ細かいアクセス制御ポリシーを管理してクエリを実行するには、レイクハウス テーブル(biglake.*)と BigQuery データポリシーまたはクエリジョブ(bigquery.*)の両方に対する Identity and Access Management(IAM)権限が必要です。

Apache Iceberg テーブルで行レベルと列レベルのセキュリティを構成してクエリを実行するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

  • データポリシーの作成、更新、削除、アクセス権の付与:
  • Apache Iceberg テーブルの列データポリシーを適用または適用解除する:
  • Apache Iceberg テーブルで行レベルのアクセス ポリシーを作成、更新、一覧表示、削除する。
  • FGAC で保護された Apache Iceberg テーブルに対してクエリを実行します。

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、Apache Iceberg テーブルで行レベルと列レベルのセキュリティを構成してクエリを実行するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

Apache Iceberg テーブルで行レベルと列レベルのセキュリティを構成してクエリを実行するには、次の権限が必要です。

  • データポリシーの作成、更新、削除、アクセス権の付与:
    • プロジェクトに対する bigquery.dataPolicies.create
    • データポリシーに対する bigquery.dataPolicies.update
    • データポリシーに対する bigquery.dataPolicies.delete
    • データポリシーに対する bigquery.dataPolicies.get
    • データポリシーに対する bigquery.dataPolicies.setIamPolicy
    • クエリ プロジェクトに対する bigquery.jobs.create
  • Apache Iceberg テーブルの列にデータポリシーを適用します。
    • テーブルに対する biglake.tables.setColumnDataPolicy(または CREATE TABLE の名前空間)
    • テーブルに対する biglake.tables.update(または CREATE TABLE に対する biglake.tables.create)
    • データポリシーに対する bigquery.dataPolicies.get
    • データポリシーに対する bigquery.dataPolicies.attach
    • クエリ プロジェクトに対する bigquery.jobs.create
  • Apache Iceberg テーブルの列からデータポリシーをデタッチします。
    • テーブルに対する biglake.tables.setColumnDataPolicy
    • テーブルに対する biglake.tables.update
    • クエリ プロジェクトに対する bigquery.jobs.create
  • 行レベルのアクセス ポリシーを作成または更新する:
    • テーブルに対する biglake.rowAccessPolicies.create
    • テーブルに対する biglake.rowAccessPolicies.update
    • テーブルに対する biglake.rowAccessPolicies.setIamPolicy
    • ターゲット テーブルに対する biglake.tables.getData
    • クエリ プロジェクトに対する bigquery.jobs.create
  • 行レベルのアクセス ポリシーを一覧表示または表示する:
    • テーブルに対する biglake.rowAccessPolicies.list
    • テーブルに対する biglake.rowAccessPolicies.get
    • テーブルに対する biglake.rowAccessPolicies.getIamPolicy
  • 1 つまたはすべての行レベルのアクセス ポリシーを削除します。
    • テーブルに対する biglake.rowAccessPolicies.delete
    • テーブルに対する biglake.rowAccessPolicies.setIamPolicy
    • テーブルに対する biglake.rowAccessPolicies.list(すべてのポリシーを削除する場合)
    • クエリ プロジェクトに対する bigquery.jobs.create
  • FGAC で保護された Apache Iceberg テーブルに対してクエリを実行します。
    • テーブルに対する biglake.tables.get
    • テーブルに対する biglake.tables.getData
    • クエリ プロジェクトに対する bigquery.jobs.create

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

テーブルレベルの IAM 権限に加えて、テーブルのきめ細かいポリシーでも、クエリを実行するプリンシパルを認可する必要があります。

  • 列レベルのセキュリティ: クエリ対象の列に接続されている RAW_DATA_ACCESS_POLICY(マスクされていない値の場合)または DATA_MASKING_POLICY(マスクされた値の場合)の grantees リストで、プリンシパルに FINE_GRAINED_READ が付与されている必要があります。
  • 行レベルのセキュリティ: プリンシパルは、テーブルの行レベルのアクセス ポリシーの grantee_list に含まれている必要があります。これにより、プリンシパルにシステム管理の roles/biglake.filteredDataViewer ロールが自動的に付与されます。このロールには権限 biglake.rowAccessPolicies.getFilteredData が含まれています。

テーブルレベルの IAM 権限に加えて、テーブルのきめ細かいポリシーでも、クエリを実行するプリンシパルにアクセス権を付与する必要があります。

  • 列レベルのセキュリティ: クエリ対象の列に接続されている RAW_DATA_ACCESS_POLICY(マスクされていない値の場合)または DATA_MASKING_POLICY(マスクされた値の場合)の grantees リストで、プリンシパルに FINE_GRAINED_READ が付与されている必要があります。
  • 行レベルのセキュリティ: プリンシパルは、テーブルの行レベルのアクセス ポリシーの grantee_list に含まれている必要があります。これにより、プリンシパルにシステム管理の roles/biglake.filteredDataViewer ロールが自動的に付与されます。このロールには権限 biglake.rowAccessPolicies.getFilteredData が含まれています。

列レベルのセキュリティとデータ マスキングを構成する

Lakehouse ランタイム カタログの Apache Iceberg テーブルで列レベルのアクセス制御と動的データ マスキングを構成するには、BigQuery データポリシーを作成し、GoogleSQL DDL を使用してテーブル列に直接アタッチします。一般的なコンセプトとマスキング ルールの定義の詳細については、データ マスキングの概要と列にデータポリシーを適用してデータをマスクするをご覧ください。

データポリシーを作成する

データポリシーは、データ マスキング ルール(DATA_MASKING_POLICY)またはマスクされていない元データへのアクセス(RAW_DATA_ACCESS_POLICY)を定義します。データポリシーは、GoogleSQL DDL または BigQuery Data Policy API v2 を使用して作成できます。ユースケースに応じて、次のいずれかのステートメントを実行します。

  • 事前定義されたマスキング式(SHA256 や ALWAYS_NULL など)を使用してデータポリシーを作成するには、CREATE DATA_POLICY ステートメントを実行します。

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`
    OPTIONS (
        data_policy_type = "DATA_MASKING_POLICY",
        masking_expression = "SHA256"
    );
    
  • プリンシパルにマスクされていない列値の読み取りを許可する元データ アクセス ポリシーを作成するには、data_policy_type を RAW_DATA_ACCESS_POLICY に設定します。

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
        data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    

次のように置き換えます。

  • PROJECT_ID: 実際の Google Cloudプロジェクト ID。
  • LOCATION: データポリシーのリージョンまたはマルチリージョンのロケーション(例: us、us-central1)。
  • MASKING_POLICY_NAME: データ マスキング ポリシーの一意の名前。
  • RAW_POLICY_NAME: 元データ アクセス ポリシーの一意の名前。

きめ細かな読み取りアクセス権を付与または取り消す

データポリシーを列に直接適用すると、データポリシーの grantees リストによってクエリ時の読み取りアクセスが制御されます。GoogleSQL では、データポリシーに対する FINE_GRAINED_READ 権限を付与または取り消します。

  • DATA_MASKING_POLICY に対する FINE_GRAINED_READ を付与すると、プリンシパルは、そのポリシーで保護されている列に対するマスクされた読み取りアクセス権を取得します。
  • RAW_DATA_ACCESS_POLICY に対する FINE_GRAINED_READ を付与すると、プリンシパルは、そのポリシーで保護されている列に対するマスクされていない(未加工の)読み取りアクセス権を取得します。
  • ユーザー: principal://goog/subject/USER_EMAIL
  • サービス アカウント: principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL
  • Google グループ: principalSet://goog/group/GROUP_EMAIL

データポリシーできめ細かい読み取りアクセスを管理するには、次のいずれかのステートメントを実行します。

データポリシーのプリンシパルにきめ細かい読み取りアクセス権を付与するには、GRANT FINE_GRAINED_READ ステートメントを実行します。

GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
TO "principal://goog/subject/USER_EMAIL",
    "principalSet://goog/group/GROUP_EMAIL";

プリンシパルから詳細な読み取りアクセス権を取り消すには、REVOKE FINE_GRAINED_READ ステートメントを実行します。

REVOKE FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
FROM "principal://goog/subject/USER_EMAIL";

次のように置き換えます。

  • PROJECT_ID: 実際の Google Cloud プロジェクト ID。
  • LOCATION: データポリシーのリージョンまたはマルチリージョン ロケーション。
  • DATA_POLICY_NAME: データ マスキング ポリシーまたは元データ アクセス ポリシーの名前。
  • USER_EMAIL: ユーザー アカウントのメールアドレス。
  • GROUP_EMAIL: Google グループのメールアドレス。

P.C.N.T DDL を使用してデータポリシーを列に適用する

4 つの部分からなる P.C.N.T(PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME)を使用して、Lakehouse ランタイム カタログの Apache Iceberg テーブルの列にデータポリシーを適用します。

識別子。ユースケースに応じて、次のいずれかのステートメントを実行します。

  • 列の data_policies オプションに(+=)を追加して、既存の列にデータポリシーを適用するには、ALTER TABLE ... ALTER COLUMN SET OPTIONS ステートメントを実行します。

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                        "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  • データポリシーが適用された新しい列を追加するには、ALTER TABLE ... ADD COLUMN ステートメントを実行します。

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ADD COLUMN COLUMN_NAME STRING OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}"]
    );
    
  • 列データポリシーが適用された新しい Apache Iceberg テーブルを作成するには、CREATE TABLE ステートメントを実行します。

    CREATE TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` (
      id INT64,
      COLUMN_NAME STRING OPTIONS (
        data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                         "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
      )
    );
    

次のように置き換えます。

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子。
  • COLUMN_NAME: 保護する列の名前。
  • LOCATION: データポリシーのリージョンまたはマルチリージョン ロケーション。
  • MASKING_POLICY_NAME、RAW_POLICY_NAME: 関連付けるデータポリシーの名前。

列のデータポリシーを解除または置換する

Apache Iceberg テーブルの列のデータポリシーを削除または置換するには、4 つの部分からなる P.C.N.T テーブル識別子を指定して、次のいずれかのステートメントを使用します。

  • 列からすべてのデータポリシーを削除するには、data_policies を空の配列([])に設定します。

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = []
    );
    
  • 列の既存のデータポリシーを新しいリストに置き換えるには、+= 演算子の代わりに = 演算子を使用します。

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.NEW_POLICY_NAME'}"]
    );
    
  • データポリシーを参照するすべてのテーブル列からデータポリシーを切り離した後にデータポリシーを削除するには、DROP DATA_POLICY ステートメントを実行します。

    DROP DATA_POLICY IF EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`;
    

次のように置き換えます。

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子
  • COLUMN_NAME: 列の名前。
  • LOCATION: データポリシーのリージョンまたはマルチリージョン ロケーション
  • NEW_POLICY_NAME と MASKING_POLICY_NAME: 接続または削除するデータポリシーの名前。

行レベルのセキュリティを構成する

Lakehouse ランタイム カタログで管理されている Apache Iceberg テーブルの特定の行へのアクセスを制限するには、4 つの部分からなる P.C.N.T テーブル識別子を使用する GoogleSQL DDL ステートメントで行レベルのアクセス ポリシーを作成します。行レベルのセキュリティの一般的なコンセプトとフィルタ セマンティクスの詳細については、行レベルのセキュリティを使用するをご覧ください。

行レベルのアクセス ポリシーを作成または更新する

テーブルで行レベルのセキュリティを構成する場合は、完全な行アクセス権が必要な管理者と書き込みサービス アカウントに FILTER USING (TRUE) 句を含むポリシーを作成し、特定のユーザー グループにフィルタされたポリシーを作成します。

  1. テーブル管理者または書き込みサービス アカウントに完全な行アクセス権(FILTER USING (TRUE))を付与します。

    CREATE OR REPLACE ROW ACCESS POLICY ADMIN_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("group:ADMIN_GROUP_EMAIL")
    FILTER USING (TRUE);
    
  2. 述語式に基づいて行をフィルタする行レベルのアクセス ポリシーを作成します。

    CREATE OR REPLACE ROW ACCESS POLICY FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("user:USER_EMAIL", "group:ANALYST_GROUP_EMAIL")
    FILTER USING (FILTER_EXPRESSION);
    

    次のように置き換えます。

    • ADMIN_POLICY_NAME と FILTER_POLICY_NAME: テーブルの行レベルのアクセス ポリシーの一意の名前。
    • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子。
    • ADMIN_GROUP_EMAIL、USER_EMAIL、ANALYST_GROUP_EMAIL: 行アクセス権が付与された Google グループまたはユーザーのメールアドレス。
    • FILTER_EXPRESSION: WHERE 句のように評価されるブール値フィルタ式(例: region = 'APAC')。

行レベルのアクセス ポリシーを削除する

Apache Iceberg テーブルから行レベルのアクセス ポリシーを削除するには、次のいずれかのステートメントを実行します。

  • テーブルに他の行レベルのアクセス ポリシーが残っている場合に、特定の行レベルのアクセス ポリシーを削除するには、DROP ROW ACCESS POLICY ステートメントを実行します。

    DROP ROW ACCESS POLICY IF EXISTS FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    
  • テーブルの最後の行レベルのアクセス ポリシーまたはすべての行レベルのアクセス ポリシーを削除するには、DROP ALL ROW ACCESS POLICIES ステートメントを実行します。

    DROP ALL ROW ACCESS POLICIES
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    

次のように置き換えます。

  • FILTER_POLICY_NAME: 削除する行レベルのアクセス ポリシーの名前。
  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子

BigQuery で FGAC で保護されたテーブルに対してクエリを実行する

プリンシパルが 4 つの部分からなる P.C.N.T 識別子を使用して BigQuery で FGAC で保護された Apache Iceberg テーブルに対してクエリを実行すると、BigQuery はクエリ時に行レベルと列レベルの両方のポリシーを評価します。

  • 行レベルの評価: 1 つ以上の行レベルのアクセス ポリシーの grantee_list に含まれるプリンシパルには、それらのポリシーの filter_expression 述語に一致する行の和集合が表示されます。テーブルの行レベルのアクセス ポリシーに含まれていないプリンシパルには、0 行が表示されます。
  • 列レベルの評価:
    • 列にアタッチされた RAW_DATA_ACCESS_POLICY に対する FINE_GRAINED_READ が付与されたプリンシパルには、マスクされていない(未加工の)データが表示されます。
    • DATA_MASKING_POLICY(その列の RAW_DATA_ACCESS_POLICY ではなく)で FINE_GRAINED_READ が付与されているプリンシパルには、マスクされたデータが表示されます。列の同じプリンシパルに複数のマスキング ポリシーが適用される場合、BigQuery はデータ マスキング ルールの階層に従ってルールを選択します。
    • 保護された列に適用されているデータポリシーで FINE_GRAINED_READ が付与されていないプリンシパルは、その列をクエリすると Access Denied エラーを受け取ります。これらのプリンシパルは、保護されていない列を明示的にクエリするか、SELECT * EXCEPT(PROTECTED_COLUMN) を使用できます。

たとえば、次のクエリは、呼び出し元のポリシーに従って行と列の値を返します。

SELECT id, COLUMN_NAME
FROM `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;

次のように置き換えます。

  • COLUMN_NAME: クエリ対象の列の名前。
  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子。

FGAC で保護されたテーブルのオープンソース エンジンの認証情報を構成する

オープンソース クエリエンジン(Apache Spark、Trino、Apache Flink など)が、認証情報自動提供モードで構成されたカタログ内の Apache Iceberg テーブルから読み取りまたは書き込みを行う場合、エンジンは Apache Iceberg REST カタログ エンドポイントを呼び出して、スコープが縮小された有効期間の短い Cloud Storage 認証情報を取得します。

Cloud Storage ファイルへの直接アクセスでは、BigQuery でのクエリ時のポリシー評価がバイパスされるため、Apache Iceberg REST カタログ エンドポイントは認証情報ベンディング ガードレールを適用します。プリンシパルが FGAC で保護されたテーブルのストレージ認証情報をリクエストすると、プリンシパルがテーブルへの完全アクセス権を持っていない限り、ガードレールは 403 Forbidden HTTP ステータス コードを返します。

  • すべての保護された列へのマスクされていない(未加工の)データアクセス: テーブルの保護されたすべての列に RAW_DATA_ACCESS_POLICY がアタッチされている必要があります。呼び出し元のプリンシパルに、その RAW_DATA_ACCESS_POLICY に対する FINE_GRAINED_READ 権限を付与します。
  • フィルタされていない行アクセス(すべての行): テーブルに行レベルのアクセス ポリシーが適用されている場合は、呼び出し元のプリンシパルに FILTER USING (TRUE) 句を含む行レベルのアクセス ポリシーを付与します。

オープンソース エンジン ライター サービス アカウントに完全アクセス権を付与する

Managed Service for Apache Spark や Dataflow のジョブなど、オープンソース エンジン ジョブを実行するサービス アカウントには、FGAC で保護された Apache Iceberg テーブルのベンダー認証情報を取得するために、テーブルへの完全なアクセス権が必要です。このアクセス権を付与するには、BigQuery で次の手順を完了します。

  1. すべての保護された列に対する元データへのアクセス権(RAW_DATA_ACCESS_POLICY)を付与する: テーブルのすべての保護された列に RAW_DATA_ACCESS_POLICY をアタッチし、IAM v2 プリンシパル ID principal://IAM.googleapis.com/projects/-/serviceAccounts/SA_EMAIL を使用してサービス アカウントに FINE_GRAINED_READ 権限を付与します。

    -- 1. Create a raw data access policy (if not already created)
    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
      data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    
    -- 2. Grant FINE_GRAINED_READ on the raw data access policy to the writer service account
    GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    TO "principal://iam.googleapis.com/projects/-/serviceAccounts/WRITER_SA_EMAIL";
    
    -- 3. Attach the raw data access policy to each protected column on the table
    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  2. 行レベルのセキュリティが有効になっている場合は、すべての行のアクセス ポリシーを付与する: テーブルに行レベルのアクセス ポリシーがある場合は、FILTER USING (TRUE) 句を含む行レベルのアクセス ポリシーをサービス アカウントに付与します。

    CREATE OR REPLACE ROW ACCESS POLICY WRITER_ROW_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("serviceAccount:WRITER_SA_EMAIL")
    FILTER USING (TRUE);
    

次のように置き換えます。

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: Apache Iceberg テーブルの 4 つの部分からなる P.C.N.T 識別子
  • LOCATION: データポリシーのリージョンまたはマルチリージョン ロケーション
  • RAW_POLICY_NAME: 元データアクセス ポリシーの名前
  • COLUMN_NAME: テーブルの各保護列の名前
  • WRITER_ROW_POLICY_NAME: ライターの行レベルのアクセス ポリシーの一意の名前
  • WRITER_SA_EMAIL: Apache Iceberg REST カタログ エンドポイントを呼び出すサービス アカウントのメールアドレス(例: spark-writer-sa@PROJECT_ID.)。

次のステップ