BigQuery で Apache Iceberg テーブルを構成する

Datastream を使用すると、ソースから BigQuery の Apache Iceberg テーブルにデータを複製できます。Apache Iceberg テーブルは、標準の BigQuery テーブルと同じフルマネージド エクスペリエンスを提供しながら、独自の Cloud Storage バケット内に Parquet 形式でデータを保存します。この設定により、基盤となるストレージを完全に制御しながら、BigQuery を使用してデータをクエリして分析できます。

Datastream は、追加専用書き込みモードでのみ Apache Iceberg テーブルへのストリーミングをサポートしています。詳細については、書き込みモードを構成するをご覧ください。

テーブルのメタデータ

Datastream は、BigQuery の宛先に書き込まれる各テーブルに datastream_metadata という名前の STRUCT 列を追加します。

datastream_metadata 列には次のフィールドが含まれています。

  • UUID このフィールドには STRING データ型が含まれます。
  • SOURCE_TIMESTAMP このフィールドには INTEGER データ型が含まれます。
  • CHANGE_SEQUENCE_NUMBER このフィールドには STRING データ型が含まれます。 これは、Datastream が各変更イベントに使用する内部シーケンス番号です。
  • CHANGE_TYPE このフィールドには STRING データ型が含まれます。変更イベントのタイプを示します。追記専用書き込みモードの場合、値は INSERT です。
  • SORT_KEYS: このフィールドには STRING 値の配列が含まれます。これらの値を使用して、変更イベントを並べ替えることができます。

Apache Iceberg テーブルへのストリーミングを構成する

Apache Iceberg テーブルにデータを取り込むようにストリームを設定するには:

  1. データを保存する Cloud Storage バケットを作成します。
  2. BigQuery で Cloud リソース接続を作成します。このタイプの接続を作成する方法については、Cloud リソース接続を作成して設定するをご覧ください。

  3. 接続サービス アカウントの ID を取得します。

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. 作成した Cloud Storage バケットへのアクセス権を Cloud リソース接続に付与します。これを行うには、接続サービス アカウントに storage.admin IAM 権限を追加します。

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Apache Iceberg テーブル ストリームを作成します。

    Google Cloud コンソールを使用して Apache Iceberg テーブル ストリームを作成する方法については、ストリームを作成するをご覧ください。

    REST、Google Cloud CLI、または Terraform を使用して Apache Iceberg テーブルにデータをストリーミングするリクエストを作成する方法については、API を使用してストリームを管理するをご覧ください。

次のステップ