BigQuery データセットを構成する

Application Design Center を使用すると、エンタープライズ データ分析用の BigQuery データセットを作成して構成できます。データセットのコンポーネントとパラメータは、GitHub の terraform-google-bigquery Terraform モジュールに基づいています。

コンポーネントの接続

次の表に、BigQuery データセットに接続できるコンポーネントと、アプリケーションとその生成された Terraform コードに対する更新を示します。

連結成分 アプリケーションの更新 背景情報

Compute Engine インスタンス テンプレート

  • Compute Engine インスタンスは、BigQuery データセットからデータを読み取り、BigQuery データセットにデータを書き込むことができます。
  • BigQuery リソースのメタデータが Compute Engine インスタンス テンプレートに追加されます。
  • roles/bigquery.dataEditor ロールが Compute Engine インスタンス テンプレートのサービス アカウントに付与されている。
インスタンス テンプレート
サービス アカウント
  • このサービス アカウントは、Cloud Run などのサービスで BigQuery データセットのデータの読み取りと変更に使用できます。
  • サービス アカウントに roles/bigquery.dataEditor ロールが付与されている。
BigQuery の Identity and Access Management(IAM)ロールと権限
Cloud Run
  • Cloud Run サービスは BigQuery データセットを操作できます。
  • BigQuery リソースのメタデータが Cloud Run の環境変数に追加されます。
  • Cloud Run サービス アカウントに roles/bigquery.dataEditor ロールが付与されている。
Cloud Run とは

Pub/Sub

  • Pub/Sub サブスクリプションは、BigQuery データセット内のテーブルにメッセージを書き込むことができます。
  • BigQuery のデータセットとテーブルの情報が Pub/Sub サブスクリプション フィールドに追加されます。
BigQuery サブスクリプション

必須の構成パラメータ

テンプレートに BigQuery コンポーネントが含まれている場合は、デプロイする前に次のパラメータを構成する必要があります。

パラメータ名 説明と制約 背景情報

データセット ID

id データセットの概要

プロジェクト ID

BigQuery データセットとテーブルをデプロイするプロジェクト。

コンポーネントを構成する

オプションの構成パラメータ

次のパラメータは省略可能です。詳細パラメータを表示するには、[構成] 領域で [詳細フィールドを表示] を選択します。

機能 パラメータ名 説明と制約情報 背景情報
テーブル

テーブル ID

id テーブルの概要
テーブル

説明

description テーブルの概要
テーブル

テーブル名

friendlyName テーブルの命名
テーブル

スキーマ

スキーマ スキーマの指定
テーブル

クラスタリング

クラスタリング クラスタ化テーブルの概要
テーブル

パーティション フィルタを要求

requirePartitionFilter パーティション フィルタ要件を設定する
テーブル: 時間パーティショニング

有効期限(ミリ秒)

expirationMs パーティションの有効期限を設定する
テーブル: 時間パーティショニング

フィールド

field 時間単位列パーティション分割テーブルを作成する
テーブル: 時間パーティショニング

型

type 時間単位列パーティション分割テーブルを作成する
テーブル: 範囲パーティショニング

フィールド

field パーティション フィルタ要件を設定する
テーブル: 範囲パーティショニング

範囲の開始

range.start 整数範囲パーティショニング
テーブル: 範囲パーティショニング

範囲の終了

range.end 整数範囲パーティショニング
テーブル: 範囲パーティショニング

範囲の間隔

range.interval 整数範囲パーティショニング
テーブル

有効期限

expirationTime テーブルの有効期限を更新する
テーブル

削除からの保護

このテーブルが Terraform によって削除されないようにするには、このチェックボックスをオンにします。選択しない場合、コンポーネント レベルの削除からの保護設定が使用されます。

deletion_protection
テーブル: ラベル

Key(キー)

labels テーブルとビューにラベルを追加する
テーブル: ラベル

値

labels テーブルとビューにラベルを追加する

データセット名

friendlyName データセットに名前を付ける

説明

description データセットの説明を更新する

リージョン

location BigQuery のロケーション

破棄時にコンテンツを削除する

リソースを破棄するときに、データセット内のすべてのテーブルを削除する場合に選択します。選択されていない場合、テーブルが存在するとリソースの破棄に失敗します。

delete_contents_on_destroy

削除からの保護

選択すると、テーブルを削除する terraform apply または terraform destroy が失敗します。選択されていない場合、テーブルは削除できます。この設定は、各テーブルの削除からの保護設定を使用してオーバーライドできます。

deletion_protection

デフォルトのテーブル有効期限(ミリ秒)

defaultTableExpirationMs デフォルトのテーブルの有効期限を更新する

デフォルトのパーティション有効期限(ミリ秒)

defaultPartitionExpirationMs デフォルトのパーティションの有効期限を更新する

最大タイムトラベル時間

maxTimeTravelHours タイムトラベル ウィンドウを更新する

ストレージの課金モデル

StorageBillingModel ストレージの課金モデル

暗号鍵

kmsKeyName 保存データの暗号化
データセット ラベル

Key(キー)

labels データセットにラベルを追加する
データセット ラベル

値

value データセットにラベルを追加する
リソースタグ

Key(キー)

resourceTags タグの定義と識別子
リソースタグ

値

resourceTags タグの定義と識別子
ビュー

ビュー ID

id ビューの命名
ビュー

説明

description ビューの概要
ビュー

クエリ

query ビューの SQL クエリの更新
ビュー

レガシー SQL を使用する

useLegacySql GoogleSQL への移行
ビュー: ラベル

Key(キー)

labels テーブルとビューにラベルを追加する
ビュー: ラベル

値

labels テーブルとビューにラベルを追加する
マテリアライズド ビュー

ビュー ID

id ビューの命名
マテリアライズド ビュー

説明

description マテリアライズド ビューの概要
マテリアライズド ビュー

クエリ

query マテリアライズド ビュー クエリのサポート
マテリアライズド ビュー

更新を有効にする

enableRefresh マテリアライズド ビューの更新
マテリアライズド ビュー

更新間隔(ミリ秒)

refreshIntervalMs フリークエンシー キャップの上限を設定する
マテリアライズド ビュー

クラスタリング

fields[] クラスタのマテリアライズド ビュー
マテリアライズド ビュー: 時間パーティショニング

有効期限(ミリ秒)

expirationMs パーティションの有効期限を設定する
マテリアライズド ビュー: 時間パーティショニング

フィールド

field 時間単位列パーティション分割テーブルを作成する
マテリアライズド ビュー: 時間パーティショニング

型

type 時間単位列パーティション分割テーブルを作成する
マテリアライズド ビュー: 時間パーティショニング

パーティション フィルタを要求

requirePartitionFilter パーティション フィルタ要件を設定する
マテリアライズド ビュー: 範囲パーティショニング

フィールド

field パーティション分割されたマテリアライズド ビュー
マテリアライズド ビュー: 範囲パーティショニング

範囲の開始

range.start 整数範囲パーティショニング
マテリアライズド ビュー: 範囲パーティショニング

範囲の終了

range.end 整数範囲パーティショニング
マテリアライズド ビュー: 範囲パーティショニング

範囲の間隔

range.interval 整数範囲パーティショニング
マテリアライズド ビュー

有効期限

expirationTime ビューの有効期限の更新
マテリアライズド ビュー

最大未更新

maxStaleness max_staleness オプションを指定してマテリアライズド ビューを使用する
マテリアライズド ビュー: ラベル

Key(キー)

labels テーブルとビューにラベルを追加する
マテリアライズド ビュー: ラベル

値

labels テーブルとビューにラベルを追加する
外部テーブル

テーブル ID

id 外部テーブルの概要
外部テーブル

説明

外部テーブルの説明。 description
外部テーブル

自動検出

autodetect 自動検出フラグを使用する
外部テーブル

圧縮

compression 圧縮データと非圧縮データを読み込む
外部テーブル

不明な値を無視

ignoreUnknownValues 外部データソース用のテーブル定義ファイルを作成する
外部テーブル

不良レコードの最大数

maxBadRecords 外部データソース用のテーブル定義ファイルを作成する
外部テーブル

スキーマ

スキーマ 外部データソース用のテーブル定義ファイルを作成する
外部テーブル

ソース形式

sourceFormat 外部データソース用のテーブル定義ファイルを作成する
外部テーブル

ソース URI

sourceUris 外部データソース用のテーブル定義ファイルを作成する
外部テーブル: CSV オプション

見積もり

quote Cloud Storage からの CSV データの読み込み
外部テーブル: CSV オプション

ジャグ行を許可

allowJaggedRows Cloud Storage からの CSV データの読み込み
外部テーブル: CSV オプション

引用符で囲まれた改行を許可

allowQuotedNewlines Cloud Storage からの CSV データの読み込み
外部テーブル: CSV オプション

エンコード

エンコード エンコード
外部テーブル: CSV オプション

フィールド区切り文字

FieldDelimiter フィールド区切り文字
外部テーブル: CSV オプション

先頭行をスキップ

skipLeadingRows CSV のオプション
外部テーブル: Google スプレッドシートのオプション

Range

range Google ドライブの外部テーブルを作成する
外部テーブル: Google スプレッドシートのオプション

先頭行をスキップ

skipLeadingRows Google ドライブの外部テーブルを作成する
外部テーブル: Hive パーティショニング オプション

Mode

モード 検出モード
外部テーブル: Hive パーティショニング オプション

ソース URI の接頭辞

sourceUriPrefix 外部でパーティションに分割されたデータを使用する
外部テーブル

有効期限

expirationTime テーブルの有効期限を更新する
外部テーブル

最大未更新

maxStaleness テーブルの未更新を管理する
外部テーブル

削除からの保護

このテーブルが Terraform によって削除されないようにするには、このチェックボックスをオンにします。選択しない場合、コンポーネント レベルの削除からの保護設定が使用されます。

deletion_protection
外部テーブル: ラベル

Key(キー)

labels テーブルとビューにラベルを追加する
外部テーブル: ラベル

値

labels テーブルとビューにラベルを追加する
ルーティン

ルーティン ID

routineId ルーティンを管理する
ルーティン

ルーティンの種類

routineType RoutineType
ルーティン

言語

language 言語
ルーティン

定義本文

definitionBody ルーティンの本文を表示する
ルーティン

戻り値の型

returnType StandardSqlDataType
ルーティン

説明

ルーティンの説明。 description
ルーティン: 引数

名前

引数の名前。 name
ルーティン: 引数

データ型

dataType StandardSqlDataType
ルーティン: 引数

引数の種類

argumentKind ArgumentKind
ルーティン: 引数

Mode

モード Mode