配置 BigQuery 数据集

借助 Application Design Center,您可以创建和配置 BigQuery 数据集,以进行企业数据分析。数据集组件和参数基于 GitHub 上的 terraform-google-bigquery Terraform 模块。

组件连接

下表列出了您可以连接到 BigQuery 数据集的组件,以及对应用及其生成的 Terraform 代码所做的相应更新。

关联的组成部分 应用更新 背景信息

Compute Engine 实例模板

  • Compute Engine 实例可以读取 BigQuery 数据集中的数据,也可以向其中写入数据。
  • BigQuery 资源元数据已添加到 Compute Engine 实例模板中。
  • roles/bigquery.dataEditor 角色已授予 Compute Engine 实例模板服务账号。
实例模板
服务账号
  • Cloud Run 等服务可以使用该服务账号读取和修改 BigQuery 数据集中的数据。
  • roles/bigquery.dataEditor 角色已授予服务账号。
BigQuery Identity and Access Management (IAM) 角色和权限
Cloud Run
  • Cloud Run 服务可以与 BigQuery 数据集进行交互。
  • BigQuery 资源元数据会添加到 Cloud Run 环境变量中。
  • roles/bigquery.dataEditor 角色已授予 Cloud Run 服务账号。
Cloud Run 是什么

Pub/Sub

  • Pub/Sub 订阅可以将消息写入 BigQuery 数据集中的表。
  • BigQuery 数据集和表信息会添加到 Pub/Sub 订阅字段中。
BigQuery 订阅

必需的配置参数

如果您的模板包含 BigQuery 组件,则必须在部署之前配置以下参数。

参数名称 说明和限制条件 背景信息

数据集 ID

id 数据集简介

项目 ID

您要在其中部署 BigQuery 数据集和表的项目。

配置组件

可选配置参数

以下参数是可选的。如需显示高级参数,请在配置区域中选择显示高级字段。

功能 参数名称 说明和限制条件信息 背景信息
表

表 ID

id 表简介
表

说明

description 表简介
表

表名称

friendlyName 表命名
表

架构

schema 指定架构
表

聚簇

聚类 聚簇表简介
表

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
表:时间分区

Expiration MS

expirationMs 设置分区失效时间
表:时间分区

字段

field 创建时间单位列分区表
表:时间分区

类型

type 创建时间单位列分区表
表:范围分区

字段

field 设置分区过滤条件要求
表:范围分区

范围开始

range.start 整数范围分区
表:范围分区

范围结束

range.end 整数范围分区
表:范围分区

范围间隔

range.interval 整数范围分区
表

到期时间

expirationTime 更新表的到期时间
表

防删除保护

选中此复选框可防止 Terraform 删除此表。如果未选择,系统将使用组件级防删除保护设置。

deletion_protection
表:标签

键

labels 为表和视图添加标签
表:标签

值

labels 为表和视图添加标签

数据集名称

friendlyName 命名数据集

说明

description 更新数据集说明

区域

location BigQuery 位置

销毁时删除内容

选择此选项可在销毁资源时删除数据集中的所有表。如果未选择,则在存在表的情况下销毁资源会失败。

delete_contents_on_destroy

防删除保护

如果选择此选项,则会删除表的 terraform apply 或 terraform destroy 会失败。如果未选中,则可以删除表。您可以使用每个表的防删除保护设置来覆盖此设置。

deletion_protection

默认表到期时间(毫秒)

defaultTableExpirationMs 更新默认表到期时间

默认分区到期时间(毫秒)

defaultPartitionExpirationMs 更新默认分区到期时间

时间旅行小时数上限

maxTimeTravelHours 更新时间旅行窗口

存储空间结算模式

StorageBillingModel 存储空间结算模式

加密密钥

kmsKeyName 静态加密
数据集标签

键

labels 为数据集添加标签
数据集标签

值

value 为数据集添加标签
资源标记

键

resourceTags 标记定义和标识符
资源标记

值

resourceTags 标记定义和标识符
视图

数据视图 ID

id 视图命名
视图

说明

description 视图简介
视图

查询

query 更新视图的 SQL 查询
视图

使用旧版 SQL

useLegacySql 迁移到 GoogleSQL
视图:标签

键

labels 为表和视图添加标签
视图:标签

值

labels 为表和视图添加标签
物化视图

数据视图 ID

id 视图命名
物化视图

说明

description 物化视图简介
物化视图

查询

query 物化视图查询支持
物化视图

启用刷新

enableRefresh 刷新物化视图
物化视图

刷新间隔(毫秒)

refreshIntervalMs 设置刷新频次上限
物化视图

聚簇

fields[] 聚簇物化视图
物化视图:时间分区

Expiration MS

expirationMs 设置分区失效时间
物化视图:时间分区

字段

field 创建时间单位列分区表
物化视图:时间分区

类型

type 创建时间单位列分区表
物化视图:时间分区

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
物化视图:范围分区

字段

field 分区物化视图
物化视图:范围分区

范围开始

range.start 整数范围分区
物化视图:范围分区

范围结束

range.end 整数范围分区
物化视图:范围分区

范围间隔

range.interval 整数范围分区
物化视图

到期时间

expirationTime 更新视图的到期时间
物化视图

最长过时期限

maxStaleness 将物化视图与 max_staleness 选项结合使用
物化视图:标签

键

labels 为表和视图添加标签
物化视图:标签

值

labels 为表和视图添加标签
外部表

表 ID

id 外部表简介
外部表

说明

外部表的说明。 description
外部表

自动检测

autodetect 使用自动检测标志
外部表

压缩

compression 加载经过压缩和未经压缩的数据
外部表

忽略未知值

ignoreUnknownValues 为外部数据源创建表定义文件
外部表

错误记录数上限

maxBadRecords 为外部数据源创建表定义文件
外部表

架构

schema 为外部数据源创建表定义文件
外部表

来源格式

sourceFormat 为外部数据源创建表定义文件
外部表

来源 URI

sourceUris 为外部数据源创建表定义文件
外部表:CSV 选项

引言

quote 从 Cloud Storage 加载 CSV 数据
外部表:CSV 选项

允许使用可选列留空的行

allowJaggedRows 从 Cloud Storage 加载 CSV 数据
外部表:CSV 选项

允许引用的数据中包含换行符

allowQuotedNewlines 从 Cloud Storage 加载 CSV 数据
外部表:CSV 选项

编码

编码 编码
外部表:CSV 选项

字段定界符

FieldDelimiter 字段分隔符
外部表:CSV 选项

前面被跳过的行数

skipLeadingRows CSV 选项
外部表:Google 表格选项

Range

range 创建 Google 云端硬盘外部表
外部表:Google 表格选项

前面被跳过的行数

skipLeadingRows 创建 Google 云端硬盘外部表
外部表:Hive 分区选项

Mode

mode 检测模式
外部表:Hive 分区选项

来源 URI 前缀

sourceUriPrefix 使用外部分区数据
外部表

到期时间

expirationTime 更新表的到期时间
外部表

最长过时期限

maxStaleness 管理表格过时情况
外部表

防删除保护

选中此复选框可防止 Terraform 删除此表。如果未选择,系统将使用组件级防删除保护设置。

deletion_protection
外部表:标签

键

labels 为表和视图添加标签
外部表:标签

值

labels 为表和视图添加标签
例程

日常安排 ID

routineId 管理日常安排
例程

日常安排类型

routineType RoutineType
例程

语言

language 语言
例程

定义正文

definitionBody 查看例程的正文
例程

返回值类型

returnType StandardSqlDataType
例程

说明

例程的说明。 description
例程:参数

名称

参数的名称。 name
例程:参数

数据类型

dataType StandardSqlDataType
例程:参数

参数类型

argumentKind ArgumentKind
例程:参数

Mode

mode Mode