配置 BigQuery 数据集

BigQuery 是一种经济实惠的全代管式 PB 级分析数据仓库,可让您近乎实时地分析大量数据。如需了解详情,请参阅 BigQuery 简介

本文档介绍了使用应用设计中心创建 BigQuery 数据集时可以配置的组件和参数。配置参数基于 terraform-google-bigquery Terraform 模块。

组件连接

下表列出了可连接到 BigQuery 数据集的组件,以及对应用及其生成的 Terraform 代码的相应更新。

关联的组成部分

申请动态

背景信息

Compute Engine 实例模板

  • Compute Engine 实例可以读取和写入 BigQuery 数据集中的数据。
  • BigQuery 资源元数据已添加到 Compute Engine 实例模板。
  • roles/bigquery.dataEditor 角色已添加到 Compute Engine 实例模板服务账号。
实例模板
服务账号
  • Cloud Run 等服务可以使用该服务账号来读取和修改 BigQuery 数据集中的数据。
  • BigQuery roles/bigquery.dataEditor 角色已添加到服务账号。
BigQuery IAM 角色和权限
Cloud Run
  • Cloud Run 服务可以与 BigQuery 数据集进行交互。
  • BigQuery 资源元数据会添加到 Cloud Run 环境变量中。
  • BigQuery roles/bigquery.dataEditor 角色已添加到 Cloud Run 服务账号。
Cloud Run 是什么

Pub/Sub

  • Pub/Sub 订阅可以将消息写入 BigQuery 数据集。
  • BigQuery 数据集信息会添加到 BigQuery 订阅字段中。
BigQuery 订阅

必需的配置参数

如果您的模板包含 BigQuery 组件,则必须在部署之前配置以下参数。

参数名称

说明和限制

背景信息

数据集 ID

id 数据集简介

项目 ID

您要部署 BigQuery 数据集和表的项目。

配置组件

可选配置参数

以下参数为可选参数。如需显示高级参数,请在配置区域中选择显示高级字段

功能

子功能

参数名称

说明和限制条件信息

背景信息

表 ID

id 表简介

说明

description 表简介

表名称

friendlyName 表命名

架构

schema 指定架构

聚簇

聚类 聚簇表简介

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
时间分区

Expiration MS

expirationMs 设置分区失效时间

字段

字段 创建时间单位列分区表

类型

type 创建时间单位列分区表
范围分区

字段

字段 设置分区过滤条件要求

范围开始

range.start 整数范围分区

范围结束

range.end 整数范围分区

范围间隔

range.interval 整数范围分区

到期时间

expirationTime 更新表的到期时间

删除防护

选中此复选框可防止 Terraform 删除此表。如果未选择,则使用组件级删除保护设置。

deletion_protection
标签

labels 为表和视图添加标签

labels 为表和视图添加标签

数据集名称

friendlyName 命名数据集

说明

description 更新数据集说明

区域

location BigQuery 位置

在销毁时删除内容

选择在销毁资源时删除数据集中的所有表。如果未选择,则在存在表的情况下销毁资源会失败。

delete_contents_on_destroy

删除防护

如果选中此选项,则会使将删除表的 terraform apply 或 terraform destroy 失败。如果未选中此复选框,则可以删除表格。您可以使用每个表的删除保护设置来替换此设置。