常见问题解答

Datastream 是一种无服务器且易于使用的变更数据捕获 (CDC) 和复制服务。Datastream 可将数据从 AlloyDB for PostgreSQL、PostgreSQL、MySQL、SQL Server 和 Oracle 等关系型数据库源，以及 Salesforce、Salesforce Marketing Cloud（预览版）、ServiceNow（预览版）和 MongoDB 无缝复制到 BigQuery。Datastream 具有现代企业所需的规模、速度、安全性和简便性。通过自动扩缩的无服务器架构，Datastream 可以让您设置可实现低延迟数据复制的 ELT（提取、加载和转换）流水线，从而获得近乎实时的数据洞见。

Datastream 还能够跨异构数据库和应用可靠地同步数据流，同时将延迟时间缩至最短。您可以将该服务与 Dataflow 模板集成，以将数据库复制到 Cloud SQL 或 Spanner 中，从而实现数据库同步；也可以直接利用 Cloud Storage 中的事件流来实现事件驱动型架构。

• CDC：从来源实时捕获持续更改。
• 回填：提供表中存在的数据的历史快照。

CDC 是一种数据集成方法，可让您使用较少的系统资源更快地集成和分析数据。该方法通常读取来源为其自身内部事务完整性而保留的更改日志，从数据源仅拉取最新更改（更新、插入或删除）。

在将新数据加载到运营数据存储区和数据仓库时，CDC 是一种高效的机制，用于限制对来源的影响。此外，借助 CDC，您可以实现将数据变更增量加载或近乎实时地流式传输到数据目标位置，从而无需批量加载更新和不方便的批处理窗口。

CDC 可用于许多从不断访问发生的数据变更中获得价值的用例，如分析、跨地理分布系统的数据同步和事件驱动架构。

除了持续更改之外，Datastream 还使用回填从来源拉取所有现有数据，然后将数据流式传输到目标位置。因此，系统会使用来源的所有历史数据“回填”目标位置。回填分为两种类型：

• 增量：表的默认回填类型。在增量回填期间，Datastream 会分批从多个行范围中提取数据，并将数据分批流式传输到目标位置。
• 完全转储：在完全转储回填期间，Datastream 会一次性拉取所有数据，并将其流式传输到目标位置。

如需了解回填限制，请参阅相应来源类型的已知限制页面：

• MySQL
• Oracle
• PostgreSQL（包括 AlloyDB for PostgreSQL）
• SQL Server
• Salesforce
• Salesforce Marketing Cloud
• ServiceNow（预览版）
• MongoDB

您可以按对象监控回填状态：

1. 在 Google Cloud 控制台中，前往数据流页面。
2. 点击要监控的数据流。
3. 点击对象标签页。

CDC 状态实际上就是数据流状态。如果 CDC 操作失败，则整个流都会失败。

Cloud Monitoring 中还提供其他对象级指标。如需了解详情，请参阅 Cloud Monitoring 文档。

变更流是 Datastream 发送到目标位置以供下游使用的事件序列。写入到 Cloud Storage 的变更流的结果是一组文件，其中包含在一段时间内来自特定表的变更日志事件。这些事件代表对相应表的插入、更新和删除操作，并且这些事件可以通过 Dataflow 等服务在 Cloud Storage 下游使用和处理，以用于事件驱动型架构等用例。

在 Datastream 中，复制是指目标位置中来源表的一对一最新表示形式。例如，Oracle 中的某个表，其更改会持续复制到 BigQuery 表，而 BigQuery 表会使用从 Oracle 表流式传输的更改保持最新。复制通过使用每个变更事件并使用它来更新目标来利用变更数据流。Datastream 可直接复制到 BigQuery，并与 Dataflow 集成，利用模板从 Cloud Storage 拉取变更流事件并相应地更新目标表，从而支持 Cloud SQL 和 Spanner 等其他目标位置。

在将新数据加载到目标数据存储区和数据仓库时，CDC 是一种高效的机制，用于限制对来源的影响。借助 CDC，您可以实现将数据变更增量加载或近乎实时地流式传输到目标位置，从而无需批量加载更新和不方便的批处理窗口。

此外，Datastream 通过限制同时回填任务的数量并让您控制要回填哪些对象以及何时回填，来最大限度地减少初始回填的影响。

1. 在新区域或项目中创建数据流，该数据流的配置与现有数据流相同，但不选中回填历史数据复选框。
2. 启动创建的数据流。
3. 在您创建的数据流处于 RUNNING 状态后，暂停现有数据流。
4. （可选）选中回填历史数据复选框，修改新数据流。未来添加到数据流中的表中现有数据将从来源流式传输到目的位置。

如需查看可使用 Datastream 的区域列表，请参阅 IP 许可名单和区域。

Datastream 支持来自 Oracle、MySQL、PostgreSQL、AlloyDB for PostgreSQL、SQL Server、Salesforce、Salesforce Marketing Cloud（预览版）、ServiceNow（预览版）和 MongoDB 来源的流式数据，包括云托管数据和自行管理的数据。如需了解特定于来源的版本，请参阅以下页面：

• MySQL 来源
• Oracle 数据源
• PostgreSQL 源（包括 AlloyDB for PostgreSQL）
• SQL Server 来源
• Salesforce 源
• Salesforce Marketing Cloud 源
• ServiceNow 数据源
• MongoDB 源

对于 MySQL，Datastream 会处理 MySQL 二进制日志以提取变更事件。

对于 Oracle，Datastream 会使用 LogMiner 和补充日志记录设置从 Oracle 的重做日志中提取数据。

对于 PostgreSQL 和 AlloyDB for PostgreSQL，Datastream 依赖于 PostgreSQL 的逻辑解码功能。逻辑解码会公开提交到数据库的所有更改，并允许使用和处理这些更改。

对于 SQL Server，Datastream 使用事务日志跟踪数据操纵语言 (DML) 更改。

存在一般限制，以及适用于特定数据库来源的限制。

一般限制包括：

• 事件大小：Cloud Storage 目的地的行大小上限为 100 MB，BigQuery 的行大小上限为 20 MB。
• 某些数据定义语言 (DDL) 操作在复制期间不受支持，包括：
  • 从表中间删除列。这可能会导致数据差异，因为值与错误的列关联。
  • 更改列的数据类型。这可能会导致数据差异，因为数据未正确映射到正确的 Datastream 统一类型，并且数据可能会损坏。
  • 级联删除会被忽略。
  • 表截断会被忽略。

如需了解特定来源的限制，请参阅以下页面：

• MySQL 限制
• Oracle 限制
• PostgreSQL 限制（包括 AlloyDB for PostgreSQL 和 AlloyDB Omni）
• SQL Server 限制
• Salesforce 限制
• Salesforce Marketing Cloud 限制
• MongoDB 限制

在写入无架构目标位置（例如 Cloud Storage）时，Datastream 会对所有来源的数据类型进行标准化，从而简化跨来源的数据下游处理。Datastream 接受原始来源数据类型（例如 MySQL 或 PostgreSQL NUMERIC 类型或 Oracle NUMBER 类型），并将其标准化为 Datastream 统一类型。

统一类型表示所有可能的来源类型的无损超集，标准化意味着只需极少的精力即可处理不同来源的数据，并以与来源无关的方式在下游进行查询。

您可以解决 Datastream 报告的错误，从而修复状态为 Failed 的数据流。如需了解详情，请参阅排查直播问题。

您还可以恢复状态为 Failed permanently 的直播。如需了解详情，请参阅恢复数据流。

不需要。Datastream 不需要锁定表。

是的，Datastream 支持 5.7 和 8.0 版 Cloud SQL for MySQL 的读取副本实例。

您可以针对这些实例启用二进制日志记录功能。为此，请执行以下 gcloud CLI 命令：

gcloud sql instances patch INSTANCE_NAME -- enable-bin-log

如需了解详情，请参阅读取副本的二进制日志记录功能。

您必须向 Datastream 用户授予以下权限，才能从 MySQL 数据库复制数据：

• SELECT
• REPLICATION SLAVE
• REPLICATION CLIENT

否，Datastream 不支持使用二进制日志事务压缩来压缩事务事件。停用二进制日志事务压缩，以便在 Datastream 中使用 MySQL 的变更数据捕获功能。

您可以向要复制的特定表或数据库中的整个架构授予 SELECT 权限。为此，请运行以下命令之一：

GRANT SELECT ON DATABASE_NAME.TABLE_NAME TO USER_NAME@'%';

GRANT SELECT ON DATABASE_NAME.* TO USER_NAME@'%';

替换以下内容：

• DATABASE_NAME：MySQL 数据库的名称。
• TABLE_NAME：您要向其授予 SELECT 权限的表的名称。
• USER_NAME：您要向其授予 SELECT 权限的用户的名称。

如果您想将权限限制为特定主机名，请将 % 字符替换为特定 IP 地址或地址范围。

Datastream 支持基于 Oracle 网络服务对传输中的数据加密。Datastream 以 REQUESTED 模式运行。

支持，Datastream 支持使用 TCPS 协议建立 SSL/TLS 加密连接，以连接到 Oracle 源。

如果您无法授予 GRANT SELECT ANY TABLE 权限，则可以向以下表格列表授予 SELECT 权限：

• ALL_COL_COMMENTS
• ALL_CONS_COLUMNS
• ALL_CONSTRAINTS
• ALL_DB_LINKS
• ALL_EXTERNAL_TABLES
• ALL_IND_COLUMNS
• ALL_INDEXES
• ALL_LOG_GROUPS
• ALL_MVIEWS
• ALL_OBJECTS
• ALL_PART_TABLES
• ALL_SEQUENCES
• ALL_SOURCE
• ALL_SYNONYMS
• ALL_TAB_COLS
• ALL_TAB_COLUMNS
• ALL_TAB_COMMENTS
• ALL_TABLES
• ALL_TRIGGERS
• ALL_TRIGGER_COLS
• ALL_TYPES
• ALL_USERS
• ALL_VIEWS
• DATABASE_PROPERTIES
• DBA_ROLE_PRIVS
• DUAL
• PRODUCT_COMPONENT_VERSION
• ROLE_SYS_PRIVS
• USER_ROLE_PRIVS
• USER_TAB_PRIVS

如需使用 Datastream 流式传输更改，您还需要对流中包含的所有表拥有读取权限。

如需启动数据流，请使用 API 绕过验证。如需了解详情，请参阅开始直播。