使用 DataStream API

对于拥有许多独立数据源的企业而言，访问整个组织内的企业数据（尤其是实时访问）并非易事。这会导致数据访问受限且速度缓慢，因而造成组织无法进行检查。

Datastream 提供近乎实时的访问权限，让您能够更改各种本地和云端数据源中的数据以创建组织数据访问权限。Datastream 提供统一的使用 API，让组织普遍能够访问组织内可用的最新企业数据，从而为集成式近乎实时的场景提供支持。

其中一种场景是，将数据从来源数据库转移到云端存储服务或消息传递队列，然后将这些数据转换为可供与该存储服务或消息传递队列通信的其他应用和服务读取的形式。

在本教程中，您将学习如何使用 Datastream 将架构、表和数据从源 Oracle 数据库转移到 Cloud Storage 存储桶中的文件夹。Cloud Storage 是一种用于在 Google Cloud上存储和访问数据的 Web 服务。该服务将 Google 云的高性能和可扩展性与先进的安全和共享功能融合在一起。

在将此信息转移到目标 Cloud Storage 存储桶中的文件夹的过程中，Datastream 会将此信息转换为 Avro。Avro 由以 JavaScript 对象表示法 (JSON) 编写的架构定义。通过这种转换，您可以以统一的方式读取不同数据源中的数据。

目标

• 设置环境变量。在您向 Datastream 发出请求来创建和管理连接配置文件和数据流时将使用这些变量。
• 创建和管理用于 Cloud Storage 中源数据库和目标存储桶的连接配置文件。创建这些连接配置文件后，您将创建包含来源数据库和 Cloud Storage 目标存储桶的相关信息的记录。Datastream 中的数据流使用连接配置文件中的信息将数据从源数据库转移到目标存储桶中的文件夹。
• 创建和管理数据流。Datastream 使用此数据流将数据、架构和表从源数据库转移到目标存储桶中的文件夹。
• 验证 Datastream 是否将与源 Oracle 数据库的架构关联的数据和表转移到目标存储桶中的文件夹，以及是否将这些数据转换为 Avro 文件格式。
• 清理您在 Datastream 上创建的资源，以避免这些资源占用配额并在日后产生费用。

费用

在本文档中，您将使用 Google Cloud的以下收费组件：

• Cloud Storage

如需根据您的预计使用情况来估算费用，请使用价格计算器。

准备工作

登录您的 Google Cloud 账号。如果您是 Google Cloud新手，请 创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. 启用 Datastream API。

   启用 API

2. 确保您已为您的用户账号分配 Datastream Admin 角色。

   转到 IAM 页面

3. 确保您有一个 Datastream 可以访问的来源数据库。本教程使用 Oracle 数据库作为来源。
4. 配置来源数据库以允许来自 Datastream 公共 IP 地址的传入连接。如需访问所有 Datastream 区域的位置及其关联的公共 IP 地址，请参阅 IP 许可名单和区域。
5. 确保您已配置一个目标 Cloud Storage 存储分区，Datastream 可以使用 IP 许可名单、SSH 隧道或 VPC 对等互连网络连接方法对其进行访问。
6. 确保来源数据库中存在 Datastream 可转移到 Cloud Storage 目标存储桶中的文件夹的数据、表和架构。
7. 下载并安装 Cloud Shell。此客户端应用可让您通过命令行访问云资源（包括 Datastream）。
8. 安装并配置 jq 实用程序。此实用程序是一个轻量级且灵活的命令行 JSON 处理器。您将使用此处理器，以简洁易懂的文本来展示复杂的 cURL 命令。