将数据沿袭与 Google Cloud 系统搭配使用

数据沿袭显示了项目资源与创建这些资源的进程之间的关系。

您可以在 Google Cloud 控制台中查看数据沿袭详细信息，也可以使用 Data Lineage API 检索这些信息。

数据沿袭需要一段时间才能显示图表，具体取决于正在处理的数据量。对于大多数作业，此过程需要 3 小时，而对于某些作业，此过程可能需要长达 24 小时。

系统会跨项目捕获沿袭信息。当您查看从多个项目生成的沿袭时，可以在任何相关项目中查看汇总的沿袭信息。

角色与权限

如需查看数据沿袭，您需要拥有特定的 Identity and Access Management (IAM) 权限。系统会跨项目捕获沿袭信息，因此您需要拥有多个项目的权限。

如需查看数据沿袭，您需要具备以下角色或权限。向相关资源（例如项目或 BigQuery 表）上的主账号（例如用户或服务账号）授予这些角色。

Data Lineage Viewer (roles/datalineage.viewer)：授予在 Google Cloud 控制台中查看沿袭和使用 Data Lineage API 的权限。您必须在记录沿袭的项目和查看沿袭的项目中应用此角色。如需了解详情，请参阅项目类型。
Dataplex Universal Catalog Viewer (roles/dataplex.catalogViewer)：授予查看 Dataplex Universal Catalog 中编目的资产的元数据的权限。在存储目录条目的项目上授予此角色，以便用户在沿袭图中查看条目详细信息。或者，您也可以在源系统上授予查看者角色。如需了解详情，请参阅使用 Dataplex Universal Catalog 搜索数据资产。
其他 BigQuery 权限：
- 如需在沿袭图中查看 BigQuery 资产的详细信息（例如表定义或视图查询），请授予 BigQuery Data Viewer (roles/bigquery.dataViewer) 角色。
- 如需查看生成沿袭的 BigQuery 作业的 SQL 查询，请授予 bigquery.jobs.get 权限。此权限包含在 BigQuery Admin (roles/bigquery.admin) 角色和 BigQuery Resource Viewer (roles/bigquery.resourceViewer) 角色等角色中。

启用 Data Lineage API 后，数据沿袭会自动跟踪沿袭信息。您无需任何管理员或编辑者角色即可捕获数据资产的沿袭信息。

如需详细了解如何授予角色，请参阅管理访问权限。您可以在更高的文件夹或组织级层分配角色。如需了解详情，请参阅授予或撤销单个角色。

您可以图表或列表的形式查看沿袭信息。默认情况下，沿袭图会显示表级沿袭。对于 BigQuery 作业，您可以在图表视图和列表视图中查看列级沿袭数据。

提供以下视图类型：

图中的关键元素如下所述：

节点：表示数据实体。在表级视图中，节点会显示表名称及其列。在列级视图中，每个节点都代表一个特定的表及其具有沿袭的列。
边：连接节点的线条，表示节点之间发生的流程。边可以包含图标或标签，以提供有关转换的更多信息：
- 图标：在表格级视图中，图标会显示在边缘，表示转换过程。手动探索图表时，边上的图标表示进程的来源系统（例如，BigQuery 或 Vertex AI）。如果涉及多个进程，则会显示“多个进程”图标。如果进程源系统未知，则使用齿轮图标。应用过滤条件后，所有进程都会使用齿轮图标。
- 标签：在列级视图中，边会添加标签来描述列之间的依赖关系类型，例如 Exact copy 或 Other。

启用数据沿袭功能后，系统会开始自动跟踪受支持的系统的沿袭信息。您必须在查看沿袭的项目和记录沿袭的项目中启用 Data Lineage API。如需了解详情，请参阅项目类型。

您可以在 Dataplex Universal Catalog 网页界面中查看数据沿袭信息。

如需查看沿袭，请按照以下说明操作：