使用自动数据质量

本页面介绍了如何创建 Dataplex Universal Catalog 数据质量扫描。

如需了解数据质量扫描，请参阅自动数据质量简介。

准备工作

  1. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. 可选：如果您希望 Dataplex Universal Catalog 根据数据分析扫描的结果生成数据质量规则的建议，请创建并运行数据分析扫描。

所需的角色

  • 如需对 BigQuery 表运行数据质量扫描，您需要拥有读取 BigQuery 表的权限，以及在用于扫描该表的项目中创建 BigQuery 作业的权限。

  • 如果 BigQuery 表和数据质量扫描位于不同的项目中，则您需要为包含数据质量扫描的项目的 Dataplex Universal Catalog 服务账号授予相应 BigQuery 表的读取权限。

  • 如果数据质量规则引用了其他表，则扫描项目的服务账号必须拥有这些表的读取权限。

  • 如需获得将扫描结果导出到 BigQuery 表所需的权限，请让您的管理员为 Dataplex Universal Catalog 服务账号授予结果数据集和结果表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色。这会授予以下权限：

    • bigquery.datasets.get
    • bigquery.tables.create
    • bigquery.tables.get
    • bigquery.tables.getData
    • bigquery.tables.update
    • bigquery.tables.updateData

  • 如果 BigQuery 数据在 Dataplex Universal Catalog 数据湖中整理，请为 Dataplex Universal Catalog 服务账号授予 Dataplex Metadata Reader (roles/dataplex.metadataReader) 和 Dataplex Viewer (roles/dataplex.viewer) IAM 角色。或者，您需要拥有以下所有权限：

    • dataplex.lakes.list
    • dataplex.lakes.get
    • dataplex.zones.list
    • dataplex.zones.get
    • dataplex.entities.list
    • dataplex.entities.get
    • dataplex.operations.get

  • 如果您要扫描 Cloud Storage 中的 BigQuery 外部表，请为 Dataplex Universal Catalog 服务账号授予相应存储桶的 Storage Object Viewer (roles/storage.objectViewer) 角色。或者，为 Dataplex Universal Catalog 服务账号分配以下权限：

    • storage.buckets.get
    • storage.objects.get

  • 如果您想将数据质量扫描结果作为 Dataplex Universal Catalog 元数据发布，则您必须获得该表的 BigQuery Data Editor (roles/bigquery.dataEditor) IAM 角色，以及与表位于相同位置的 @bigquery 条目组的 dataplex.entryGroups.useDataQualityScorecardAspect 权限。或者，您必须获得与该表位于相同位置的 @bigquery 条目组的 Dataplex Catalog Editor (roles/dataplex.catalogEditor) 角色。

    或者，您需要拥有以下所有权限：

    • bigquery.tables.update - 针对表
    • dataplex.entryGroups.useDataQualityScorecardAspect - 针对 @bigquery 条目群组

    或者，您需要拥有以下所有权限：

    • dataplex.entries.update - 针对 @bigquery 条目群组
    • dataplex.entryGroups.useDataQualityScorecardAspect - 针对 @bigquery 条目群组

  • 如果您需要访问受 BigQuery 列级访问权限政策保护的列，请为 Dataplex Universal Catalog 服务账号分配这些列的权限。创建或更新数据扫描的用户也需要拥有这些列的权限。

  • 如果某个表启用了 BigQuery 行级访问权限政策，则您只能扫描对 Dataplex Universal Catalog 服务账号可见的行。请注意，系统不会针对行级政策评估单个用户的访问权限。

所需的数据扫描角色

如需使用自动数据质量，请让您的管理员为您授予以下 IAM 角色之一：

  • 拥有对 DataScan 资源的完整访问权限：Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin)
  • 创建 DataScan 资源：项目的 Dataplex DataScan Creator (roles/dataplex.dataScanCreator)
  • 拥有对 DataScan 资源的写入权限：Dataplex DataScan Editor (roles/dataplex.dataScanEditor)
  • 拥有对 DataScan 资源（不包括规则和结果）的读取权限：Dataplex DataScan Viewer (roles/dataplex.dataScanViewer)
  • 拥有对 DataScan 资源（包括规则和结果）的读取权限：Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

下表列出了 DataScan 权限：

权限名称 授予执行以下操作的权限：
dataplex.datascans.create 创建 DataScan
dataplex.datascans.delete 删除 DataScan
dataplex.datascans.get 查看 ID 或时间表等操作元数据，但无法查看结果和规则
dataplex.datascans.getData 查看 DataScan 详细信息（包括规则和结果）
dataplex.datascans.list 列出 DataScan
dataplex.datascans.run 运行 DataScan
dataplex.datascans.update 更新 DataScan 的说明
dataplex.datascans.getIamPolicy 查看扫描的当前 IAM 权限
dataplex.datascans.setIamPolicy