Knowledge Catalog(以前称为 Dataplex Universal Catalog)提供了一个统一的结构化元数据管理平台,可用于管理分布式数据资产。它会自动发现、编入索引和整理技术结构、业务情境、数据质量指标和运营关系。
通过将元数据整理到灵活且可扩展的元模型中, Knowledge Catalog 建立了结构基础 ,以便在 Google 的 Agentic Data Cloud 中构建 Active Context Graph。借助此情境图,数据团队可以发现和治理资产,同时让生成式 AI 智能体能够检索到有依据且可信的业务情境。
Knowledge Catalog 元模型
Knowledge Catalog 通过容器、资产、架构和关系的模块化层次结构来整理元数据:
- 容器和资产:条目组用于整理条目,这些条目代表 各个数据资产及其架构列。
- 结构化丰富:切面类型用于定义切面的架构,这些切面会将结构化元数据附加到条目、列或关系。
- 标准和治理:条目类型用于定义对条目强制执行 必需切面的模板。
- 关系:条目链接类型用于定义连接相关条目和业务术语的关系(条目链接) 。
下表总结了系统管理型资源 (由 Google Cloud自动提供)与用户定义的自定义资源之间的区别:
| 元模型元素 | 系统管理型(内置) | 用户定义型(自定义) |
|---|---|---|
| 条目组 | 针对 Google Cloud 服务(例如
@bigquery、@spanner、@pubsub)按项目预定义。 |
由用户创建,用于对自定义数据资产和 权限进行分组和管理。 |
| 条目 | 自动从 Google Cloud 来源(例如 BigQuery 表、视图、数据集和模型)填充。 | 由用户创建,用于表示定制的数据源、文件或 第三方数据库。 |
| 切面类型 | 预定义的系统模板(例如 Schema、
Overview、Contacts、DataQuality、
Lineage)。 |
由用户创建,用于定义特定于网域的元数据架构(例如 PII 分类或 SLA 层级)。 |
| 切面 | 自动从源系统、查询日志或自动 扫描填充。 | 由用户、流水线或智能体创建,并附加到条目、 列或条目链接。 |
| 条目类型 | 表示 Google Cloud 资源类型的预定义模板。 | 由用户定义,用于为自定义 数据资产指定必需切面和可选切面。 |
| 条目链接 | 内置的关系类型(例如 synonym、
definition、schema-join、
related)。 |
在特定条目或列之间创建的实例,用于对 跨系统连接进行建模。 |
以下部分介绍了构成 Knowledge Catalog 元模型的主要组件。
条目组
条目组 (EntryGroup) 是条目和条目链接的区域容器,可作为管理这些资源的管理和安全边界。
使用条目组可配置以下内容:
- 身份和访问权限管理访问权限控制:向特定 团队授予对条目组的查看或修改权限,而无需修改各个条目的权限。