Mappage OpenLineage

L'API Data Lineage peut ingérer des informations de traçabilité provenant de systèmes qui s'intègrent à OpenLineage, une norme ouverte pour la collecte de la traçabilité. Lorsque vous envoyez des événements au format OpenLineage à l'API Data Lineage à l'aide de la méthode ProcessOpenLineageRunEvent, l'API Data Lineage mappe les attributs du message OpenLineage aux attributs correspondants de l'API Data Lineage.

Ce document fournit des tableaux de référence pour ces mappages.

Mappage des attributs

La méthode d'API REST ProcessOpenLineageRunEvent mappe les attributs OpenLineage aux attributs de l'API Data Lineage comme suit :

L'ancêtre au niveau des colonnes généré par Managed Service pour Apache Spark est également compatible, à condition qu'il utilise le facette columnLineage dans les objets outputs. Voici un exemple :

"outputs": [ {
  "namespace": "bigquery",
  "name": "project.dataset.outputtable",
  "columnLineage": {
      "_producer": "https://github.com/OpenLineage/OpenLineage/tree/1.39.0/integration/spark",
      "_schemaURL": "https://openlineage.io/spec/facets/1-2-0/ColumnLineageDatasetFacet.json#/$defs/ColumnLineageDatasetFacet",
      "fields": {
        "output_field": { // This is the name of the output field
          "inputFields": [
            {
              "namespace": "bigquery",
              "name": "project.dataset.inputtable",
              "field": "input_field", // This is the name of the input field
              "transformations": [
                {
                  "type": "DIRECT",
                  "subtype": "IDENTITY",
                  "description": "",
                  "masking": false
                }
              ]
            }
          ]
        }
      },
  }
}]

Dans cet exemple, vous créez un lien de traçabilité au niveau des colonnes entre input_field et output_field. Vous devez inclure le champ "transformations". Sans cela, la lignée au niveau des colonnes ne sera pas ingérée. Pour en savoir plus sur la définition Open Lineage de ce facet, consultez Facet d'ensemble de données au niveau des colonnes.

Mappage de noms complets

Le tableau suivant fournit des exemples de paires espace de noms et nom OpenLineage pour différents systèmes, ainsi que leurs noms complets Knowledge Catalog (anciennement Dataplex Universal Catalog) équivalents :