Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Profiler et valider la qualité des données

Ce guide de démarrage rapide vous explique comment utiliser Knowledge Catalog (anciennement Dataplex Universal Catalog) pour profiler une table BigQuery, définir des règles de qualité des données en fonction des insights de profil et exécuter une analyse de la qualité des données.

Voici les étapes à suivre :

Créez un ensemble de données et une table BigQuery avec des exemples de données de vélos en libre-service contenant des anomalies intentionnelles, telles que des doublons et des valeurs nulles, pour tester les capacités d'analyse.
Créez et exécutez une analyse de profilage des données sur la table. Le profilage des données calcule des statistiques au niveau des colonnes, telles que les pourcentages de valeurs nulles, le nombre de valeurs uniques et les distributions de valeurs. Pour en savoir plus, consultez À propos du profilage de données.
Examinez les résultats de l'analyse du profil de données pour identifier des tendances et des anomalies potentielles.
Définissez des règles de qualité des données en fonction des résultats de votre profil, puis exécutez une analyse de la qualité des données. Les analyses de la qualité des données valident vos données par rapport à des règles définies pour identifier les anomalies. Pour en savoir plus, consultez À propos de la qualité des données automatique.
Examinez les résultats de l'évaluation pour voir quelles règles de qualité ont été respectées ou non.

Avant de commencer

Configurez votre projet :

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Knowledge Catalog and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Knowledge Catalog and BigQuery APIs.

Roles required to enable APIs

Enable the APIs

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et exécuter des analyses de profil de données et de qualité des données, et pour gérer les ressources BigQuery, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Créer, exécuter et supprimer des analyses de données : Éditeur Dataplex DataScan (roles/dataplex.dataScanEditor)
Créer, remplir et supprimer des tables exemples : Propriétaire de données BigQuery (roles/bigquery.dataOwner)
Exécuter des requêtes SQL dans BigQuery : Utilisateur de tâche BigQuery (roles/bigquery.jobUser)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Si vous disposez des autorisations nécessaires pour gérer l'accès IAM dans votre projet, vous pouvez accorder ces rôles à votre propre compte utilisateur en exécutant les commandes gcloud suivantes :

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/dataplex.dataScanEditor"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.dataOwner"

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="user:USER_EMAIL" \
    --role="roles/bigquery.jobUser"

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet Google Cloud .
USER_EMAIL : adresse e-mail de votre compte utilisateur (par exemple, name@example.com).

Accorder des autorisations à l'agent de service Knowledge Catalog

Un agent de service est un compte de service géré par Google que Knowledge Catalog utilise pour exécuter des requêtes d'analyse dans BigQuery en votre nom.

Dans la console Google Cloud , cliquez sur Activer Cloud Shell dans la barre d'outils. Le provisionnement et la connexion à l'environnement prennent quelques instants.
Créez l'agent de service Knowledge Catalog :
```
gcloud beta services identity create --service=dataplex.googleapis.com
```
Cette commande crée l'agent de service s'il n'a pas encore été provisionné et affiche son adresse e-mail. Si votre projet possède déjà un agent de service Knowledge Catalog, la commande renvoie l'identité existante sans apporter de modifications.

Le résultat ressemble à ce qui suit :
```
serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com
```
Notez la valeur PROJECT_NUMBER dans le résultat pour les étapes suivantes.
Attribuez le rôle Utilisateur de job BigQuery (roles/bigquery.jobUser) afin que le catalogue de connaissances puisse exécuter des requêtes dans votre projet :
```
gcloud projects add-iam-policy-binding PROJECT_ID \
   --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
   --role="roles/bigquery.jobUser"
```
Remplacez les éléments suivants :
- PROJECT_ID : ID de votre projet Google Cloud .
- PROJECT_NUMBER : numéro de votre projet Google Cloud .
Attribuez le rôle Lecteur de données BigQuery (roles/bigquery.dataViewer) afin que l'agent de service puisse lire les données et le schéma de votre table :
```
gcloud projects add-iam-policy-binding 
```