Analyser les profils de données stockés dans BigQuery

Si vous avez configuré le service de découverte des données sensibles pour envoyer tous les profils de données générés à BigQuery, vous pouvez interroger ces profils de données pour obtenir des insights sur vos données. Vous pouvez également utiliser des outils de visualisation tels que Data Studio pour créer des rapports personnalisés adaptés aux besoins de votre entreprise. Vous pouvez aussi utiliser un rapport prédéfini fourni par la protection des données sensibles, l'ajuster et le partager selon vos besoins.

Cette page fournit des exemples de requêtes SQL que vous pouvez utiliser pour en savoir plus sur vos profils de données. Elle vous explique également comment visualiser les profils de données dans Data Studio.

Pour en savoir plus sur les profils de données, consultez la présentation de la découverte des données sensibles.

Avant de commencer

Cette page suppose que vous avez configuré le profilage au niveau de l'organisation, du dossier ou du projet. Dans la configuration de votre analyse de découverte, assurez-vous que l'action Enregistrer des copies des profils de données dans BigQuery est activée. Pour savoir comment créer une configuration d'analyse de découverte, consultez Créer une configuration d'analyse.

Table de sortie

Dans ce document, la table contenant les profils de données exportés est appelée table de sortie.

Assurez-vous d'avoir à portée de main l'ID du projet, l'ID de l'ensemble de données et l'ID de la table de sortie. Vous en aurez besoin pour suivre les procédures décrites sur cette page.

Vue latest

Lorsque la protection des données sensibles exporte des profils de données vers votre table de sortie, elle crée également la latest vue. Cette vue est une table virtuelle préfiltrée qui n'inclut que les derniers instantanés de vos profils de données. La vue latest a le même schéma que la table de sortie. Vous pouvez donc utiliser les deux de manière interchangeable dans vos requêtes SQL et vos rapports Data Studio. Les résultats peuvent différer, car la table de sortie contient des instantanés plus anciens des profils de données.

La vue latest est stockée au même emplacement que la table de sortie. Son nom est au format suivant :

OUTPUT_TABLE_latest_VERSION

Remplacez les éléments suivants :

  • OUTPUT_TABLE : ID de la table contenant les profils de données exportés.
  • VERSION : numéro de version de la vue.

Par exemple, si le nom de votre table de sortie est table-profile, la vue latest s'appelle table-profile_latest_v1.

Dernière vue

Lorsque vous utilisez la vue latest dans des requêtes SQL, utilisez le nom complet de la vue, qui inclut l'ID du projet, l'ID de l'ensemble de données, l'ID de la table et le suffixe, par exemple, myproject.mydataset.table-profile_latest_v1.

PROJECT_ID.DATASET_ID.OUTPUT_TABLE_latest_VERSION

Choisir entre la table de sortie et la vue latest

La vue latest n'inclut que les derniers instantanés de profil de données, tandis que la table de sortie contient tous les instantanés de profil de données, y compris ceux qui sont obsolètes. Par exemple, une requête sur la table de sortie peut renvoyer plusieurs profils de données de colonne pour la même colonne, un pour chaque fois que cette colonne a été profilée.

Lorsque vous choisissez d'utiliser la table de sortie ou la vue latest dans vos requêtes SQL ou vos rapports Data Studio, tenez compte des points suivants :

  • La vue latest est utile si vous disposez d'actifs de données qui ont été reprofilés et que vous ne souhaitez voir que les derniers profils, et non leurs versions antérieures. Autrement dit, vous souhaitez voir l'état actuel de vos données profilées.

  • La table de sortie est utile si vous souhaitez obtenir une vue historique de vos données profilées. Par exemple, vous essayez de déterminer si votre organisation a déjà stocké un infoType particulier ou si vous souhaitez voir les modifications apportées à un profil de données spécifique.

Exemples de requêtes SQL

Cette section fournit des exemples de requêtes que vous pouvez utiliser lors de l'analyse des profils de données. Pour exécuter ces requêtes, consultez Exécuter des requêtes interactives.

Dans les exemples suivants, remplacez TABLE_OR_VIEW par l'un des éléments suivants :

  • Nom de la table de sortie, qui est la table contenant les profils de données exportés, par exemple myproject.mydataset.table-profile.
  • Nom de la vue latest de la table de sortie, par exemple, myproject.mydataset.table-profile_latest_v1.

Dans les deux cas, vous devez inclure l'ID du projet et l'ID de l'ensemble de données.

Pour en savoir plus, consultez la section Choisir entre la table de sortie et la latest vue sur cette page.

Pour résoudre les erreurs que vous rencontrez, consultez la page Messages d'erreur.

Lister toutes les colonnes qui ont un score de texte libre élevé et des preuves d'autres correspondances d'infoType

SELECT
  column_profile.table_full_resource,
  column_profile.COLUMN,
  other_matches.info_type.name,