Configurer les compilations

Ce document vous explique comment effectuer les opérations suivantes dans Dataform :

Avant de commencer

  1. Dans la console Google Cloud , accédez à la page Dataform.

    Accéder à Dataform

  2. Sélectionnez ou créez un dépôt.

  3. Sélectionnez ou créez un espace de travail de développement.

  4. Facultatif : Pour remplacer le projet Google Cloud par défaut dans la configuration de la version, accordez l'accès à votre compte de service personnalisé dans le projet que vous prévoyez d'utiliser.

Rôles requis

Pour obtenir les autorisations nécessaires pour effectuer les tâches décrites dans ce document, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour renforcer la sécurité de la planification, consultez Implémenter des autorisations de planification avancées.

Pour pouvoir mettre à jour la version d'une configuration de version pour un dépôt Dataform, vous devez accorder l'autorisation iam.serviceAccounts.actAs à l'agent de service Dataform pour chaque compte de service personnalisé dans les configurations de workflow qui utilisent cette configuration de version. Cette autorisation est disponible dans le rôle Utilisateur de compte de service (roles/iam.serviceAccountUser). Pour en savoir plus, consultez Attribuer les rôles IAM requis.

Présentation du cycle de vie des workflows dans Dataform

Cette section décrit le cycle de vie des workflows dans Dataform et les méthodes permettant de configurer la compilation et l'exécution dans Dataform.

Le cycle de vie du workflow Dataform se compose des phases suivantes :

Développement
Vous développez un workflow dans un espace de travail Dataform.
Compilation

Dataform compile le code du workflow dans votre espace de travail en SQL en temps réel, ce qui crée un résultat de compilation de l'espace de travail que vous pouvez exécuter dans BigQuery. Dataform utilise les paramètres que vous définissez dans le fichier de paramètres de votre workflow pour créer le résultat de la compilation.

La compilation Dataform est hermétique pour garantir la cohérence de la compilation. Cela signifie que le même code est compilé avec le même résultat de compilation SQL à chaque fois. Dataform compile votre code dans un bac à sable sans accès à Internet. Aucune action supplémentaire, comme l'appel d'API externes, n'est disponible pendant la compilation.

Exécution

Dans une invocation de workflow, Dataform exécute le résultat de la compilation de l'espace de travail dans BigQuery.

Pour adapter le cycle de vie du workflow Dataform à vos besoins, vous pouvez configurer le résultat de la compilation pour définir où et comment Dataform exécute votre workflow. Vous pouvez ensuite déclencher les exécutions manuellement ou les planifier pour déterminer quand Dataform doit exécuter tout ou partie de votre workflow.

Configurer la compilation Dataform

Par défaut, Dataform utilise les paramètres du fichier de paramètres du workflow pour créer les résultats de la compilation. Vous pouvez remplacer les paramètres par défaut par des substitutions de compilation pour créer des résultats de compilation personnalisés. Vous pouvez ensuite déclencher manuellement l'exécution d'un résultat de compilation personnalisé ou programmer des exécutions.

Dataform propose les options suivantes pour configurer les résultats de compilation :

Remplacements de compilation d'espace de travail
Vous pouvez configurer des remplacements de compilation qui s'appliquent à tous les espaces de travail d'un dépôt. Vous pouvez utiliser les remplacements de compilation d'espace de travail pour créer des environnements de développement isolés.
Configurations des versions
Vous pouvez créer des configurations de version pour configurer des modèles permettant de créer des résultats de compilation d'un dépôt Dataform. Vous pouvez ensuite créer une configuration de workflow pour planifier les exécutions des résultats de compilation créés dans une configuration de version sélectionnée.
Remplacements de compilation de l'API Dataform
Vous pouvez transmettre des requêtes à l'API Dataform dans le terminal pour créer et exécuter un résultat de compilation unique avec des remplacements de compilation.

Configurer des remplacements de compilation d'espace de travail

Les remplacements de compilation d'espace de travail vous permettent de créer des remplacements de compilation pour tous les espaces de travail d'un dépôt Dataform. Vous pouvez créer une configuration de remplacements de compilation d'espace de travail pour chaque dépôt.

Lorsque vous