Premiers pas avec Batch

Cette page explique comment commencer à utiliser Batch pour Google Cloud.

Présentation

Batch est un service entièrement géré qui vous permet de planifier, mettre en file d'attente et exécuter des charges de travail de traitement par lot sur des Google Cloud ressources. Par exemple, vous pouvez utiliser Batch pour les charges de travail de calcul hautes performances (HPC), de machine learning (ML) et de traitement des données. Batch provisionne les ressources et gère la capacité en votre nom, ce qui permet à vos charges de travail par lot de s'exécuter à grande échelle.

Lorsque vous utilisez Batch, vous n'avez pas besoin de configurer et gérer des planificateurs de tâches tiers, de provisionner et d'annuler des ressources, ni de demander des ressources une zone à la fois. Pour exécuter un job, vous devez spécifier les paramètres des ressources requises pour votre charge de travail, puis Batch récupère ces ressources et met le job en file d'attente pour exécution. Batch fournit une intégration native avec d'autres Google Cloud services pour vous aider à planifier, exécuter, stocker et analyser des jobs par lot, afin que vous puissiez vous concentrer sur l'envoi d'un job et l'utilisation des résultats.

Batch comprend les composants suivants :

  • Job : programme planifié qui exécute un ensemble de tâches sans aucune interaction de l'utilisateur, généralement pour les charges de travail de calcul. Par exemple, un job peut être un script shell unique ou un calcul complexe en plusieurs parties.

    Plus précisément, un job par lot représente un tableau d'une ou plusieurs tâches et l'environnement dans lequel ces tâches doivent s'exécuter. Vous définissez le programme du job comme une séquence d'un ou plusieurs exécutables. Chaque tâche exécute la séquence d'exécutables sur les ressources du job. Vous pouvez configurer les tâches d'un job pour qu'elles s'exécutent en parallèle ou de manière séquentielle.

  • Tâche : une exécution de la séquence d'exécutables d'un job. Lorsqu'un job comporte plusieurs tâches, vous spécifiez comment vous souhaitez que chaque exécution varie en référençant la variable d'environnement pour l'index d'une tâche dans les exécutables du job.

  • Exécutable : script ou conteneur exécutable que vous définissez dans le cadre d'un job.

  • Ressources : infrastructure nécessaire à l'exécution d'un job. Au minimum, vous n'avez qu'à spécifier les ressources de calcul requises par tâche : cœurs de processeur, mémoire et (si nécessaire) espace de stockage supplémentaire sur le disque de démarrage. Vous pouvez également spécifier d'autres options de ressources pour le job. Batch crée et supprime automatiquement les ressources qui répondent à vos spécifications pendant l'exécution du job.

    Plus précisément, chaque job par lot Batch s'exécute sur un groupe d'instances géré (MIG) régional, qui est un groupe d'une ou plusieurs instances de machines virtuelles (VM) Compute Engine correspondantes, chacune étant située dans l'une des zones incluses. Chaque VM dispose de matériel dédié pour les cœurs de processeur et la mémoire (qui affectent les performances de votre job), ainsi que d'un disque de démarrage (qui stocke une image de système d'exploitation et des instructions pour exécuter votre job). Si spécifié, un job peut également inclure ou accéder à des ressources supplémentaires, par exemple des GPU ou des volumes de stockage externes. Le nombre de VM provisionnées pour un job dépend des exigences matérielles et des options de planification des tâches que vous spécifiez.

En résumé, Batch vous permet de créer et d'exécuter des jobs qui provisionnent et utilisent automatiquement les ressources requises pour exécuter ses tâches.

Pour en savoir plus sur le comportement et les options des jobs, consultez la page Présentation de la création et de l'exécution de jobs.

Tarifs

L'utilisation de Batch n'entraîne aucun coût supplémentaire. Vous n'êtes facturé que pour le coût des ressources sous-jacentes requises pour exécuter vos jobs.

Pour en savoir plus sur les coûts associés à Batch et sur la façon de filtrer les rapports Cloud Billing pour afficher les coûts Batch, consultez la section Tarifs.

Restrictions

Batch est soumis aux restrictions suivantes :

  • Vous ne pouvez pas dépasser les quotas et limites Batch pour votre projet.
  • Les jobs ne peuvent utiliser que des types de machines des séries de machines suivantes :
    • Usage général : C4, C4A, C4D, C3, C3D, E2, N4, N4A, N2D, N2, N1 et T2D
    • Optimisé pour le calcul : C2, C2D et H3
    • Mémoire optimisée : M3, M2 et M1
    • Optimisé pour les accélérateurs : A4, A3 Ultra, A3 Mega, A3 High, A2, G4 et G2
  • Vous ne pouvez pas spécifier plus d'un groupe de tâches par job. Tous les jobs ne comportent qu'un seul groupe de tâches nommé group0.

Prérequis

Pour commencer à utiliser Batch, passez en revue les conditions préalables suivantes :

  1. Si votre projet n'a jamais utilisé Batch, activez-le pour votre projet.
  2. Configurez Batch pour chaque nouvel utilisateur.

Activer Batch pour un projet

Pour commencer à utiliser Batch avec un projet, procédez comme suit :

  1. Dans la Google Cloud console, sur la page de sélection du projet, sélectionnez ou créez un Google Cloud projet.

    Rôles requis pour sélectionner ou créer un projet

    • Sélectionner un projet : la sélection d'un projet ne nécessite pas de rôle IAM spécifique Vous pouvez sélectionner n'importe quel projet pour lequel un rôle vous a été attribué.
    • Créer un projet : pour créer un projet, vous avez besoin du rôle Créateur de projet (roles/resourcemanager.projectCreator), qui contient l'autorisation resourcemanager.projects.create. Découvrez comment attribuer des rôles.

    Accéder au sélecteur de projet

  2. Vérifiez que la facturation est activée pour votre Google Cloud projet.

  3. Assurez-vous que Batch est activé pour votre projet :