Wenn Sie Arbeitslasten für künstliche Intelligenz (KI) oder maschinelles Lernen (ML) effizient ausführen möchten, müssen Sie sowohl einen Arbeitslast-Orchestrator als auch eine Bereitstellungsplattform auswählen. Diese Komponenten haben folgende Funktionen:
Ein Orchestrator plant und führt Ihre Jobs aus.
Eine Bereitstellungsoption verwaltet einen Orchestrator.
Nachdem Sie festgelegt haben, welche GPU-Infrastruktur (Cluster-GPUs oder allgemeine GPUs) zum Ausführen Ihrer Arbeitslasten verwendet werden soll, folgen Sie der Anleitung in diesem Dokument, um den Orchestrator und die Bereitstellung zu ermitteln, die am besten zu Ihrer Arbeitslast und Ihrem Verwaltungsaufwand passen.
Informationen zu den GPU-Maschinentypen, die Sie zum Ausführen Ihrer Arbeitslasten verwenden können, finden Sie unter GPU Maschinen.
Orchestratoren und Bereitstellungsoptionen vergleichen
AI Hypercomputer bietet mehrere Orchestratoren und Bereitstellungsoptionen für Ihre Compute-Instanzen. Diese Optionen reichen von vollständig verwalteten Clustern, mit denen Sie sich auf Ihre Arbeitslasten konzentrieren können, bis hin zu selbstverwalteten Umgebungen, die eine detaillierte Kontrolle darüber bieten, wie Sie Ihre Compute-Instanzen verwalten und aktualisieren.
In der folgenden Tabelle werden die Orchestratoren und Bereitstellungsoptionen verglichen, die Sie beim Ausführen von KI-Arbeitslasten verwenden können:
| Produkt | Orchestrator | Technische Komplexität | Empfohlen für | Vorteil |
|---|---|---|---|---|
| Cluster Director | Slurm | Niedrig | KI-Forscher, Data Scientists | Verwalteter Lebenszyklus für Slurm-Cluster |
| Google Kubernetes Engine (GKE) | Kubernetes | Mittel bis hoch | ML-Entwickler, Plattformentwickler | Containerorchestrierung und ‑skalierung |
| Cluster Toolkit | Slurm, Kubernetes | Medium | ML-DevOps, Plattformentwickler | Validierte Infrastructure as Code-Blueprints |
| Compute Engine | Benutzerdefiniert / Keine | Hoch | Infrastrukturarchitekten | Detaillierte Kontrolle über Betriebssystem und Netzwerk |
Orchestrator und Bereitstellungsoption auswählen
Verwenden Sie das folgende Flussdiagramm, um einen Orchestrator und eine Bereitstellungsoption auszuwählen:
Das obige Flussdiagramm enthält die folgenden Fragen:
Möchten Sie eine Clusterorchestrierung für Ihre Arbeitslasten?
- Ja: Fahren Sie mit Frage 2 fort.
- Nein: Verwenden Sie die Compute Engine.
Möchten Sie standardmäßige containerisierte Anwendungen ausführen?
- Ja: Verwenden Sie GKE.
- Nein: Fahren Sie mit Frage 3 fort.
Möchten Sie, dass Google den Clusterlebenszyklus verwaltet?
- Ja: Verwenden Sie Cluster Director.
- Nein: Verwenden Sie Cluster Toolkit.
Unterstützte Orchestratoren
Ein Orchestrator automatisiert die Clusterverwaltung und macht es überflüssig, jede Compute-Instanz einzeln zu verwalten. Orchestratoren wie Slurm oder Kubernetes verarbeiten die Jobwarteschlange, die Ressourcenzuweisung und das Autoscaling.