Compute Engine インスタンスと Slurm クラスタをモニタリングする

このドキュメントでは、Cloud Monitoring ダッシュボードを使用して、予約で制限された容量を使用して作成した A4X Max、A4X、A4、A3 Ultra、A3 Mega インスタンスをモニタリングする方法について説明します。これらのダッシュボードを使用すると、スタンドアロンの Compute Engine インスタンスまたは Slurm クラスタのパフォーマンスのボトルネックを特定してトラブルシューティングを行い、ワークロードのダウンタイムを最小限に抑えることができます。

カスタム ダッシュボードを作成するか、事前構築済みの Monitoring ダッシュボードを使用すると、次のことをモニタリングできます。

  • コンピューティング インスタンスの健全性

  • GPU パフォーマンス

  • ネットワーク伝送効率

  • ブロックとサブブロック間のネットワーク効率

  • 機械学習（ML）ワークロードの効率

  • ストラグラー検出

  • 応答しないワークロードの検出

Cluster Director でクラスタをモニタリングするには、事前構築されたダッシュボードでクラスタのパフォーマンスをモニタリングするをご覧ください。

始める前に

ワークロードをモニタリングする前に、次の手順を完了します（まだ完了していない場合）。

Google Cloud コンソールを使用して Google Cloud サービスと API にアクセスする場合、認証を設定する必要はありません。

制限事項

  • このドキュメントの指標は、次のすべての条件を満たすコンピューティング インスタンスで実行されるワークロードでのみサポートされます。

    • コンピューティング インスタンスは、スタンドアロンの Compute Engine インスタンスとして作成するか、Slurm クラスタの一部として作成する必要があります。
    • コンピューティング インスタンスは、予約に制限された容量を使用して作成されている必要があります。
    • コンピューティング インスタンスは、A4X Max、A4X、A4、A3 Ultra、A3 Mega のマシンシリーズを使用する必要があります。
      • ただし、遅延検出は、A3 Mega マシンシリーズを使用する仮想マシン（VM）インスタンスもサポートしています。

このドキュメントの指標は、次のすべての条件を満たすコンピューティング インスタンスで実行されるワークロードでのみサポートされます。

  • コンピューティング インスタンスは、スタンドアロンの Compute Engine インスタンスとして作成するか、Slurm クラスタの一部として作成する必要があります。
  • コンピューティング インスタンスは、予約済み容量を使用して作成されている必要があります。
  • コンピューティング インスタンスは、A4X Max、A4X、A4、A3 Ultra、A3 Mega のマシンシリーズを使用する必要があります。

ML ワークロードの指標をモニタリングするには、ワークロードのモニタリングを設定する必要があります。

ストラグラー検出の制限事項

遅延検出指標には、次の追加の制限があります。

  • A3 Mega 以外のサポートされているマシンシリーズの場合、遅延検出は、Collective Communication Analyzer（CoMMA）ライブラリを有効にして NCCL テレメトリーを Google Cloud サービスにエクスポートするコンピューティング インスタンスのみをサポートします。詳細については、CoMMA の概要をご覧ください。
  • 通常、ストラグラーの検出には最長で 10 分ほどかかります。
  • このドキュメントの他の指標とは異なり、プロジェクトの遅延検出指標をクラスタ、ブロック、サブブロック、コンピューティング インスタンスでフィルタすることはできません。ただし、遅延検出ログのクエリは、遅延の疑いがある 1 つ以上のコンピューティング インスタンスの ID でフィルタできます。

応答しないワークロードの検出の制限事項

応答しないワークロード検出指標は、Collective Communication Analyzer（CoMMA）ライブラリを使用して NCCL テレメトリーを Google Cloud サービスにエクスポートするコンピューティング インスタンスのみをサポートします。詳細については、CoMMA の概要をご覧ください。

必要なロール

AI Hypercomputer ワークロードの指標をモニタリングするために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

  • Cloud Monitoring で指標を表示するには: プロジェクトに対するモニタリング編集者 （roles/monitoring.editor）
  • Logging で遅延検出ログを表示するには: プロジェクトに対するログビューア （roles/logging.viewer）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

これらの事前定義ロールには、AI Hypercomputer ワークロードの指標をモニタリングするために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

AI Hypercomputer ワークロードの指標をモニタリングするには、次の権限が必要です。

  • ダッシュボードを表示する: プロジェクトに対する monitoring.dashboards.get
  • ダッシュボードを作成する: プロジェクトの monitoring.dashboards.create
  • ログエントリを表示する: プロジェクトに対する logging.logEntries.list

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

利用可能な指標

ユースケースに応じて、次の指標を使用して、コンピューティング インスタンスと Slurm クラスタをモニタリングできます。

  • コンピューティング インスタンスに接続された GPU の健全性、パフォーマンス、ネットワーク パフォーマンスをモニタリングするには、インフラストラクチャ指標をご覧ください。

  • ML ワークロードの GPU の効率をモニタリングするには、ML ワークロードの指標をご覧ください。

  • パフォーマンスが遅い ML ワークロードで、遅延の原因となっている可能性のあるコンピューティング インスタンスをモニタリングするには、遅延検出指標をご覧ください。

これらの指標を表示する方法については、このドキュメントの