ダッシュボード、グラフ、アラートを作成する

このドキュメントでは、Cloud Monitoring を使用して、BigQuery リソースをモニタリングするグラフとアラートを作成する方法について説明します。

始める前に

Cloud Monitoring を使用する前に、次を用意しておきます。

  • Cloud 請求先アカウント。
  • 課金を有効にした BigQuery プロジェクト。

Google Cloud コンソールを使用したクイックスタートを完了すると、両方がそろっていることを確認できます。

ダッシュボード、グラフ、アラートの表示と作成

Cloud Monitoring ダッシュボードを表示する

Cloud Monitoring を使用して BigQuery プロジェクトをモニタリングするには:

  1. Google Cloud コンソールで、[Monitoring] ページに移動します。

    [Monitoring] に移動

  2. ページ上部でまだプロジェクトの名前を選択していない場合はここで選択します。

  3. BigQuery リソースを表示するには、[ダッシュボード] > [BigQuery] を選択します。このページには、ユーザーによる構成が可能なテーブル、イベントとインシデントのレポートの一覧と、プロジェクト指標またはデータセット指標のグラフが表示されます。

    BigQuery ダッシュボード。

利用可能なスロットと割り当てられているスロットを可視化する

利用可能なスロットとプロジェクトに割り当てられているスロットを可視化するには、Cloud Monitoring ダッシュボードの表示の説明に沿って、BigQuery のダッシュボードに移動します。

  1. Google Cloud コンソールで、[Monitoring] ページに移動します。

    [Monitoring] に移動

  2. [ダッシュボード] > [BigQuery] を選択します。

  3. BigQuery の Cloud Monitoring ダッシュボードで [Slot Utilization] という名前のグラフまでスクロールします。

[Slot Utilization] グラフは、メインの Cloud Monitoring のデフォルト ダッシュボードと、BigQuery の Cloud Monitoring ダッシュボードの両方に表示されます。

ダッシュボードとグラフを作成する

Cloud Monitoring が収集した指標を自分のグラフやダッシュボードに表示します。

  1. Google Cloud コンソールで、[Monitoring] ページに移動します。

    [Monitoring] に移動

  2. [ダッシュボード] > [ダッシュボードを作成] を選択します。

  3. [グラフを追加] をクリックします。[グラフを追加] ページが表示されます。

    グラフページを追加します。

  4. [Find resource type and metric] パネル フィールドで、次の操作を行います。

    • [Resource type] プルダウン リストで [Global] を選択します。[Global] オプションは [Resource types] のリストを開かないと表示されない場合があります。
    • [指標] プルダウン リストで [Query execution time] を選択します。
  5. [Aggregation] ペイン フィールドでは、実行時間データをどのように表示するかを指定します。この各フィールドのデフォルト設定は変更できます。

  6. [保存] をクリックします。

割り当ての使用量と上限を表示する

Cloud Monitoring では、割り当ての使用量と上限の指標を表示できます。

  1. Google Cloud コンソールで、[Monitoring] ページに移動します。

    [Monitoring] に移動

  2. ナビゲーション パネルで、[ Metrics Explorer] を選択します。

  3. ツールバーで [エクスプローラ] > [構成] を選択します。

  4. [Resource & Metric] セクションで [指標を選択] をクリックします。

  5. [Consumer Quota] > [割り当て] > [割り当て上限] を選択し、[適用] をクリックします。

  6. [ フィルタを追加] をクリックし、[ラベル] メニューで [limit_name] を選択します。

  7. [] メニューで、指標を表示する割り当てを選択します。

    Metrics Explorer。

アラートを作成する

BigQuery クエリの実行時間の 99 パーセンタイルが、ユーザーによって定義された上限値を超過すると起動するアラート ポリシーを作成するには、次の設定を使用します。

[New condition]
フィールド

リソースと指標 [リソース] メニューで [BigQuery プロジェクト] を選択します。
[Metric categories] メニューで [Query] を選択します。
[指標] メニューで [Query execution times] を選択します。
フィルタ
時系列全体
時系列のグループ化の基準
priority
Across time series
Time series aggregation
99th percentile
ローリング ウィンドウ 5 m
ローリング ウィンドウ関数 sum
[アラート トリガーの構成]
フィールド

条件タイプ Threshold
Alert trigger Any time series violates
しきい値の位置 Above threshold
しきい値 この値を決定します。ただし、しきい値を 60 秒にすることをおすすめします。
再テスト ウィンドウ most recent value

BigQuery プロジェクトで課金対象となるスキャン済みバイト数の合計がユーザー定義の上限を超えた場合にトリガーされるアラート ポリシーを作成するには、次のアラート ポリシー構成を使用します。

[新しい条件]
フィールド

リソースと指標 [リソース] メニューで [BigQuery プロジェクト] を選択します。
[Metric categories] メニューで [クエリ] を選択します。
[指標] メニューで、[Statement scanned bytes billed] を選択します。
フィルタ (プロジェクト全体の警告にはフィルタは必要ありません)
時系列全体
時系列のグループ化の基準
(すべての系列を集計する場合は空白のままにします)
時系列全体
時系列集計
sum
ローリング ウィンドウ 5 m
ローリング ウィンドウ関数 sum
[アラート トリガーの構成]
フィールド

条件タイプ Threshold
Alert trigger Any time series violates
しきい値の位置 Above threshold
しきい値 この値はユーザーが決定します。たとえば、使用量が 1 TiB を超えたときにアラートをトリガーするには、「1000000000000」と入力します。

アラート ポリシーはスキャンされた合計バイト数をモニタリングしますが、特定の予算に基づいてしきい値を設定できます。この予算ベースのアラート ポリシーを実現するには、まず目的の費用しきい値を同等のバイト数に変換する必要があります。この式は、BigQuery オンデマンド コンピューティング料金に基づいています。詳細については、オンデマンド コンピューティングの料金をご覧ください。

次の式を使用して、費用しきい値をバイトに変換できます。

Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000

例: 使用量が $100 を超えたときにアラートをトリガーする

たとえば、プロジェクトのクエリ費用が $100 を超えたときにアラートを受け取るようにします。

  1. TiB 単位の同等のデータ容量を計算します。
    $100 / (price per TiB) = Equivalent Data Volume in TiB
  2. データ容量をバイトに変換します。
    (Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
  3. しきい値を設定します。
    ポリシーの [Configure alert trigger] セクションで、バイト単位のしきい値をしきい値として入力します。

これで、ローリング ウィンドウで課金されるスキャン済みバイト数の合計が、オンデマンド クエリ費用の約 $100 に相当する場合に、アラート ポリシーがトリガーされます。

可視化に使用できる指標

次の指標を使用できます。最大数時間の遅延が発生します。

リソースの種類 名前 単位 説明
BigQuery
Scanned bytes
バイト数/分 スキャンされたバイト数。
BigQuery
Scanned bytes billed
バイト数/分 オンデマンド分析モデル使用時の課金対象の送信バイト数。料金の端数は切り上げられるため、Scanned bytes と Scanned bytes billed はクエリあたりの処理データの最小量に応じて異なる場合があります。
BigQuery
BI Engine Query Fallback Count (Preview)
クエリ BI Engine をレートとして使用しなかったクエリの数。[グループ条件] オプションを reason に設定すると、次のようなフォールバックの理由別にこのクエリ数を分割できます。
  • NO_RESERVATION
  • INSUFFICIENT_RESERVATION
  • UNSUPPORTED_SQL_TEXT
  • INPUT_TOO_LARGE
  • OTHER_REASON
BigQuery
Query count
クエリ 実行中のクエリ。
BigQuery