Cloud SQL から Spanner にインポートする

このページでは、Cloud SQL for MySQL から Spanner にデータをインポートする方法について説明します。

このプロセスでは、 Google Cloud コンソールの Cloud Shell を使用して、Cloud SQL から Spanner にデータベースをインポートする Dataflow ジョブを構成して実行するコマンドを実行します。

プロセスの概要

インポート プロセスには次の手順が含まれます。

1. Google Cloud コンソール ワークフローを完了します。このワークフローでは、移行元データベースと移行先データベースに関する情報を提供します。
   • 移行元データベースの詳細: Cloud SQL インスタンス名、データベース名、認証情報。
   • Spanner の詳細: Spanner インスタンス名とデータベース名。このコマンドは、データベースが存在しない場合に作成します。
   • 出力ストレージ: 出力ファイルを保存する Cloud Storage バケット名。
2. Spanner は Cloud Shell を開き、コマンドを入力します。このコマンドは、次のアクションを実行します。
   • スキーマを移行する: コマンドは、Spanner 移行ツールを使用してスキーマを移行します。この移行は Cloud Shell で実行され、パブリック IP アドレスを使用して Cloud SQL インスタンスに接続します。Cloud Shell は独自のネットワーク上にあるため、パブリック IP アドレスを使用して Cloud SQL にアクセスする必要があります。ただし、パブリック IP アドレスに対してサブネットを許可リストに登録する必要はありません。
   • データ移行を開始する: ツールがスキーマを移行した後、コマンドはデータ移行用の Dataflow ジョブを開始します。ジョブは、プライベート IP アドレスを介してソース データベースから直接読み取り、Spanner に書き込みます。このジョブは、デフォルトの Compute Engine サービス アカウントを使用して実行されます。最後に、コマンドは Dataflow ジョブの URL を出力します。

制限事項

次の制限が適用されます。

• このデータ インポートは、単一の Cloud SQL for MySQL インスタンスのみをサポートします。
• スキーマ変換は自動化されているため、このインポート中にスキーマを調整することはできません。
• このデータ インポートは 1 回限りの一括読み込みであり、継続的なレプリケーションはサポートされていません。

始める前に

データベースをインポートする前に、次の前提条件を満たしてください。

1. Cloud SQL インスタンスでパブリック IP アドレスとプライベート IP アドレスが有効になっていることを確認します。詳細については、パブリック IP 接続を構成するとプライベート IP を構成するをご覧ください。

2. データベースのクエリに使用できる Cloud SQL インスタンスのユーザーとパスワードを作成します。

3. パスワードを Secret Manager に保存します。Secret のバージョンの version ID が必要です。詳細については、シークレットの作成をご覧ください。

4. Cloud Storage バケットがあることを確認します。Dataflow は、このバケットを使用して Dataflow ジョブの構成ファイルと出力を保存します。

5. Spanner と Cloud SQL が同じ Google Cloudプロジェクトにあることを確認します。

6. Dataflow、Cloud Storage、Spanner、Cloud SQL、Secret Manager の各 API を有効にします。

   API を有効にするために必要なロール

   API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール（roles/owner）を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール（roles/serviceusage.serviceUsageAdmin）を介してこの権限を取得できます。ロールを付与する方法をご覧ください。

   API を有効にする

必要なロール

デフォルトの Compute Engine サービス アカウントに Dataflow ジョブを実行するために必要な権限があることを確認するには、プロジェクトのデフォルトの Compute Engine サービス アカウントに次の IAM ロールを付与するよう管理者に依頼します。

• Secret Manager のシークレット アクセサー （roles/secretmanager.secretAccessor）
• Cloud SQL クライアント （roles/cloudsql.client）
• Cloud Spanner データベース管理者 （roles/spanner.databaseAdmin）
• Storage オブジェクト管理者 （roles/storage.objectAdmin）
• Dataflow ワーカー （roles/dataflow.worker）

インポートの構成に必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

• Cloud SQL クライアント （roles/cloudsql.client）
• Cloud Spanner データベース管理者 （roles/spanner.databaseAdmin）
• Secret Manager のシークレット アクセサー （roles/secretmanager.secretAccessor）
• ストレージ管理者 （roles/storage.admin）
• Dataflow デベロッパー （roles/dataflow.developer）
• サービス アカウント ユーザー（roles/iam.serviceAccountUser）

これらの事前定義ロールには、インポートの構成に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

インポートを構成するには、次の権限が必要です。

• cloudsql.instances.connect
• cloudsql.instances.get
• cloudsql.instances.login
• spanner.instances.list
• spanner.instances.get
• spanner.databases.create
• spanner.databases.list
• spanner.databases.get
• spanner.databases.getDdl
• spanner.databases.updateDdl
• spanner.databases.read
• spanner.databases.write
• spanner.databases.select
• secretmanager.versions.access
• storage.objects.create
• storage.objects.get
• storage.buckets.get
• dataflow.jobs.create
• dataflow.jobs.get
• dataflow.jobs.list
• iam.serviceAccounts.actAs

割り当て要件

割り当て要件は次のとおりです。

• Spanner: インポートするデータの量をサポートできるだけの十分なコンピューティング容量が必要です。少なくとも 1 つの Spanner ノードから始めることをおすすめします。ジョブが妥当な時間内に終了するように、コンピューティング容量を追加する必要がある場合があります。データベース スキーマをインポートするために追加のコンピューティング容量は必要ありません。詳細については、自動スケーリングの概要をご覧ください。
• Dataflow: インポート ジョブは、他の Dataflow ジョブと同じ CPU、ディスク使用量、IP アドレスの Compute Engine の割り当てに従います。

• Compute Engine: インポート ジョブを実行する前に、Dataflow によって使用される Compute Engine の初期割り当てを設定する必要があります。これらの割り当ては、Dataflow でジョブに使用できる最大リソース数を表します。推奨の開始値は次のとおりです。

  • CPU: 200
  • 使用中の IP アドレス: 200
  • 標準永続ディスク: 50 TB

  通常、他の調整は必要ありません。Dataflow では自動スケーリングが提供されているため、インポート中に実際に使用したリソースに対してのみ料金を支払います。ジョブでより多くのリソースが使用される可能性がある場合、Dataflow UI に警告アイコンが表示されます。警告アイコンが表示されてもジョブは完了します。

Cloud SQL から Spanner にインポートする

Cloud SQL for MySQL データベースを Spanner にインポートするには、 Google Cloud コンソールで次の操作を行います。

1. [Spanner インスタンス] ページに移動します。

   インスタンス ページに移動

2. データベースをインポートする必要があるインスタンスの名前をクリックします。

3. [Cloud SQL からインポート] ボタンをクリックします。

4. Spanner が必要な API がすべて有効になっていることを確認したら、[次へ] ボタンをクリックします。

5. インポートする Cloud SQL for MySQL インスタンスを選択し、[次へ] ボタンをクリックします。

6. インポートするデータベースを選択し、[次へ] ボタンをクリックします。Spanner は、Cloud SQL インスタンスのパブリック IP が有効になっているかどうかを確認します。

7. ユーザー名とシークレットを入力し、[次へ] ボタンをクリックします。

8. Cloud Storage バケットを参照して選択し、[次へ] ボタンをクリックします。

9. Spanner データベース名を入力し、[インポート] ボタンをクリックします。Spanner は Cloud Shell を開き、コマンドを入力します。

10. 自動入力されたコマンドを実行して、インポートを開始します。

    export SOURCE_PROJECT_NUMBER=$(gcloud projects describe \
        "SOURCE_PROJECT_ID" \
        --format="value(projectNumber)") && \
    export GSA_EMAIL="${SOURCE_PROJECT_NUMBER}-compute@developer.gserviceaccount.com" && \
    echo "Verifying permissions for ${GSA_EMAIL}..." && \
    export CURRENT_ROLES=$(gcloud projects get-iam-policy \
        "SOURCE_PROJECT_ID" \
        --flatten="bindings[].members" \
        --filter="bindings.members:serviceAccount:${GSA_EMAIL}" \
        --format="value(bindings.role)") && \
    ERR=0 && \
    for ROLE in roles/secretmanager.secretAccessor \
        roles/cloudsql.client roles/spanner.databaseAdmin \
        roles/storage.objectAdmin roles/dataflow.worker; do \
      if echo "${CURRENT_ROLES}" | awk -v r="$ROLE" '$1 == r {found=1} END {exit 1-found}'; then \
        echo "[OK] $ROLE"; \
      else \
        echo "[MISSING] $ROLE. Run: gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID --member='serviceAccount:${GSA_EMAIL}' --role='${ROLE