Configurare l'accesso a un'origine: Amazon S3

Puoi configurare l'accesso a un bucket Amazon S3 utilizzando uno dei due metodi seguenti:

• Credenziali di accesso
• Identità federata

Aree geografiche supportate

Autorizzazioni obbligatorie

Per utilizzare Storage Transfer Service per spostare i dati da un bucket Amazon S3, il tuo account utente o il ruolo di identità federata deve disporre delle autorizzazioni appropriate per il bucket:

Autenticazione tramite le credenziali di accesso

Per utilizzare un ID chiave di accesso e una chiave segreta per l'autenticazione ad AWS:

1. Crea un utente AWS Identity and Access Management (AWS IAM) con un nome che puoi riconoscere, ad esempio transfer-user.

2. Per il tipo di accesso AWS, seleziona Chiave di accesso - accesso programmatico.

3. Concedi uno dei seguenti ruoli all'utente:

   • AmazonS3ReadOnlyAccess per fornire l'accesso di sola lettura all'origine. Consente i trasferimenti, ma non supporta l'eliminazione degli oggetti all'origine al termine del trasferimento.
   • AmazonS3FullAccess se il trasferimento è configurato per eliminare gli oggetti all'origine.

   • Un ruolo personalizzato con le autorizzazioni appropriate dalla tabella Autorizzazioni obbligatorie. Il JSON per le autorizzazioni minime è simile all'esempio seguente:

     Regioni AWS standard

     {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::S3_BUCKET_NAME/*",
           "arn:aws:s3:::S3_BUCKET_NAME"
         ]
       }
     ]
     }

     Regioni AWS GovCloud

     {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*",
           "arn:aws-us-gov:s3:::S3_BUCKET_NAME"
         ]
       }
     ]
     }

4. Prendi nota dell'ID chiave di accesso e della chiave di accesso segreta quando l'utente viene creato correttamente.

La modalità di trasmissione dell'ID chiave di accesso e della chiave di accesso segreta a Storage Transfer Service dipende dall'interfaccia utilizzata per avviare il trasferimento.

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "S3_BUCKET_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_BUCKET_NAME"
  }
}

Salvare le credenziali di accesso in Secret Manager

Secret Manager è un servizio sicuro che archivia e gestisce dati sensibili come le password. Utilizza una crittografia efficace, il controllo degli accessi basato sui ruoli e la registrazione delle attività di audit per proteggere i tuoi secret.

Storage Transfer Service può utilizzare Secret Manager per proteggere le credenziali di accesso ad AWS. Carica le credenziali in Secret Manager, quindi trasmetti il nome della risorsa secret a Storage Transfer Service.

Abilitare l'API

Abilita l'API Secret Manager.

Abilitare l'API

Configurare autorizzazioni aggiuntive

Autorizzazioni utente

L'utente che crea il secret richiede il seguente ruolo:

• Secret Manager Admin (roles/secretmanager.admin)

Scopri come concedere un ruolo.

Autorizzazioni service agent

Il service agent Storage Transfer Service richiede il seguente ruolo IAM:

• Secret Manager Secret Accessor (roles/secretmanager.secretAccessor)

Per concedere il ruolo al service agent:

Creare un secret

Crea un secret con Secret Manager:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

gcloud secrets describe SECRET_NAME

Per ulteriori dettagli sulla creazione e la gestione dei secret, consulta la documentazione di Secret Manager.

Trasmettere il secret al comando di creazione del job

L'utilizzo di Secret Manager con Storage Transfer Service richiede l'utilizzo dell'API REST per creare un job di trasferimento.

Trasmetti il nome della risorsa Secret Manager come valore del campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "S3_BUCKET_NAME",
      "credentialsSecret": "SECRET_RESOURCE_ID",
    },
    "gcsDataSink": {
      "bucketName": "GCS_BUCKET_NAME"
    }
  }
}

Autenticazione tramite identità federata

Per utilizzare l'identità federata per l'autenticazione ad AWS:

1. Crea un nuovo ruolo IAM in AWS.

2. Seleziona Policy di attendibilità personalizzata come tipo di entità attendibile.

3. Copia e incolla la seguente policy di attendibilità:

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
           "Federated": "accounts.google.com"
         },
         "Action": "sts:AssumeRoleWithWebIdentity",
         "Condition"