Transfiere objetos o archivos específicos con un manifiesto

El Servicio de transferencia de almacenamiento admite la transferencia de archivos o de objetos específicos, que se especifican con un manifiesto. Un manifiesto es un archivo CSV que se sube a Cloud Storage y que contiene una lista de archivos o de objetos sobre los que el Servicio de transferencia de almacenamiento realizará acciones.

Se puede usar un manifiesto para las siguientes transferencias:

• De AWS S3, almacenamiento compatible con S3, Azure Blobstore o Cloud Storage a un bucket de Cloud Storage

• De un sistema de archivos a un bucket de Cloud Storage

• De un bucket de Cloud Storage a un sistema de archivos

• Entre dos sistemas de archivos

• De una fuente HTTP/HTTPS de acceso público a un bucket de Cloud Storage (sigue las instrucciones en Crea una lista de URLs, ya que el formato del manifiesto es único para las listas de URLs)

Crea un manifiesto

Los archivos de manifiesto tienen los siguientes requisitos:

• Los manifiestos deben tener formato CSV.
• Pueden contener cualquier carácter UTF-8.
• La primera columna debe ser un nombre de archivo o un nombre de objeto. El nombre es relativo a la ruta de acceso raíz o al bucket y la carpeta especificados en el trabajo de transferencia. Consulta Transferencias del sistema de archivos y Transferencias de almacenamiento de objetos para obtener más detalles.
• Los archivos de manifiesto no admiten comodines. No se admiten nombres de carpetas sin un nombre de archivo o de objeto.
• Si un nombre de archivo o de objeto contiene una coma, el nombre debe estar entre comillas dobles. Por ejemplo, "doe,john.txt".
• No hay límite para el tamaño del archivo de manifiesto.

Te recomendamos que pruebes la transferencia con un pequeño subconjunto de objetos o archivos para evitar realizar llamadas a la API innecesarias debido a errores de configuración.

Puedes supervisar el estado de las transferencias de archivos desde la página Trabajos de transferencia. Los archivos o los objetos que no se pueden transferir se muestran en los registros de transferencia.

Transferencias del sistema de archivos

Para crear un manifiesto de archivos en un sistema de archivos, crea un archivo CSV con una sola columna que contenga las rutas de acceso a archivos relacionadas con el directorio raíz especificado en la creación del trabajo de transferencia.

Por ejemplo, para transferir los siguientes archivos del sistema de archivos:

Tu manifiesto debería verse como el siguiente ejemplo:

dir1/subdir1/file1.txt
file2.txt
dir2/subdir1/file3.txt

Guarda el archivo de manifiesto con cualquier nombre de archivo y una extensión .csv.

Transferencias de almacenamiento de objetos

Para crear un manifiesto de objetos, crea un archivo CSV cuya primera columna contenga los nombres de los objetos relacionados con el nombre y la ruta de acceso del bucket especificados en la creación del trabajo de transferencia. Todos los objetos deben estar en el mismo bucket.

También puedes especificar una segunda columna opcional con el número de generación de Cloud Storage de la versión específica que se transferirá.

Por ejemplo, es posible que desees transferir los siguientes objetos:

Tu manifiesto debería verse como el siguiente ejemplo:

object1.pdf,1664826685911832
object2.pdf
object3.pdf,1664826610699837

Guarda el archivo de manifiesto con cualquier nombre de archivo y una extensión .csv.

Transferencias HTTP/HTTPS

Para transferir archivos específicos desde una fuente HTTP o HTTPS, consulta las instrucciones en Crea una lista de URLs.

Publica el manifiesto

Una vez que hayas creado el manifiesto, debes ponerlo a disposición del Servicio de transferencia de almacenamiento. El Servicio de transferencia de almacenamiento puede acceder al archivo en un bucket de Cloud Storage o en tu sistema de archivos.

Sube el manifiesto a Cloud Storage

Puedes almacenar el archivo de manifiesto en cualquier bucket de Cloud Storage.

El agente de servicio que ejecuta la transferencia debe tener el permiso storage.objects.get para el bucket que contiene el manifiesto. Consulta Otorga los permisos necesarios para obtener instrucciones sobre cómo encontrar el ID del agente de servicio y otorgar permisos a ese agente de servicio en un bucket.

Para obtener instrucciones sobre cómo subir el manifiesto a un bucket, consulta Sube objetos en la documentación de Cloud Storage.

Por ejemplo, para usar la CLI de gcloud para subir un archivo a Cloud Storage, usa el comando gcloud storage cp:

gcloud storage cp MANIFEST.CSV gs://DESTINATION_BUCKET_NAME/

Reemplaza lo siguiente:

• MANIFEST.CSV es la ruta de acceso local a tu archivo de manifiesto. Por ejemplo, Desktop/manifest01.csv.

• DESTINATION_BUCKET_NAME es el nombre del bucket al que subes el objeto. Por ejemplo, my-bucket

Si se ejecuta de forma correcta, la respuesta se parece al siguiente ejemplo:

Completed files 1/1 | 164.3kiB/164.3kiB

Puedes encriptar un manifiesto con claves de encriptación de Cloud KMS administradas por el cliente. En este caso, asegúrate de que cualquier cuenta de servicio que acceda al manifiesto tenga asignadas las claves de encriptación aplicables. No se admiten las claves proporcionadas por el cliente.

Almacena el manifiesto en un sistema de archivos

Puedes almacenar el archivo de manifiesto en tu sistema de archivos de origen o de destino.

Los agentes de transferencia deben poder acceder a la ubicación del archivo. Si restringes el acceso al directorio para tus agentes, asegúrate de que el archivo de manifiesto se encuentre dentro de un directorio activado.

Inicia una transferencia

No modifiques el archivo de manifiesto hasta que se complete una operación de transferencia. Te recomendamos que bloquees el archivo de manifiesto mientras se realiza una transferencia.

gcloud transfer jobs create SOURCE DESTINATION \
  --manifest-file=MANIFEST_FILE

POST https://storagetransfer.googleapis.com/v1/transferJobs

...
  "transferSpec": {
      "posixDataSource": {
          "rootDirectory": "/home/",
      },
      "gcsDataSink": {
          "bucketName": "GCS_NEARLINE_SINK_NAME",
          "path": "GCS_SINK_PATH",
      },
      "transferManifest": {
          "location": "gs://my_bucket/sample_manifest.csv"
      }
  }

import (
	"context"
	"fmt"
	"io"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferUsingManifest(w io.Writer, projectID string, sourceAgentPoolName string, rootDirectory string, gcsSinkBucket string, manifestBucket string, manifestObjectName string) (*storagetransferpb.TransferJob, error) {
	// Your project id
	// projectId := "myproject-id"

	// The agent pool associated with the POSIX data source. If not provided, defaults to the default agent
	// sourceAgentPoolName := "projects/my-project/agentPools/transfer_service_default"

	// The root directory path on the source filesystem
	// rootDirectory := "/directory/to/transfer/source"

	// The ID of the GCS bucket to transfer data to
	// gcsSinkBucket := "my-sink-bucket"

	// The ID of the GCS bucket that contains the manifest file
	// manifestBucket := "my-manifest-bucket"

	// The name of the manifest file in manifestBucket that specifies which objects to transfer
	// manifestObjectName := "path/to/manifest.csv"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	manifestLocation := "gs://" + manifestBucket + "/" + manifestObjectName
	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				SourceAgentPoolName: sourceAgentPoolName,