Transferir datos entre sistemas de archivos

En esta página se explica cómo transferir datos entre dos sistemas de archivos POSIX. Entre los casos de uso habituales se incluyen los siguientes:

• Transferencia a la nube y HPC híbrida: transfiere rápidamente grandes conjuntos de datos de entornos locales a la nube para procesarlos.
• Migración y sincronización con Filestore: migra o sincroniza datos de un sistema de archivos local a Filestore.
• Transferencia de archivos gestionada: transfiere datos de forma segura y fiable entre centros de datos o entre dos sistemas de archivos en la nube.

Directrices de rendimiento de las transferencias

Las siguientes directrices pueden ayudarle a maximizar el rendimiento durante las transferencias de un sistema de archivos a otro.

Despliegue de agentes

Por lo general, recomendamos usar tres agentes en cada uno de los grupos de agentes de origen y de destino. Monitoriza la transferencia y añade más agentes si es necesario. Cada agente necesita 4 vCPUs y 8 GiB de RAM.

Si vas a migrar a una instancia de Filestore, Filestore recomienda usar el tipo de instancia n2-standard-8 para cada agente. Especifica nconnect=2 cuando montes la instancia en una VM de Compute Engine. Consulta las directrices de rendimiento de Filestore para obtener más información sobre cómo optimizar y probar el rendimiento de las instancias.

Transferir un gran número de archivos pequeños

Para mejorar el rendimiento al transferir un gran número de archivos pequeños, te recomendamos que dividas los archivos en varios directorios y que evites tener un solo directorio con millones de archivos.

Antes de empezar

Antes de realizar las tareas que se describen en esta página, completa los pasos necesarios.

Crear grupos de agentes e instalar agentes

Para las transferencias de un sistema de archivos a otro, debes crear grupos de agentes y agentes para los sistemas de archivos de origen y de destino. Los agentes del grupo de agentes de origen deben instalarse en máquinas o VMs que tengan acceso al sistema de archivos de origen. Los agentes del grupo de agentes de destino deben instalarse en máquinas o VMs que tengan acceso al sistema de archivos de destino.

No incluyas información sensible, como información personal identificable (IPI) o datos de seguridad, en el prefijo del ID del agente o en el nombre del grupo de agentes. Los nombres de los recursos pueden propagarse a los nombres de otros recursos de Google Cloud y pueden exponerse a sistemas internos de Google fuera de tu proyecto.

Crear un grupo de agentes de origen

Crea un grupo de agentes de origen con uno de los siguientes métodos:

gcloud transfer agent-pools create SOURCE_AGENT_POOL

Instalar agentes para el grupo de agentes de origen

Instala agentes para el grupo de agentes de origen en una máquina o una VM que tenga acceso al sistema de archivos de origen:

gcloud transfer agents install --pool=SOURCE_AGENT_POOL --count=NUMBER_OF_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES

Crear un grupo de agentes de destino e instalar agentes

Repite los pasos anteriores para crear un grupo de agentes de destino e instalar agentes.

Crear un segmento de Cloud Storage como intermediario

Para transferir datos de un sistema de archivos a otro, se necesita un segmento de Cloud Storage como intermediario.

1. Crea un segmento de clase Standard de Cloud Storage con los siguientes ajustes:

   • Cifrado: puedes especificar una clave de cifrado gestionada por el cliente (CMEK). De lo contrario, se usaGoogle-owned and Google-managed encryption key .
   • Gestión de versiones de objetos, Bloqueo de segmentos y bloqueos de objetos predeterminados: mantén estas funciones inhabilitadas.

2. Concede permisos y roles mediante uno de los siguientes métodos:

   • Asigna a la cuenta de servicio de Servicio de transferencia de Storage el rol Administrador de Storage (roles/storage.admin) del segmento.

   • Usa gcloud transfer authorize para autorizar tu cuenta en todas las funciones de Storage Transfer Service. Este comando concede permisos de administrador de Storage en todo el proyecto:

     gcloud transfer authorize --add-missing
     

Crear una tarea de transferencia

gcloud transfer jobs create SOURCE_DIRECTORY DESTINATION_DIRECTORY \
    --source-agent-pool=SOURCE_AGENT_POOL \
    --destination-agent-pool=DESTINATION_AGENT_POOL \
    --intermediate-storage-path= gs://STORAGE_BUCKET/FOLDER/

import (
	"context"
	"fmt"
	"io"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromPosix(w io.Writer, projectID string, sourceAgentPoolName string, rootDirectory string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your project id
	// projectId := "myproject-id"

	// The agent pool associated with the POSIX data source. If not provided, defaults to the default agent
	// sourceAgentPoolName := "projects/my-project/agentPools/transfer_service_default"

	// The root directory path on the source filesystem
	// rootDirectory := "/directory/to/transfer/source"

	// The ID of the GCS bucket to transfer data to
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				SourceAgentPoolName: sourceAgentPoolName,
				DataSource: &storagetransferpb.TransferSpec_PosixDataSource{
					PosixDataSource: &storagetransferpb.PosixFilesystem{RootDirectory: rootDirectory},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket},
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}

	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,