Uploads compostos paralelos

Uma estratégia para fazer o upload de arquivos grandes é chamada de uploads compostos paralelos. Nesse upload, um arquivo é dividido em até 32 partes, os blocos são enviados em paralelo aos objetos temporários, o objeto final é recriado usando os objetos temporários e o objetos temporários são excluídos.

Os uploads compostos paralelos podem ser significativamente mais rápidos quando a velocidade do disco e da rede não estão limitando os fatores. No entanto, o objeto final armazenado no seu bucket é um objeto composto, que tem apenas um hash crc32c, não um hash MD5. Como resultado, você precisa usar o crcmod para executar verificações de integridade ao fazer o download do objeto com aplicativos Python. Só faça uploads compostos paralelos se o seguinte for aplicável:

  • Os objetos enviados não precisam ter um hash MD5.

  • Qualquer usuário do Python, incluindo gsutil usuários, que precisa fazer o download dos seus objetos tem o google-crc32c ou o crcmod instalado.

    Por exemplo, se você usar o Python para fazer upload de recursos de vídeo que são veiculados apenas por um aplicativo Java, os uploads compostos paralelos são uma boa escolha, porque há implementações CRC32C eficientes disponíveis em Java.

Como as ferramentas e as APIs usam uploads compostos paralelos

Dependendo de como você interage com o Cloud Storage, os uploads compostos paralelos podem ser gerenciados automaticamente em seu nome. Nesta seção, descrevemos o comportamento do upload composto paralelo para diferentes ferramentas e damos informações sobre como modificar o comportamento.

Console

O Google Cloud console não faz uploads compostos paralelos.

Linha de comando

É possível configurar como e quando o gcloud storage cp realiza uploads compostos paralelos modificando as seguintes propriedades:

  • storage/parallel_composite_upload_enabled: propriedade para ativar uploads compostos paralelos. Se False, os uploads compostos paralelos são desativados. Se True ou None, os uploads compostos paralelos são feitos para objetos que atendam aos critérios definidos nas outras properties. A configuração padrão é None.

  • storage/parallel_composite_upload_compatibility_check: propriedade para alternar verificações de segurança. Se for True, o gcloud storage só fará uploads compostos comparados quando todas as condições a seguir forem atendidas:

    Lembre-se que, para verificar essas condições, a CLI gcloud recupera os metadados do bucket de destino como parte do comando upload.

    Se False, gcloud storage não realiza nenhuma verificação. A configuração padrão é True.