Configurar o acesso a uma origem: sistema de arquivos

Para transferir dados de um sistema de arquivos local ou de nuvem privada (como sistemas de arquivos compatíveis com POSIX, NFS ou SMB), é necessário instalar e configurar agentes do Serviço de Transferência do Cloud Storage em máquinas com acesso de rede aos arquivos de origem.

Pré-requisitos

Antes de configurar a transferência, verifique se você configurou o seguinte:

• Permissões do usuário: verifique se a conta de usuário ou a conta de serviço gerenciado pelo usuário tem permissão para configurar jobs de transferência e pools de agentes. Consulte Permissões do usuário necessárias.
• Permissões no nível do projeto baseadas em agente: verifique se você configurou os papéis necessários para envolvidos no projeto para o agente de serviço e a conta do agente de transferência. Consulte Permissões para envolvidos no projeto baseadas em agente.
• Permissões de destino: dependendo do destino da transferência, configure as permissões de coletor necessárias:
  • Para transferências para o Cloud Storage, consulte Configurar o acesso a um coletor: Cloud Storage.
  • Para transferências para outro sistema de arquivos, consulte Configurar o acesso a um coletor: sistema de arquivos.

Permissões do sistema de arquivos local

Os agentes de transferência são executados em contêineres do Docker ou do Podman nas máquinas host. Para permitir que os agentes leiam seus arquivos:

1. Permissões de usuário do SO: verifique se o usuário do sistema operacional que executa o contêiner tem permissões de leitura (e execução em diretórios) para todos os arquivos e diretórios que você planeja transferir.

2. Ativar diretórios: ao instalar os agentes, ative os diretórios que você quer copiar para o contêiner usando a flag --mount-directories (ou as flags -v no Docker):

   gcloud transfer agents install --pool=AGENT_POOL_NAME \
     --mount-directories=/path/to/source/dir
   

   Atenção: se vários agentes no mesmo pool forem executados em máquinas físicas diferentes, todos precisarão ter acesso uniforme à rede (como uma montagem NFS compartilhada) aos mesmos caminhos. Se um agente não puder acessar um caminho atribuído a ele, o job de transferência vai falhar.

Para restringir quais diretórios de host os agentes podem acessar, consulte Como restringir o acesso ao diretório do agente.

Desempenho e otimização

• Para maximizar a capacidade de processamento ao transferir de sistemas de arquivos grandes, instale vários agentes no pool de agentes de origem (mínimo recomendado de 3). Consulte as práticas recomendadas para agentes de transferência.
• Para arquivos maiores que 1 GB, considere ativar uploads de várias partes.

A seguir

• Saiba como instalar agentes de transferência.
• Saiba como criar um pool de agentes.
• Saiba como configurar o acesso a um coletor: Cloud Storage.
• Saiba como configurar o acesso a um coletor: sistema de arquivos.