Cuando transfieras datos a un sistema de archivos local o de nube privada (como POSIX, NFS o SMB), debes configurar lo siguiente:
- Permisos del sistema de archivos local: Otorga a los agentes de transferencia de destino acceso de escritura a nivel del SO a tus directorios de destino.
- Permisos del bucket intermedio (solo de archivo a archivo): Otorga roles de IAM en el bucket de Cloud Storage intermedio que se usa para almacenar archivos en etapa intermedia entre sistemas de archivos.
Requisitos previos
- Permisos del usuario: Asegúrate de que tu cuenta de usuario o cuenta de servicio administrada por el usuario tenga permiso para configurar trabajos de transferencia y grupos de agentes. Consulta Permisos de usuario obligatorios.
- Permisos a nivel de proyecto basados en agentes: Asegúrate de haber configurado los roles necesarios a nivel de proyecto para tu agente de servicio y tu cuenta de agente de transferencia. Consulta Permisos a nivel del proyecto basados en agentes.
Permisos del sistema de archivos de destino local
Los agentes de transferencia escriben archivos directamente en el sistema de archivos del host. Para habilitar las escrituras exitosas, haz lo siguiente:
Permisos de usuario del SO: Asegúrate de que el usuario del sistema operativo que ejecuta el proceso del contenedor tenga permisos de lectura, escritura y ejecución en el árbol de directorios de destino.
Activa directorios: Cuando instales tus agentes de destino, activa la ruta de acceso del directorio de destino en el contenedor con la marca
--mount-directories:gcloud transfer agents install --pool=DESTINATION_POOL_NAME \ --mount-directories=/path/to/destination/dir
Permisos del bucket intermedio (transferencias de archivo a archivo)
Las transferencias entre dos sistemas de archivos usan un bucket de Cloud Storage intermedio para almacenar los archivos en etapa intermedia durante la transferencia.
Los siguientes roles predefinidos otorgan el acceso necesario en el bucket intermedio al agente de servicio:
- Creador de objetos de Storage (
roles/storage.objectCreator) - Storage Object Viewer (
roles/storage.objectViewer) - Lector de buckets heredados de almacenamiento (
roles/storage.legacyBucketReader)
El siguiente rol otorga el acceso necesario en el bucket intermedio a las cuentas de agente de transferencia:
- Usuario de objetos de almacenamiento (
roles/storage.objectUser)
Otorga estos roles en el bucket intermedio:
Console
- En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
- Haz clic en el menú Ampliado del bucket () del bucket intermedio y selecciona Editar acceso.
- Haz clic en + Agregar principal.
- En Principales nuevas, ingresa el correo electrónico de tu agente de servicio.
- Selecciona
Storage Object Creator,Storage Object VieweryStorage Legacy Bucket Readeren los menús desplegables Selecciona un rol. - Vuelve a hacer clic en + Agregar principal.
- Ingresa el identificador principal de las cuentas de agente de transferencia que se usan para tus grupos de agentes de origen y destino.
- Selecciona
Storage Object Useren el menú desplegable Selecciona un rol. - Haz clic en Guardar.
gcloud
Otorga roles de registro y metadatos al agente de servicio:
gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectCreatorgcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectViewergcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.legacyBucketReaderOtorga roles de administración de objetos a las cuentas de agente de transferencia para los grupos de agentes de origen y destino:
gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT --role=roles/storage.objectUserReemplaza lo siguiente:
- INTERMEDIATE_BUCKET_NAME: Es el nombre de tu bucket de etapa de pruebas intermedio.
- SERVICE_AGENT_EMAIL: Es el correo electrónico del agente de servicio.
- serviceAccount_OR_user: Especifica
serviceAccountsi tu cuenta de agente de transferencia es una cuenta de servicio ousersi tus agentes se instalaron con una Cuenta de Google. En el caso de un usuario federado, usa el identificadorprincipal://del usuario como el valor de miembro completo. Consulta Identificadores de principales. - TRANSFER_AGENT_ACCOUNT: Es el correo electrónico de la cuenta que ejecuta los agentes de transferencia. Repite este comando si tus grupos de agentes de origen y destino usan cuentas diferentes.
API de REST
Genera un token de acceso para autenticar tu solicitud. Si usas la CLI de
gcloud, ejecuta lo siguiente:gcloud auth print-access-token
Recupera la política de IAM del bucket existente (
GET https://storage./storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam), agrega las siguientes vinculaciones a su arraybindingsy guarda la política combinada comointermediate_policy.json:{ "bindings": [ { "role": "roles/storage.objectCreator", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.objectViewer", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.legacyBucketReader", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.objectUser", "members": ["serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT"] } ] }
Reemplaza lo siguiente:
- SERVICE_AGENT_EMAIL: Es el correo electrónico del agente de servicio.
- serviceAccount_OR_user: Especifica
serviceAccountsi tu cuenta de agente de transferencia es una cuenta de servicio ousersi tus agentes se instalaron con una Cuenta de Google. En el caso de un usuario federado, usa el identificadorprincipal://del usuario como el valor de miembro completo. Consulta Identificadores de principales. - TRANSFER_AGENT_ACCOUNT: Es el correo electrónico de la cuenta que instaló tus agentes de transferencia. Si tus grupos de agentes de origen y destino usan cuentas diferentes, incluye ambas cuentas en el array
memberspararoles/storage.objectUser.
Actualiza la política del bucket intermedio con
curl:curl -X PUT --data-binary @intermediate_policy.json \ -H "Authorization: Bearer OAUTH2_TOKEN" \ -H "Content-Type: application/json" \ "https://storage./storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam"Reemplaza lo siguiente:
- OAUTH2_TOKEN: Es el token de acceso de OAuth 2.0 generado en el paso 1.
- INTERMEDIATE_BUCKET_NAME: Es el nombre de tu bucket intermedio.
Para obtener más información sobre las arquitecturas de archivo a archivo, consulta Transferencias de sistema de archivos a sistema de archivos.
Rendimiento y optimización
- Para maximizar la capacidad de procesamiento cuando se transfieren datos a sistemas de archivos grandes, instala varios agentes en tu grupo de agentes de destino (se recomienda un mínimo de 3). Consulta las prácticas recomendadas para los agentes de transferencia.
- En el caso de archivos grandes en transferencias de archivo a archivo, considera habilitar las cargas de varias partes en el bucket intermedio. Cuando se usa el rol de usuario de objetos de almacenamiento (
roles/storage.objectUser), los permisos de carga de varias partes (storage.multipartUploads.*) necesarios se incluyen automáticamente.
¿Qué sigue?
- Obtén más información para instalar agentes de transferencia.
- Obtén más información para configurar el acceso a una fuente: sistema de archivos.
- Obtén más información para configurar el acceso a una fuente: Cloud Storage.
- Obtén información para transferir datos entre sistemas de archivos.