Configura el acceso a un receptor: sistema de archivos

Cuando transfieras datos a un sistema de archivos local o de nube privada (como POSIX, NFS o SMB), debes configurar lo siguiente:

  • Permisos del sistema de archivos local: Otorga a los agentes de transferencia de destino acceso de escritura a nivel del SO a tus directorios de destino.
  • Permisos del bucket intermedio (solo de archivo a archivo): Otorga roles de IAM en el bucket de Cloud Storage intermedio que se usa para almacenar archivos en etapa intermedia entre sistemas de archivos.

Requisitos previos

  • Permisos del usuario: Asegúrate de que tu cuenta de usuario o cuenta de servicio administrada por el usuario tenga permiso para configurar trabajos de transferencia y grupos de agentes. Consulta Permisos de usuario obligatorios.
  • Permisos a nivel de proyecto basados en agentes: Asegúrate de haber configurado los roles necesarios a nivel de proyecto para tu agente de servicio y tu cuenta de agente de transferencia. Consulta Permisos a nivel del proyecto basados en agentes.

Permisos del sistema de archivos de destino local

Los agentes de transferencia escriben archivos directamente en el sistema de archivos del host. Para habilitar las escrituras exitosas, haz lo siguiente:

  1. Permisos de usuario del SO: Asegúrate de que el usuario del sistema operativo que ejecuta el proceso del contenedor tenga permisos de lectura, escritura y ejecución en el árbol de directorios de destino.

  2. Activa directorios: Cuando instales tus agentes de destino, activa la ruta de acceso del directorio de destino en el contenedor con la marca --mount-directories:

    gcloud transfer agents install --pool=DESTINATION_POOL_NAME \
     --mount-directories=/path/to/destination/dir

Permisos del bucket intermedio (transferencias de archivo a archivo)

Las transferencias entre dos sistemas de archivos usan un bucket de Cloud Storage intermedio para almacenar los archivos en etapa intermedia durante la transferencia.

Los siguientes roles predefinidos otorgan el acceso necesario en el bucket intermedio al agente de servicio:

  • Creador de objetos de Storage (roles/storage.objectCreator)
  • Storage Object Viewer (roles/storage.objectViewer)
  • Lector de buckets heredados de almacenamiento (roles/storage.legacyBucketReader)

El siguiente rol otorga el acceso necesario en el bucket intermedio a las cuentas de agente de transferencia:

  • Usuario de objetos de almacenamiento (roles/storage.objectUser)

Otorga estos roles en el bucket intermedio:

Console

  1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.

    Ir a Buckets

  2. Haz clic en el menú Ampliado del bucket () del bucket intermedio y selecciona Editar acceso.
  3. Haz clic en + Agregar principal.
  4. En Principales nuevas, ingresa el correo electrónico de tu agente de servicio.
  5. Selecciona Storage Object Creator, Storage Object Viewer y Storage Legacy Bucket Reader en los menús desplegables Selecciona un rol.
  6. Vuelve a hacer clic en + Agregar principal.
  7. Ingresa el identificador principal de las cuentas de agente de transferencia que se usan para tus grupos de agentes de origen y destino.
  8. Selecciona Storage Object User en el menú desplegable Selecciona un rol.
  9. Haz clic en Guardar.

gcloud

  1. Otorga roles de registro y metadatos al agente de servicio:

    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectCreator
    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectViewer
    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.legacyBucketReader
  2. Otorga roles de administración de objetos a las cuentas de agente de transferencia para los grupos de agentes de origen y destino:

    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT --role=roles/storage.objectUser

    Reemplaza lo siguiente:

    • INTERMEDIATE_BUCKET_NAME: Es el nombre de tu bucket de etapa de pruebas intermedio.
    • SERVICE_AGENT_EMAIL: Es el correo electrónico del agente de servicio.
    • serviceAccount_OR_user: Especifica serviceAccount si tu cuenta de agente de transferencia es una cuenta de servicio o user si tus agentes se instalaron con una Cuenta de Google. En el caso de un usuario federado, usa el identificador principal:// del usuario como el valor de miembro completo. Consulta Identificadores de principales.
    • TRANSFER_AGENT_ACCOUNT: Es el correo electrónico de la cuenta que ejecuta los agentes de transferencia. Repite este comando si tus grupos de agentes de origen y destino usan cuentas diferentes.

API de REST

  1. Genera un token de acceso para autenticar tu solicitud. Si usas la CLI de gcloud, ejecuta lo siguiente:

    gcloud auth print-access-token
  2. Recupera la política de IAM del bucket existente (GET https://storage./storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam), agrega las siguientes vinculaciones a su array bindings y guarda la política combinada como intermediate_policy.json:

    {
      "bindings": [
        {
          "role": "roles/storage.objectCreator",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.objectViewer",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.legacyBucketReader",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.objectUser",
          "members": ["serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT"]
        }
      ]
    }

    Reemplaza lo siguiente:

    • SERVICE_AGENT_EMAIL: Es el correo electrónico del agente de servicio.
    • serviceAccount_OR_user: Especifica serviceAccount si tu cuenta de agente de transferencia es una cuenta de servicio o user si tus agentes se instalaron con una Cuenta de Google. En el caso de un usuario federado, usa el identificador principal:// del usuario como el valor de miembro completo. Consulta Identificadores de principales.
    • TRANSFER_AGENT_ACCOUNT: Es el correo electrónico de la cuenta que instaló tus agentes de transferencia. Si tus grupos de agentes de origen y destino usan cuentas diferentes, incluye ambas cuentas en el array members para roles/storage.objectUser.
  3. Actualiza la política del bucket intermedio con curl:

    curl -X PUT --data-binary @intermediate_policy.json \
        -H "Authorization: Bearer OAUTH2_TOKEN" \
        -H "Content-Type: application/json" \
        "https://storage./storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam"

    Reemplaza lo siguiente:

    • OAUTH2_TOKEN: Es el token de acceso de OAuth 2.0 generado en el paso 1.
    • INTERMEDIATE_BUCKET_NAME: Es el nombre de tu bucket intermedio.

Para obtener más información sobre las arquitecturas de archivo a archivo, consulta Transferencias de sistema de archivos a sistema de archivos.

Rendimiento y optimización

  • Para maximizar la capacidad de procesamiento cuando se transfieren datos a sistemas de archivos grandes, instala varios agentes en tu grupo de agentes de destino (se recomienda un mínimo de 3). Consulta las prácticas recomendadas para los agentes de transferencia.
  • En el caso de archivos grandes en transferencias de archivo a archivo, considera habilitar las cargas de varias partes en el bucket intermedio. Cuando se usa el rol de usuario de objetos de almacenamiento (roles/storage.objectUser), los permisos de carga de varias partes (storage.multipartUploads.*) necesarios se incluyen automáticamente.

¿Qué sigue?