Antes de transferir datos desde un bucket de Azure Storage, debes configurar el acceso a ese bucket para que el Servicio de transferencia de almacenamiento pueda recuperar sus objetos.
El Servicio de transferencia de almacenamiento admite los siguientes métodos de autenticación de Azure:
Tokens de firma de acceso compartido (SAS). Los tokens de SAS se pueden especificar directamente cuando se crea un trabajo de transferencia o se pueden almacenar en Secret Manager.
Las claves compartidas de Azure se pueden almacenar en Secret Manager y el secreto se pasa cuando se crea un trabajo de transferencia.
Las credenciales federadas se pasan en un objeto
federatedIdentityConfigdurante la creación del trabajo de transferencia.
En este documento, también se incluye información para agregar direcciones IP de trabajadores del Servicio de transferencia de almacenamiento al firewall de Azure Storage para permitir el acceso. Consulta Restricciones de IP para obtener más detalles.
Regiones admitidas
El Servicio de transferencia de almacenamiento puede transferir datos desde las siguientes regiones de Microsoft Azure Storage:- América: Este de EE.UU., Este de EE.UU. 2, Oeste de EE.UU., Oeste de EE.UU. 2, Oeste de EE.UU. 3, Central de EE.UU., Norte Central de EE.UU., Sur Central de EE.UU., Oeste Central de EE.UU., Canadá Central, Canadá Este, Brasil Sur
- Asia-Pacífico: Australia Central, Australia Este, Australia Sudeste, India Central, India Meridional, India Occidental, Sudeste Asiático, Asia Oriental, Japón Este, Japón Oeste, Corea del Sur, Corea Central
- Europa, Oriente Medio y África (EMEA): Francia Central, Alemania Oeste Central, Noruega Este, Suecia Central, Suiza Norte, Norte de Europa, Europa Occidental, Reino Unido Sur, Reino Unido Oeste, Qatar Central, Emiratos Árabes Unidos Norte, Sudáfrica Norte
Opción 1: Autentica con un token de SAS
Sigue estos pasos para configurar el acceso a un contenedor de Microsoft Azure Storage con un token de SAS. Como alternativa, puedes guardar tu token de SAS en Secret Manager. Para ello, sigue las instrucciones que se indican en Autentica con una clave compartida de Azure o un token de SAS en Secret Manager.
Crea un usuario de Microsoft Azure Storage o usa uno existente para acceder a la cuenta de almacenamiento de tu contenedor de Microsoft Azure Storage Blob.
Cree un token SAS a nivel de contenedor. Consulta Concede acceso limitado a los recursos de Azure Storage con firmas de acceso compartido para obtener instrucciones.
Los Servicios permitidos deben incluir Blob.
En Tipos de recursos permitidos, selecciona Contenedor y Objeto.
Los Permisos permitidos deben incluir Leer y Lista. Si la transferencia está configurada para borrar objetos de la fuente, también debes incluir el permiso Borrar.
El tiempo de vencimiento predeterminado para los tokens SAS es de 8 horas. Establece un tiempo de vencimiento razonable que te permita completar correctamente tu transferencia.
No especifiques ninguna dirección IP en el campo Direcciones IP permitidas. El Servicio de transferencia de almacenamiento utiliza varias direcciones IP y no admite la restricción de direcciones IP.
Los Protocolos permitidos deben ser Solo HTTPS.
Una vez que se cree el token, toma nota del valor del token de SAS que se devuelve. Necesitas este valor cuando configuras la transferencia con el Servicio de transferencia de almacenamiento.
Opción 2: Autentica con una clave compartida de Azure o un token de SAS en Secret Manager
Secret Manager es un servicio seguro que almacena y administra datos sensibles, como contraseñas. Usa encriptación sólida, control de acceso basado en roles y registro de auditoría para proteger tus secretos.
El Servicio de transferencia de almacenamiento admite nombres de recursos de Secret Manager que hacen referencia a tus credenciales de Azure almacenadas de forma segura.
Para usar una clave compartida de Azure, debes guardarla en Secret Manager. Los tokens de SAS se pueden guardar en Secret Manager o pasar directamente.
Cuando especificas una clave compartida, el Servicio de transferencia de almacenamiento usa esa clave para generar una SAS de servicio que tiene un alcance restringido al contenedor de Azure especificado en el trabajo de transferencia.
Habilita la API
Habilita la API de Secret Manager si aún no está habilitada.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si
creaste el proyecto, es probable que ya tengas este permiso a través del
rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del
rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin).
Obtén más información para otorgar roles.
Configura permisos adicionales
Permisos de usuario
El usuario que crea el secreto requiere el siguiente rol:
- Administrador de Secret Manager (
roles/secretmanager.admin)
Obtén más información para otorgar un rol.
Permisos del agente de servicio
El agente de servicio del Servicio de transferencia de almacenamiento requiere el siguiente rol de IAM:
- Descriptor de acceso de secretos de Secret Manager (
roles/secretmanager.secretAccessor)
Para otorgar el rol al agente de servicio, haz lo siguiente:
Consola de Cloud
Sigue las instrucciones para recuperar el correo electrónico de tu agente de servicio.
Ve a la página IAM en la consola de Google Cloud .
Haz clic en Otorgar acceso.
En el cuadro de texto Principales nuevas, ingresa el correo electrónico del agente de servicio.
En el menú desplegable Seleccionar un rol, busca y selecciona Descriptor de acceso a secretos de Secret Manager.
Haz clic en Guardar.
gcloud
Usa el comando gcloud projects add-iam-policy-binding para agregar el rol de IAM
a tu agente de servicio.
Sigue las instrucciones para recuperar el correo electrónico de tu agente de servicio.
En la línea de comandos, ingresa el siguiente comando:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member='serviceAccount:SERVICE_AGENT_EMAIL' \ --role='roles/secretmanager.secretAccessor'
Crea un secreto
Crea un Secret con Secret Manager:
Consola de Cloud
Ve a la página de Secret Manager en la consola de Google Cloud .
Haz clic en Crear secreto.
Ingresa un nombre.
En el cuadro de texto Valor del Secret, ingresa tus credenciales en uno de los siguientes formatos.
{ "sas_token" : "SAS_TOKEN_VALUE" }O bien:
{ "access_key" : "ACCESS_KEY" }Haz clic en Crear secreto.
Una vez que se haya creado el Secret, toma nota de su nombre de recurso completo:
Selecciona la pestaña Descripción general.
Copia el valor de Nombre del recurso. Usa el siguiente formato:
projects/1234567890/secrets/SECRET_NAME
gcloud
Para crear un secreto nuevo con la herramienta de línea de comandos de gcloud, pasa las
credenciales con formato JSON al comando gcloud secrets create:
printf '{
"sas_token" : "SAS_TOKEN_VALUE"
}' | gcloud secrets create SECRET_NAME --data-file=-
O bien:
printf '{
"access_key" : "ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-
Recupera el nombre completo del recurso del Secret:
gcloud secrets describe SECRET_NAME
Toma nota del valor de name en la respuesta. Usa el siguiente formato:
projects/1234567890/secrets/SECRET_NAME
Para obtener más detalles sobre cómo crear y administrar secretos, consulta la documentación de Secret Manager.
Pasa tu secreto al comando de creación del trabajo
Para usar Secret Manager con el Servicio de transferencia de almacenamiento, se debe usar la API de REST para crear un trabajo de transferencia.
Pasa el nombre del recurso de Secret Manager como el valor del
campo transferSpec.azureBlobStorageDataSource.credentialsSecret:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Secret Manager",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"credentialsSecret": "SECRET_RESOURCE_ID",
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
Consulta Crea transferencias para obtener todos los detalles sobre cómo crear una transferencia.
Opción 3: Autentica con una identidad federada
El Servicio de transferencia de almacenamiento admite la federación de identidades para cargas de trabajo de Azure con Google Cloud. El Servicio de transferencia de almacenamiento puede emitir solicitudes a Azure Storage a través de aplicaciones de Azure registradas, lo que elimina la necesidad de pasar credenciales directamente al Servicio de transferencia de almacenamiento.
Para configurar la identidad federada, sigue estas instrucciones.
Configura las credenciales de Google Cloud
Para permitir que el Servicio de transferencia de almacenamiento cree tokens de ID de OpenID Connect (OIDC), sigue estos pasos:
Agente de servicio
Si tu trabajo de transferencia no especifica un serviceAccount (es decir, no estás
delegando permisos de agente de servicio a una cuenta de servicio administrada por el usuario),
otorga el rol de creador de tokens de cuenta de servicio
(roles/iam.serviceAccountTokenCreator) al agente de servicio:
Recupera el
accountEmaildel agente de servicio:- Ve a la
página de referencia de
googleServiceAccounts.get. - En Parámetros de solicitud, ingresa el ID del proyecto.
- Haz clic en Ejecutar. Se devuelven
accountEmailysubjectId.
- Ve a la
página de referencia de
Otorga el rol de Creador de tokens de cuenta de servicio (
roles/iam.serviceAccountTokenCreator) al agente de servicio en sí mismo. Sigue las instrucciones que se indican en Administra el acceso a las cuentas de servicio.
Cuenta de servicio administrada por el usuario
Si delegas permisos de agente de servicio a una cuenta de servicio administrada por el usuario, tus credenciales de Google se configuran cuando estableces la delegación de permisos. No se requieren pasos adicionales.
Configura las credenciales de Microsoft
Primero, registra una aplicación y agrega una credencial federada:
- Accede a https://portal.azure.com.
- Ve a la página App registrations.
- Haz clic en New registration.
- Ingresa un nombre. Por ejemplo,
azure-transfer-app. - Selecciona Solo cuentas de este directorio de la organización.
- Haz clic en Registrar. Se crea la aplicación. Toma nota de la
Application (client) IDy elDirectory (tenant) ID. También puedes recuperarlos más adelante en la página Descripción general de la aplicación. - Haz clic en Certificados y secretos y selecciona la pestaña Credenciales federadas.
- Haz clic en Agregar credencial.
Selecciona Otro emisor como situación y, luego, ingresa la siguiente información:
- Emisor:
https://accounts.google.com Identificador de asunto: Según si usas el agente de servicio predeterminado o una cuenta de servicio administrada por el usuario, haz lo siguiente:
- El
subjectIdde tu agente de servicio, que recuperaste en Configura las credenciales de Google Cloud . - El
uniqueIdde tu cuenta de servicio administrada por el usuario. Consulta Recupera el ID único de una cuenta de servicio para obtener detalles sobre cómo recuperar este valor.
- El
Es un nombre único para la credencial federada.
El público debe permanecer como
api://AzureADTokenExchange.
- Emisor:
Haz clic en Agregar.
A continuación, otorga a la aplicación acceso a tu contenedor de Azure Storage:
- Ve a la página Cuentas de almacenamiento en tu cuenta de Azure.
- Selecciona tu cuenta de almacenamiento y elige Contenedores en la sección Almacén de datos.
- Haz clic en el bucket al que quieres otorgar acceso.
- Haz clic en Control de acceso (IAM) en el menú de la izquierda y selecciona la pestaña Roles.
- Haz clic en el menú ampliado (
...) junto a cualquier rol y selecciona Clonar. - Ingresa un nombre para este rol personalizado y selecciona Comenzar desde cero. Haz clic en Siguiente.
- Haz clic en Agregar permisos y busca
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read. - Haz clic en la tarjeta Almacenamiento de Microsoft que aparece.
- Selecciona el botón de selección Acciones de datos.
- Selecciona Read : Read Blob.
- Haz clic en Agregar.
- Si borrarás objetos en el origen después de la transferencia, vuelve a hacer clic en
Agregar permisos y busca
Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete. - Haz clic en la tarjeta Microsoft Storage que aparece, selecciona Acciones de datos y, luego, Borrar : Borrar BLOB.
- Haz clic en Agregar.
- Haz clic en Revisar + crear y, luego, en Crear. Volverás a la página Control de acceso (IAM) del bucket.
- Haz clic en Agregar y selecciona Agregar asignación de rol.
- En la lista de roles, selecciona tu rol personalizado y haz clic en Siguiente.
- Haz clic en Seleccionar miembros.
- En el campo Seleccionar, ingresa el nombre de la aplicación que
registraste antes. Por ejemplo,
azure-transfer-app - Haz clic en la tarjeta de la aplicación y, luego, en Seleccionar.
- Haz clic en Revisar y asignar.
Pasa los identificadores de tu aplicación al comando de creación de trabajos
Los identificadores de tu aplicación se pasan al comando de creación de trabajos con un
objeto federatedIdentityConfig. Copia el ID de aplicación (cliente) y el
ID de directorio (usuario) que guardaste durante los pasos de
Configura las credenciales de Microsoft en
los campos client_id y tenant_id.
"federatedIdentityConfig": {
"client_id": "efghe9d8-4810-800b-8f964ed4057f",
"tenant_id": "abcd1234-c8f0-4cb0-b0c5-ae4aded60078"
}
Un ejemplo de solicitud de creación de un trabajo se ve de la siguiente manera:
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
"description": "Transfer with Azure Federated Identity",
"status": "ENABLED",
"projectId": "PROJECT_ID",
"transferSpec": {
"azureBlobStorageDataSource": {
"storageAccount": "AZURE_STORAGE_ACCOUNT_NAME",
"container": "AZURE_CONTAINER_NAME",
"federatedIdentityConfig": {
"client_id": "AZURE_CLIENT_ID",
"tenant_id": "AZURE_TENANT_ID"
}
},
"gcsDataSink": {
"bucketName": "CLOUD_STORAGE_BUCKET_NAME"
}
}
}
Consulta Crea transferencias para obtener todos los detalles sobre cómo crear una transferencia.
Restricciones de IP
Si restringes el acceso a tus recursos de Azure con un firewall de Azure Storage, debes agregar los rangos de IP que usan los trabajadores del Servicio de transferencia de almacenamiento a tu lista de IPs permitidas.
Debido a que estos rangos de IP pueden cambiar, publicamos los valores actuales como un archivo JSON en una dirección permanente:
https://www.gstatic.com/storage-transfer-service/ipranges.json
Cuando se agrega un rango nuevo al archivo, esperaremos al menos 7 días antes de usar ese rango para las solicitudes del Servicio de transferencia de almacenamiento.
Te recomendamos que extraigas datos de este documento al menos una vez por semana para mantener actualizada tu configuración de seguridad. Para ver una secuencia de comandos de Python de muestra que recupera rangos de IP de un archivo JSON, consulta este artículo de la documentación de la nube privada virtual.
Para agregar estos rangos como IPs permitidas, sigue las instrucciones del artículo de Microsoft Azure, Configura firewalls y redes virtuales de Azure Storage.