El Servicio de transferencia de almacenamiento puede escuchar las notificaciones de eventos en Google Cloud para transferir automáticamente los datos que se agregaron o actualizaron en un bucket de Cloud Storage. Obtén más información sobre los beneficios de las transferencias basadas en eventos.
Las transferencias controladas por eventos desde Cloud Storage usan notificaciones de Pub/Sub para saber cuándo se modificaron o agregaron objetos en el bucket de origen. No se detectan las eliminaciones de objetos. Borrar un objeto en la fuente no borra el objeto asociado en el bucket de destino.
Las transferencias basadas en eventos siempre usan un bucket de Cloud Storage como destino.
Configura permisos
Además de los
permisos necesarios para todos los trabajos de transferencia,
las transferencias controladas por eventos requieren el rol Pub/Sub Subscriber.
Busca el nombre del agente de servicio del Servicio de transferencia de almacenamiento para tu proyecto:
Ve a la página de referencia de
googleServiceAccounts.get.Se abrirá un panel interactivo con el título Prueba este método.
En el panel, en Parámetros de solicitud, ingresa el ID del proyecto. El proyecto que especifiques aquí debe ser el proyecto que usas para administrar el Servicio de transferencia de almacenamiento, que puede ser diferente del proyecto del bucket de origen.
Haz clic en Ejecutar.
El correo electrónico del agente de servicio se muestra como el valor de
accountEmail. Copia este valor.El correo electrónico del agente de servicio usa el formato
project-PROJECT_NUMBER@storage-transfer-service..Otorga el rol
Pub/Sub Subscriberal agente de servicio del Servicio de transferencia de almacenamiento.Consola de Cloud
Sigue las instrucciones que se indican en Controla el acceso a través de la consola de Google Cloud para otorgar el rol
Pub/Sub Subscriberal Servicio de transferencia de almacenamiento. El rol se puede otorgar a nivel de tema, suscripción o proyecto.gcloudCLISigue las instrucciones que se indican en Establece una política para agregar la siguiente vinculación:
{ "role": "roles/pubsub.subscriber", "members": [ "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service." }
Configura Pub/Sub
Asegúrate de cumplir con los requisitos previos para usar Pub/Sub con Cloud Storage.
Crea una notificación de Pub/Sub para el bucket de Cloud Storage de origen.
No puedes administrar notificaciones de Pub/Sub con la consola de Google Cloud . En su lugar, usa gcloud CLI o una de las bibliotecas cliente disponibles.
gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME --topic=TOPIC_NAME
Crea una suscripción de extracción para el tema. Debes crear una suscripción independiente para cada trabajo de transferencia.
En el siguiente ejemplo, se muestra el comando de Google Cloud CLI para crear una suscripción de extracción. Para obtener instrucciones de la consola y el código de la biblioteca cliente, consulta Crea una suscripción de extracción.
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300
Crear un trabajo de transferencia
Puedes usar la consola de Google Cloud , Google Cloud CLI o la API de REST para crear un trabajo de transferencia basado en eventos.
Consola de Google Cloud
Ve a la página Crear trabajo de transferencia en la consola de Google Cloud .
Selecciona Cloud Storage como origen y destino.
En Modo de programación, selecciona Basado en eventos y haz clic en Siguiente paso.
Selecciona el bucket de origen para esta transferencia.
En la sección Flujo de eventos, ingresa el nombre de la suscripción:
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_IDDe manera opcional, define los filtros y, luego, haz clic en Siguiente paso.
Selecciona el bucket de destino para esta transferencia.
De manera opcional, ingresa una hora de inicio y de finalización para la transferencia. Si no especificas una hora, la transferencia comenzará de inmediato y se ejecutará hasta que se detenga de forma manual.
Especifica las opciones de transferencia. Para obtener más información, consulta la página Crea transferencias.
Haz clic en Crear.
Una vez creado, el trabajo de transferencia comienza a ejecutarse y un objeto de escucha de eventos espera notificaciones en la suscripción de Pub/Sub. La página de detalles del trabajo muestra una operación cada hora y, además, incluye detalles sobre la transferencia de datos para cada trabajo.
gcloud
Para crear un trabajo de transferencia controlado por eventos con Google Cloud CLI, usa
el comando gcloud transfer jobs create con la
marca --event-stream-name:
gcloud transfer jobs create \
gs://SOURCE_BUCKET \
gs://DESTINATION_BUCKET \
--event-stream-name=projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
Reemplaza los marcadores de posición por tus valores reales:
- SOURCE_BUCKET: Es el nombre de tu bucket de Cloud Storage de origen.
- DESTINATION_BUCKET: Es tu bucket de Cloud Storage de destino.
- PROJECT_NAME: Es el proyecto que contiene la suscripción a Pub/Sub.
- GlossarySUBSCRIPTION_ID: ID de la suscripción de Pub/Sub que creaste (p.ej.,
my-subscription). - EVENT_STREAM_STARTS: Cuándo comenzar a escuchar eventos con el formato de fecha y hora %Y-%m-%dT%H:%M:%S%z (p.ej.,
2020-04-12T06:42:12+04:00). Si no se establece, el trabajo comienza a ejecutarse y a escuchar eventos cuando se envía correctamente el comando de creación de trabajo. - EVENT_STREAM_EXPIRES: Indica cuándo dejar de escuchar eventos. Si no se establece, el trabajo continúa hasta que se detiene de forma manual.
Para obtener una lista completa de los campos admitidos, consulta la referencia de
gcloud transfer jobs create.
REST
Para crear una transferencia controlada por eventos con la API de REST, envía el siguiente objeto JSON al extremo transferJobs.create:
transfer_job { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec" { "gcsDataSource" { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } "eventStream" { "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
Los campos eventStreamStartTime y eventStreamExpirationTime son opcionales.
Si se omite la hora de inicio, la transferencia comienza de inmediato. Si se omite la hora de finalización, la transferencia continúa hasta que se detiene de forma manual.
Bibliotecas cliente
Go
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Go.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Java.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Node.js.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para obtener información sobre cómo instalar y usar la biblioteca cliente del Servicio de transferencia de almacenamiento, consulta las bibliotecas cliente del Servicio de transferencia de almacenamiento. Para obtener más información, consulta la documentación de referencia de la API de Servicio de transferencia de almacenamiento Python.
Para autenticarte en el Servicio de transferencia de almacenamiento, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Supervisa una transferencia basada en eventos
Cuando creas una transferencia controlada por eventos, el Servicio de transferencia de almacenamiento crea un trabajo de transferencia. Una vez que se alcanza la hora de inicio, comienza a ejecutarse una operación de transferencia y un objeto de escucha de eventos espera las notificaciones de la cola de Pub/Sub.
La operación de transferencia se ejecuta con un estado de in progress durante aproximadamente
24 horas. Después de 24 horas, la operación finaliza y comienza una nueva.
Se crea una operación nueva cada 24 horas hasta que se alcanza la hora de finalización del trabajo de transferencia
o hasta que se detiene el trabajo de forma manual.
Si hay una transferencia de archivos en curso cuando se programa la finalización de la operación, la operación actual permanece en curso hasta que el archivo se haya transferido por completo. Se inicia una operación nueva y las dos se ejecutan de forma simultánea hasta que finaliza la operación anterior. Los eventos que se detecten durante este período se controlarán con la operación nueva.
Para ver la operación actual y las operaciones completadas, sigue estos pasos:
Consola de Google Cloud
Ve a la página Servicio de transferencia de almacenamiento en la consola de Google Cloud .
En la lista de trabajos, selecciona la pestaña Todos o De nube a nube.
Haz clic en el ID de tarea de tu transferencia. La columna Modo de programación identifica todas las transferencias controladas por eventos en comparación con las transferencias por lotes.
Selecciona la pestaña Operaciones. Se muestran los detalles de la operación actual, y las operaciones completadas se enumeran en la tabla Historial de ejecuciones. Haz clic en cualquier operación completada para obtener detalles adicionales.
gcloud
Para supervisar el progreso de un trabajo en tiempo real, usa gcloud transfer jobs monitor. La respuesta muestra la operación actual, la
hora de inicio del trabajo, la cantidad de datos transferidos, los bytes omitidos y los recuentos
de errores.
gcloud transfer jobs monitor JOB_NAME
Para recuperar el nombre de la operación actual, haz lo siguiente:
gcloud transfer jobs describe JOB_NAME --format="value(latestOperationName)"
Para enumerar las operaciones actuales y completadas, haz lo siguiente:
gcloud transfer operations list --job-names=JOB_NAME
Para ver los detalles de una operación, sigue estos pasos:
gcloud transfer operations describe OPERATION_NAME