Le service de transfert de stockage peut écouter les notifications d'événements dans Google Cloudpour transférer automatiquement les données ajoutées ou mises à jour dans un bucket Cloud Storage. En savoir plus sur les avantages des transferts basés sur des événements
Les transferts basés sur des événements depuis Cloud Storage utilisent des notifications Pub/Sub pour savoir quand des objets ont été modifiés ou ajoutés dans le bucket source. Les suppressions d'objets ne sont pas détectées. La suppression d'un objet à la source ne supprime pas l'objet associé dans le bucket de destination.
Les transferts basés sur des événements utilisent toujours un bucket Cloud Storage comme destination.
Configurer les autorisations
En plus des autorisations requises pour tous les transferts, les transferts basés sur des événements nécessitent le rôle Pub/Sub Subscriber.
Recherchez le nom de l'agent de service du service de transfert de stockage pour votre projet :
Accédez à la page de référence
googleServiceAccounts.get.Un panneau interactif s'affiche, intitulé Essayer cette méthode.
Dans le panneau, sous Paramètres des requêtes, saisissez votre ID de projet. Le projet que vous spécifiez ici doit être le projet que vous utilisez pour gérer le service de transfert de stockage, qui peut être différent du projet du bucket source.
Cliquez sur Exécuter.
L'adresse e-mail de votre agent de service est renvoyée en tant que valeur de
accountEmail. Copiez cette valeur.L'adresse e-mail de l'agent de service utilise le format
project-PROJECT_NUMBER@storage-transfer-service..Attribuez le rôle
Pub/Sub Subscriberà l'agent de service du service de transfert de stockage.console Cloud
Suivez les instructions de la section Contrôler l'accès via la console Google Cloud pour accorder le rôle
Pub/Sub Subscriberau service de transfert de stockage. Le rôle peut être attribué au niveau du sujet, de l'abonnement ou du projet.CLI
gcloudSuivez les instructions de la section Définir une stratégie pour ajouter la liaison suivante :
{ "role": "roles/pubsub.subscriber", "members": [ "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service." }
Configurer Pub/Sub
Assurez-vous de remplir les conditions préalables pour utiliser Pub/Sub avec Cloud Storage.
Créez une notification Pub/Sub pour le bucket Cloud Storage source.
Vous ne pouvez pas gérer les notifications Pub/Sub avec la console Google Cloud . Utilisez plutôt la gcloud CLI ou l'une des bibliothèques clientes disponibles.
gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME --topic=TOPIC_NAME
Créez un abonnement pull pour le sujet. Vous devez créer un abonnement distinct pour chaque tâche de transfert.
L'exemple suivant montre la commande Google Cloud CLI permettant de créer un abonnement pull. Pour obtenir des instructions sur la console et le code de la bibliothèque cliente, consultez Créer un abonnement pull.
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300
Créer un job de transfert
Vous pouvez créer un job de transfert basé sur des événements à l'aide de la console Google Cloud , de la Google Cloud CLI ou de l'API REST.
Console Google Cloud
Accédez à la page Créer un job de transfert de la console Google Cloud .
Sélectionnez Cloud Storage comme source et comme destination.
Pour le Mode de planification, sélectionnez Basé sur un événement, puis cliquez sur Étape suivante.
Sélectionnez le bucket source pour ce transfert.
Dans la section Flux d'événements, saisissez le nom de l'abonnement :
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_IDSi vous le souhaitez, définissez des filtres, puis cliquez sur Étape suivante.
Sélectionnez le bucket de destination pour ce transfert.
Vous pouvez éventuellement saisir une heure de début et une heure de fin pour le transfert. Si vous ne spécifiez pas d'heure, le transfert démarre immédiatement et s'exécute jusqu'à ce qu'il soit arrêté manuellement.
Spécifiez les options de transfert. Pour en savoir plus, consultez la page Créer des transferts.
Cliquez sur Créer.
Une fois créé, le job de transfert commence à s'exécuter et un écouteur d'événements attend les notifications sur l'abonnement Pub/Sub. La page d'informations sur les jobs affiche une opération par heure et inclut des détails sur les transferts de données pour chaque job.
gcloud
Pour créer un job de transfert basé sur des événements à l'aide de la Google Cloud CLI, utilisez la commande gcloud transfer jobs create avec l'option --event-stream-name :
gcloud transfer jobs create \
gs://SOURCE_BUCKET \
gs://DESTINATION_BUCKET \
--event-stream-name=projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
Remplacez les espaces réservés par vos valeurs réelles :
- SOURCE_BUCKET : nom de votre bucket Cloud Storage source.
- DESTINATION_BUCKET : votre bucket Cloud Storage de destination.
- PROJECT_NAME : projet contenant l'abonnement Pub/Sub.
- SUBSCRIPTION_ID : ID de l'abonnement Pub/Sub que vous avez créé (par exemple,
my-subscription). - EVENT_STREAM_STARTS : date et heure de début de l'écoute des événements au format %Y-%m-%dT%H:%M:%S%z (par exemple,
2020-04-12T06:42:12+04:00). Si ce paramètre n'est pas défini, le job commence à s'exécuter et à écouter les événements dès que la commande de création de job est envoyée. - EVENT_STREAM_EXPIRES : moment où l'écoute des événements doit s'arrêter. Si ce paramètre n'est pas défini, le job se poursuit jusqu'à ce qu'il soit arrêté manuellement.
Pour obtenir la liste complète des champs compatibles, consultez la documentation de référence sur gcloud transfer jobs create.
REST
Pour créer un transfert basé sur des événements à l'aide de l'API REST, envoyez l'objet JSON suivant au point de terminaison transferJobs.create :
transfer_job { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec" { "gcsDataSource" { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } "eventStream" { "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
eventStreamStartTime et eventStreamExpirationTime sont facultatifs.
Si l'heure de début est omise, le transfert commence immédiatement. Si l'heure de fin est omise, le transfert se poursuit jusqu'à ce qu'il soit arrêté manuellement.
Bibliothèques clientes
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour le service de transfert de stockage, consultez Bibliothèques clientes du service de transfert de stockage. Pour en savoir plus, consultez la documentation de référence de l'API du service de transfert de stockage Go.
Pour vous authentifier auprès du service de transfert de stockage, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour le service de transfert de stockage, consultez Bibliothèques clientes du service de transfert de stockage. Pour en savoir plus, consultez la documentation de référence de l'API du service de transfert de stockage Java.
Pour vous authentifier auprès du service de transfert de stockage, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour le service de transfert de stockage, consultez Bibliothèques clientes du service de transfert de stockage. Pour en savoir plus, consultez la documentation de référence de l'API du service de transfert de stockage Node.js.
Pour vous authentifier auprès du service de transfert de stockage, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour le service de transfert de stockage, consultez Bibliothèques clientes du service de transfert de stockage. Pour en savoir plus, consultez la documentation de référence de l'API du service de transfert de stockage Python.
Pour vous authentifier auprès du service de transfert de stockage, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Surveiller un transfert basé sur des événements
Lorsque vous créez un transfert basé sur des événements, le service de transfert de stockage crée un job de transfert. Une fois l'heure de début atteinte, une opération de transfert commence à s'exécuter et un écouteur d'événements attend les notifications de la file d'attente Pub/Sub.
L'opération de transfert s'exécute avec l'état in progress pendant environ 24 heures. Au bout de 24 heures, l'opération se termine et une nouvelle opération commence.
Une opération est créée toutes les 24 heures jusqu'à ce que l'heure de fin du job de transfert soit atteinte ou que le job soit arrêté manuellement.
Si un transfert de fichier est en cours au moment où l'opération doit se terminer, l'opération en cours se poursuit jusqu'à ce que le fichier ait été complètement transféré. Une nouvelle opération est lancée, et les deux opérations s'exécutent simultanément jusqu'à ce que l'ancienne opération se termine. Tous les événements détectés au cours de cette période sont gérés par la nouvelle opération.
Pour afficher l'opération en cours et les opérations terminées :
Console Google Cloud
Accédez à la page Service de transfert de stockage dans la console Google Cloud .
Dans la liste des jobs, sélectionnez l'onglet Tous ou Cloud-to-cloud.
Cliquez sur l'ID de votre job de transfert. La colonne Mode de planification identifie tous les transferts basés sur des événements par rapport aux transferts par lot.
Sélectionnez l'onglet Opérations. Les détails de l'opération en cours s'affichent, et les opérations terminées sont listées dans le tableau Historique des exécutions. Cliquez sur une opération terminée pour obtenir plus de détails.
gcloud
Pour surveiller la progression d'une tâche en temps réel, utilisez gcloud transfer jobs monitor. La réponse indique l'opération en cours, l'heure de début du job, la quantité de données transférées, les octets ignorés et le nombre d'erreurs.
gcloud transfer jobs monitor JOB_NAME
Pour récupérer le nom de l'opération en cours :
gcloud transfer jobs describe JOB_NAME --format="value(latestOperationName)"
Pour lister les opérations en cours et terminées :
gcloud transfer operations list --job-names=JOB_NAME
Pour afficher les détails d'une opération :
gcloud transfer operations describe OPERATION_NAME