Les agents du service de transfert de stockage sont des applications exécutées dans un conteneur OCI (Open Container Initiative) qui se coordonnent avec le service de transfert de stockage pour les transferts impliquant des systèmes de fichiers ou un espace de stockage compatible S3.
Par défaut, le service de transfert de stockage utilise Docker pour créer et exécuter des conteneurs OCI.
Le service de transfert de stockage est également compatible avec Podman pour la gestion des conteneurs. Vous devez installer vos agents à l'aide de la commande podman run pour utiliser Podman.
Si le transfert n'implique pas de système de fichiers ni de stockage compatible S3, vous n'avez pas besoin de configurer d'agents.
Ce document explique comment administrer les agents de transfert sur vos serveurs.
Présentation
Les processus d'agent sont dynamiques. Lors d'un transfert, vous pouvez ajouter des agents pour améliorer les performances. Les agents nouvellement lancés rejoignent le pool d'agents et effectuent des tâches à partir des transferts existants. Cela vous permet d'ajuster le nombre d'agents en cours d'exécution ou d'adapter les performances de transfert en fonction de la demande.
Les processus d'agent constituent une entité collective tolérante aux pannes. Si un agent cesse de s'exécuter, les agents restants continuent leur travail. Si tous vos agents s'arrêtent, lorsque vous ajoutez de nouveaux agents, le transfert reprend là où les agents se sont arrêtés. Ainsi, vous n'avez pas besoin d'exploiter des agents de surveillance, de relancer les transferts ni de mettre en œuvre une logique de récupération. Vous pouvez appliquer des correctifs, déplacer et faire évoluer de manière dynamique vos pools d'agents sans temps d'arrêt de transfert en coordonnant les agents avec Kubernetes.
Imaginons par exemple que vous lanciez deux transferts pendant que deux agents sont en cours d'exécution. Si l'un des agents s'arrête en raison d'un redémarrage de la machine ou d'un correctif du système d'exploitation, l'agent restant continue de fonctionner. Les deux transferts sont toujours en cours d'exécution, mais à une vitesse réduite, car un seul agent déplace les données. Si l'agent restant s'arrête aussi, tous les transferts cessent de progresser, car aucun agent n'est en cours d'exécution. Lorsque vous redémarrez les processus d'agent, les transferts reprennent là où ils s'étaient arrêtés.
Les processus d'agent appartiennent à un pool. Ils déplacent collectivement vos données en parallèle. Pour cette raison, tous les agents d'un pool doivent disposer du même accès à toutes les sources de données que vous souhaitez transférer.
Par exemple, si vous transférez des données à partir d'un système de fichiers spécifique, vous devez installer le système de fichiers sur chaque machine hébergeant des agents dans votre pool d'agents. Si certains agents de votre pool peuvent accéder à une source de données et que d'autres ne le peuvent pas, les transferts à partir de cette source de données échoueront.
Avant de commencer
Avant de configurer vos transferts, assurez-vous d'avoir configuré l'accès : pour les utilisateurs et les comptes de service.
Si vous prévoyez d'utiliser les commandes gcloud, installez la gcloud CLI.
Installer et exécuter des agents de transfert
Nous vous recommandons d'installer au moins trois agents par pool d'agents, idéalement sur des machines distinctes. Pour en savoir plus sur la détermination du nombre d'agents à exécuter, consultez Maximiser les performances des agents de transfert.
Pour installer et exécuter des agents de transfert :
Console Google Cloud
Dans la console Google Cloud , accédez à la page Pools d'agents.
Sélectionnez le pool d'agents auquel ajouter le nouvel agent.
Cliquez sur Installer l'agent.
Suivez les instructions pour installer et exécuter l'agent.
Pour en savoir plus sur les options de ligne de commande de l'agent, consultez la section Options de ligne de commande de l'agent.
CLI gcloud
Pour installer un ou plusieurs agents à l'aide de la gcloud CLI, exécutez la commande gcloud transfer agents install :
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
L'outil vous guide tout au long du processus d'installation des agents. Cette commande installe le ou les agents NUM_AGENTS sur votre ordinateur, mappés au nom du pool spécifié en tant que POOL_NAME et authentifie l'agent à l'aide de vos identifiants gcloud. Si le nom du pool n'existe pas, une erreur est renvoyée.
L'option --mount-directories est facultative, mais vivement recommandée. Sa valeur est une liste de répertoires du système de fichiers, séparés par une virgule, auxquels l'agent doit avoir accès.
Si vous omettez cette option, l'intégralité du système de fichiers est installée sur le conteneur de l'agent. Pour en savoir plus, consultez la documentation de référence sur gcloud.
Sources compatibles S3
Lorsque vous installez des agents à utiliser avec une source compatible S3, vous devez fournir les identifiants AWS, qui vont être des variables d'environnement utilisées comme valeurs pour AWS_ACCESS_KEY_ID et AWS_SECRET_ACCESS_KEY, ou bien qui vont être stockés en tant qu'identifiants par défaut dans les fichiers de configuration de votre système.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Utiliser une clé de compte de service
Pour exécuter des agents à l'aide d'une clé de compte de service, utilisez l'option --creds-file:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Plus d'infos
Pour obtenir la liste complète des options facultatives, exécutez gcloud transfer agents install --help ou consultez la documentation de référence sur gcloud transfer.
Docker
Avant d'utiliser Docker pour installer des agents, suivez les instructions pour installer Docker.
La commande docker run installe un agent. Pour augmenter le nombre d'agents dans votre pool, exécutez à nouveau cette commande autant de fois que nécessaire.
Lors de l'installation des agents, vous pouvez choisir de vous authentifier à l'aide de vos identifiants par défaut gcloud ou d'un compte de service.
Identifiants par défaut
Pour permettre au conteneur Docker de s'authentifier avec vos identifiants par défaut gcloud, créez un volume Docker contenant un fichier avec vos identifiants par défaut de l'application en exécutant la commande suivante :
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Utilisez ensuite la commande suivante pour installer un agent, en utilisant l'option --volumes-from pour installer le volume d'identifiants gcloud-config :
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Authentification par compte de service
Pour installer et exécuter des agents de transfert avec docker run à l'aide des identifiants du compte de service, installez le fichier de clé du compte de service au format JSON dans le conteneur avec -v, puis transmettez le chemin d'accès du fichier dans le conteneur à l'option --creds-file.
Pour en savoir plus sur les clés de compte de service, consultez Créer et gérer des clés de compte de service.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Options et indicateurs
Remplacez les variables des exemples ci-dessus par les informations suivantes :
HOST_DIRECTORYest le répertoire de la machine hôte à partir duquel vous souhaitez effectuer la copie. Vous pouvez utiliser plusieurs options-vpour spécifier des répertoires supplémentaires à partir desquels effectuer la copie.CONTAINER_DIRECTORYest le répertoire mappé dans le conteneur de l'agent. Il doit être identique àHOST_DIRECTORY.PROJECT_IDest l'ID du projet qui héberge le transfert.POOL_NAMEest le nom du pool d'agents dans lequel installer cet agent. Si vous omettez cette option, l'agent est installé dans le pooltransfer_service_defaultde votre projet.
La commande docker run accepte des options supplémentaires.
--enable-mount-directoryindique à l'agent que l'intégralité du système de fichiers de l'hôte est installée sous/transfer_rootdans le conteneur. N'utilisez cette propriété qu'avec-v /:/transfer_root. L'agent ajoute ensuite/transfer_rootau début des chemins d'accès de la source, de la destination, du journal et des identifiants. Ne le combinez pas avec des installations-v HOST_DIRECTORY:CONTAINER_DIRECTORYpar répertoire.--creds-file=/etc/gcloud/key.jsonspécifie le chemin d'accès au fichier d'identifiants du compte de service au format JSON sur le conteneur. Ce fichier est installé par l'option-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:rode la commande.Les agents n'ont pas besoin d'un flag pour les transferts depuis un stockage compatible S3. L'agent utilise automatiquement le mode compatible S3 lorsque le job de transfert l'exige. L'option
--enable-s3est obsolète et ignorée.Si votre transfert provient d'AWS S3 ou d'un espace de stockage compatible S3, transmettez votre ID de clé d'accès et votre clé secrète à l'aide de variables d'environnement :
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYspécifie un proxy de transfert sur votre réseau. La valeur dePROXYcorrespond à l'URL HTTP et au port du serveur proxy. Veillez à spécifier l'URL HTTP, et non une URL HTTPS, afin d'éviter l'encapsulation en double des requêtes dans le chiffrement TLS. Les requêtes encapsulées en double empêchent le serveur proxy d'envoyer des requêtes sortantes valides.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.comspécifie un point de terminaison régional Cloud Storage. Lorsqu'un point de terminaison régional Cloud Storage est spécifié, tout le trafic de transfert de données via l'agent reste dans cette région Google Cloud . Pour en savoir plus, consultez Points de terminaison régionaux.--agent-id-prefix=ID_PREFIXspécifie un préfixe facultatif ajouté à l'ID de l'agent pour aider à identifier l'agent ou sa machine dans la console Google Cloud . Lorsqu'un préfixe est utilisé, l'ID de l'agent possède le format suivant :prefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYmodifie le répertoire dans lequel l'agent écrit les journaux. Le répertoire par défaut est/tmp/.Installez ce répertoire dans le conteneur (par exemple,
-v /tmp:/tmp) afin que les journaux soient conservés sur l'hôte. Si vous utilisez--enable-mount-directory, spécifiez le chemin d'accès de l'hôte. L'agent ajoute automatiquement le préfixe/transfer_root.--max-physical-mem=MAX_MEMORY: par défaut, les agents utilisent un pool de mémoire tampon de 8 Gio. Si la valeur par défaut ne correspond pas à votre environnement, vous pouvez spécifier une utilisation de mémoire maximale appropriée en utilisant les formats suivants :Valeur max-physical-memParamètre de mémoire maximale 6g6 gibioctets 6gb6 gibioctets 6GiB6 gibioctets --network=DOCKER_NETWORK: spécifiez le réseau Docker pour ce conteneur. La spécification de--network=hostpeut améliorer les performances en réduisant la surcharge du réseau, mais permet au conteneur d'accéder pleinement au réseau de l'hôte.--kerberos-disable-pa-fx-fastempêche les agents d'utiliser la négociation FAST avec Kerberos pour les transferts HDFS. Utilisez cette option si votre centre de distribution de clés (KDC) Kerberos n'est pas compatible avec la négociation FAST.
Podman
Avant d'utiliser Podman pour installer des agents, installez Podman :
sudo apt-get update
sudo apt-get -y install podman
Lors de l'installation des agents, vous pouvez choisir de vous authentifier à l'aide de vos identifiants par défaut gcloud ou d'un compte de service.
Identifiants par défaut
Pour permettre au conteneur de l'agent de s'authentifier avec vos identifiants par défaut de la Google Cloud CLI, créez un volume contenant un fichier avec vos identifiants par défaut de l'application en exécutant la commande suivante :
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Utilisez ensuite la commande suivante pour installer un agent, en utilisant l'option --volumes-from pour installer le volume d'identifiants gcloud-config.
La commande installe un agent. Pour augmenter le nombre d'agents dans votre pool, exécutez à nouveau cette commande autant de fois que nécessaire.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Authentification par compte de service
Pour installer et exécuter des agents de transfert à l'aide d'identifiants de compte de service, vous devez rendre votre clé de compte de service au format JSON disponible sur le conteneur. Pour ce faire :
- Installez l'emplacement hôte de la clé sur n'importe quel chemin d'accès du conteneur. Par exemple,
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. Cela indique que la clé se trouve sur la machine hôte à l'emplacement$HOME/.config/gcloud/credentials.jsonet doit être installée en tant que/key.jsonsur le conteneur.roindique que le fichier est mis à la disposition du conteneur en lecture seule. - Spécifiez le chemin d'accès au conteneur de la clé comme valeur de
--creds-file. Dans l'exemple de l'étape précédente, spécifiez--creds-file=/key.json.
Pour en savoir plus sur les clés de compte de service, consultez Créer et gérer des clés de compte de service.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Options et indicateurs
Remplacez les variables des exemples ci-dessus par les informations suivantes :
HOST_DIRECTORYest le répertoire de la machine hôte à partir duquel vous souhaitez effectuer la copie. Vous pouvez utiliser plusieurs options-vpour spécifier des répertoires supplémentaires à partir desquels effectuer la copie.CONTAINER_DIRECTORYest le répertoire mappé dans le conteneur de l'agent. Il doit être identique àHOST_DIRECTORY.PROJECT_IDest l'ID du projet qui héberge le transfert.POOL_NAMEest le nom du pool d'agents dans lequel installer cet agent. Si vous omettez cette option, l'agent est installé dans le pooltransfer_service_defaultde votre projet.
La commande podman run accepte des options supplémentaires.
--enable-mount-directoryindique à l'agent que l'intégralité du système de fichiers de l'hôte est installée sous/transfer_rootdans le conteneur. N'utilisez cette propriété qu'avec-v /:/transfer_root. L'agent ajoute ensuite/transfer_rootau début des chemins d'accès de la source, de la destination, du journal et des identifiants. Ne le combinez pas avec des installations-v HOST_DIRECTORY:CONTAINER_DIRECTORYpar répertoire.--creds-file=/etc/gcloud/key.jsonspécifie le chemin d'accès au fichier d'identifiants du compte de service au format JSON sur le conteneur. Ce fichier est installé par l'option-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:rode la commande.Les agents n'ont pas besoin d'un flag pour les transferts depuis un stockage compatible S3. L'agent utilise automatiquement le mode compatible S3 lorsque le job de transfert l'exige. L'option
--enable-s3est obsolète et ignorée.Si votre transfert provient d'AWS S3 ou d'un espace de stockage compatible S3, transmettez votre ID de clé d'accès et votre clé secrète à l'aide de variables d'environnement :
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYspécifie un proxy de transfert sur votre réseau. La valeur dePROXYcorrespond à l'URL HTTP et au port du serveur proxy. Veillez à spécifier l'URL HTTP, et non une URL HTTPS, afin d'éviter l'encapsulation en double des requêtes dans le chiffrement TLS. Les requêtes encapsulées en double empêchent le serveur proxy d'envoyer des requêtes sortantes valides.--agent-id-prefix=ID_PREFIXspécifie un préfixe facultatif ajouté à l'ID de l'agent pour aider à identifier l'agent ou sa machine dans la console Google Cloud . Lorsqu'un préfixe est utilisé, l'ID de l'agent possède le format suivant :prefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYmodifie le répertoire dans lequel l'agent écrit les journaux. Le répertoire par défaut est/tmp/.Installez ce répertoire dans le conteneur (par exemple,
-v /tmp:/tmp) afin que les journaux soient conservés sur l'hôte. Si vous utilisez--enable-mount-directory, spécifiez le chemin d'accès de l'hôte. L'agent ajoute automatiquement le préfixe/transfer_root.--max-physical-mem=MAX_MEMORY: par défaut, les agents utilisent un pool de mémoire tampon de 8 Gio. Si la valeur par défaut ne correspond pas à votre environnement, vous pouvez spécifier une utilisation de mémoire maximale appropriée en utilisant les formats suivants :Valeur max-physical-memParamètre de mémoire maximale 6g6 gibioctets 6gb6 gibioctets 6GiB6 gibioctets --network=DOCKER_NETWORK: spécifiez le réseau Docker pour ce conteneur. La spécification de--network=hostpeut améliorer les performances en réduisant la surcharge du réseau, mais permet au conteneur d'accéder pleinement au réseau de l'hôte.--kerberos-disable-pa-fx-fastempêche les agents d'utiliser la négociation FAST avec Kerberos pour les transferts HDFS. Utilisez cette option si votre centre de distribution de clés (KDC) Kerberos n'est pas compatible avec la négociation FAST.
Dépannage
Si votre configuration de SELinux nécessite que des étiquettes soient placées sur le contenu du volume installé dans un conteneur, ajoutez l'option :Z au volume :
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Sans étiquette, le système de sécurité peut empêcher les processus exécutés dans le conteneur d'utiliser le contenu. Par défaut, Podman ne modifie pas les étiquettes définies par l'OS.
Confirmer les connexions des agents
Pour vérifier que vos agents sont bien connectés, procédez comme suit :
Dans la console Google Cloud , accédez à la page Pools d'agents.
Vos pools d'agents s'affichent, avec le nombre d'agents connectés.
Sélectionnez un pool d'agents pour afficher les détails des agents connectés.
Si un nouvel agent n'apparaît pas sur la page du pool d'agents dans les dix minutes suivant sa création, consultez la section Les agents ne sont pas connectés.
Surveiller l'activité des agents
Vous pouvez surveiller l'activité des agents à l'aide de Cloud Monitoring.
La surveillance est disponible avec les dimensions project, agent_pool et agent_id.
À l'aide de ces données de surveillance, vous pouvez configurer des alertes pour vous avertir des problèmes potentiels avec votre transfert. Pour ce faire, créez une alerte sur l'une des métriques Google Cloud suivantes :
| Nom de la métrique | Description | Suggestions d'utilisation |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Mesure la vitesse à laquelle un agent spécifique déplace des données (parmi toutes les tâches qu'il traite) à un instant donné. | Alerte en cas de baisses de performances |
| storagetransfer.googleapis.com/agent/connected | Valeur booléenne définie sur True pour chaque agent dont Google Cloud a reçu un message de pulsation récent. |
|
Notifications de l'agent
Pour vous assurer que vos agents du service de transfert de stockage disposent des dernières fonctionnalités, des derniers correctifs de sécurité et des dernières corrections de bugs, vous devez régulièrement remplacer les anciens conteneurs d'agent par de nouveaux.
L'image de conteneur d'agent la plus récente se trouve dans Artifact Registry sous le tag latest : gcr.io/cloud-ingest/tsop-agent.
Lorsqu'une nouvelle image est disponible, les agents doivent être remplacés. Cette opération peut être effectuée de manière progressive afin que les transferts en cours ne soient pas affectés. Vous devez extraire une nouvelle image de conteneur avant de démarrer le nouvel agent pour éviter d'utiliser une ancienne version mise en cache sur votre machine.
Comparer les versions de conteneur
Pour afficher la version d'un conteneur en cours d'exécution, récupérez les 12 premiers caractères de son condensé de fichier manifeste :
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Comparez ce condensé court à la colonne Nom publiée dans Artifact Registry.
Pour afficher le dernier condensé sur la ligne de commande, exécutez docker pull gcr.io/cloud-ingest/tsop-agent:latest pour télécharger la dernière image, puis exécutez la commande suivante pour afficher son condensé court :
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Mettre à jour les conteneurs
Pour effectuer une mise à jour progressive de vos agents :
gcloud CLI
Sur chaque machine, extrayez la dernière image de conteneur d'Artifact Registry :
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestRépertoriez tous les agents exécutés sur cette machine :
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentArrêtez un agent :
sudo docker stop CONTAINER_IDInstallez un nouvel agent :
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Répétez ces étapes jusqu'à ce que tous les agents aient été remplacés sur toutes les machines.
Docker
Sur chaque machine, extrayez la dernière image de conteneur d'Artifact Registry :
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestRépertoriez tous les agents exécutés sur cette machine :
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentArrêtez un agent :
sudo docker stop CONTAINER_IDInstallez un nouvel agent :
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Répétez ces étapes jusqu'à ce que tous les agents aient été remplacés sur toutes les machines.
Podman
Sur chaque machine, extrayez la dernière image de conteneur d'Artifact Registry :
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestRépertoriez tous les agents exécutés sur cette machine :
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentArrêtez un agent :
sudo podman stop CONTAINER_IDInstallez un nouvel agent :
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Répétez ces étapes jusqu'à ce que tous les agents aient été remplacés sur toutes les machines.
Mises à jour du binaire de l'agent
En plus des mises à jour du conteneur, un script de mise à jour s'exécute dans le conteneur et récupère automatiquement le dernier binaire de l'agent. Ce script interroge les mises à jour binaires toutes les cinq minutes pendant l'exécution du conteneur. Les mises à jour binaires sont appliquées automatiquement sur place, sans nécessiter de redémarrage du conteneur.
Si vous désactivez les mises à jour automatiques, nous ne pourrons peut-être pas déboguer les problèmes de performances sur les anciennes versions de l'agent. Dans ce cas, nous vous demandons généralement de passer à une version récente avant de vous fournir une assistance supplémentaire.
Arrêter un agent
Pour arrêter un agent, exécutez docker stop ou podman stop sur son ID de conteneur.
Pour trouver cet ID et arrêter l'agent, procédez comme suit :
Dans la console Google Cloud , accédez à la page Pools d'agents.
Sélectionnez le pool d'agents contenant l'agent à arrêter.
Sélectionnez un agent dans la liste. Utilisez le champ Filtre pour rechercher suivant un préfixe, l'état de l'agent, l'âge de l'agent, etc.
Cliquez sur Arrêter l'agent. La commande
docker stops'affiche avec l'ID de conteneur spécifique.Exécutez la commande sur la machine sur laquelles s'exécute l'agent.
Une commande d'arrêt réussie renvoie l'ID du conteneur.
Une fois arrêté, l'agent apparaît dans la liste des pools d'agents comme étant déconnecté.
Redémarrer un agent
Les agents arrêtés ne peuvent pas être redémarrés. À la place, installez de nouveaux agents dans le pool d'agents.
Supprimer un agent
Pour supprimer des agents spécifiques, répertoriez ceux qui sont en cours d'exécution sur votre ordinateur.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Transmettez ensuite les ID d'agent à gcloud transfer agents delete. Cette commande n'arrête pas les agents elle-même. Elle affiche la commande docker stop que vous devez ensuite exécuter :
gcloud transfer agents delete --ids=id1,id2,...
Pour afficher les commandes qui arrêtent tous les agents sur la machine, utilisez l'option --all.
Pour afficher également la commande qui supprime l'image de conteneur de l'agent, utilisez l'option --uninstall. Exécutez les commandes affichées pour arrêter les agents :
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Détails du transfert du système de fichiers
Transferts incrémentiels
Le service de transfert de stockage commence tous les transferts en calculant les données présentes à la source et à la destination afin de déterminer quels fichiers sources sont nouveaux, mis à jour ou supprimés depuis le dernier transfert. Nous procédons ainsi afin de réduire la quantité de données envoyées depuis vos machines, d'utiliser efficacement la bande passante et de réduire les temps de transfert.
Pour détecter si un fichier a été modifié, nous vérifions la date et l'heure de la dernière modification ainsi que la taille du fichier source, et nous les comparons à la date et l'heure de la dernière modification et à la taille enregistrées lors de la dernière copie du fichier. Lorsque nous détectons un fichier nouveau ou modifié, nous le copions entièrement vers sa destination. Pour en savoir plus sur la fraîcheur des fichiers, consultez Détails sur la cohérence des données.
Par défaut, nous détectons, mais n'agissons pas sur, les fichiers supprimés sur la source. Si vous choisissez l'option de synchronisation Supprimer les fichiers de destination qui ne se trouvent pas également dans la source lors de la création ou de la modification d'un job, votre transfert supprimera l'objet correspondant au niveau de la destination.
Si vous choisissez l'option de synchronisation Supprimer les fichiers de destination qui n'existent pas également dans la source, les fichiers supprimés accidentellement dans la source le sont également dans la destination. Pour éviter toute perte de données due à des suppressions accidentelles, nous vous recommandons d'activer la gestion des versions d'objets dans votre bucket de destination. Par la suite, si vous supprimez accidentellement un fichier, vous pouvez restaurer une ancienne version de vos objets dans Cloud Storage.
Détails sur la cohérence des données
Une opération de transfert réussie transfère tous les fichiers sources existants et n'ayant pas été modifiés pendant toute la durée d'exécution de l'opération. Les fichiers sources qui ont été créés, mis à jour ou supprimés pendant un transfert pourraient ne pas refléter ces modifications dans l'ensemble de données de destination.
Le service de transfert de stockage utilise la date et l'heure de la dernière modification d'un fichier ainsi que sa taille pour déterminer s'il a été modifié. Si un fichier est mis à jour sans modifier sa date ou sa taille de dernière modification, et que vous activez l'option delete-objects-from-source, vous risquez de perdre les données de cette modification.
Lorsque vous utilisez la fonctionnalité delete-objects-from-source, nous vous recommandons vivement de geler les écritures sur la source pendant la durée du transfert afin d'éviter toute perte de données.
Pour geler les écritures sur votre source, effectuez l'une des opérations suivantes :
- Clonez le répertoire que vous souhaitez transférer, puis utilisez le répertoire cloné en tant que source de transfert.
- Arrêtez les applications qui écrivent dans le répertoire source.
S'il est important de capturer les modifications survenues lors d'un transfert, vous pouvez relancer le transfert ou définir le système de fichiers source en lecture seule pendant l'exécution de l'opération.
Étant donné que Cloud Storage n'a pas la notion de répertoires, les répertoires sources vides ne sont pas transférés.