Avant de créer une tâche de transfert de système de fichiers, vous devez activer les API requises et installer Docker.
Si vous recevez des messages d'erreur lors de la configuration initiale, vérifiez que l'utilisateur avec lequel vous vous êtes connecté dispose des autorisations nécessaires pour effectuer la configuration. Dans de nombreux cas, ces autorisations ne sont pas disponibles pour tous les utilisateurs et vous devrez peut-être contacter un administrateur de projet pour obtenir de l'aide.
Configuration requise
Pour utiliser le service de transfert de stockage pour les transferts du système de fichiers, vous avez besoin des éléments suivants:
Une source et/ou une destination compatibles avec POSIX.
Un bucket Cloud Storage sans règle de conservation Pour transférer vers un bucket avec une règle de conservation, consultez la section Transférer vers un bucket avec une règle de conservation.
Le port TCP 443 (HTTPS) est ouvert pour les connexions sortantes.
Les exigences de la machine de l'agent de transfert sont répertoriées ci-dessous:
Un serveur ou une machine virtuelle Linux 64 bits compatible avec Docker qui peut accéder aux données que vous prévoyez de transférer. Docker Community Edition, compatible avec les systèmes d'exploitation CentOS, Debian, Fedora et Ubuntu.
Pour utiliser d'autres systèmes d'exploitation Linux, consultez la page sur Docker Enterprise.
Au minimum 8 Go de mémoire par conteneur et au moins quatre processeurs pour être plus efficace.
Toute contrainte au niveau du système ou de l'utilisateur sur le nombre d'ID de processus autorisés, telle que configurée avec
ulimit -u, doit tenir compte du nombre d'agents que vous prévoyez d'exécuter. Chaque processus d'agent peut créer jusqu'à plusieurs centaines de threads. Nous vous recommandons de supprimer les limites d'ID de processus lors de l'exécution d'agents de transfert.Les clients qui utilisent Podman pour créer des conteneurs d'agent doivent spécifier une valeur
--pids-limitsuffisamment élevée pour accueillir les threads de l'agent du service de transfert de stockage. La valeur--pids-limitpar défaut est 2048, ce qui peut entraîner des problèmes lors de l'exécution de plusieurs agents. Nous vous recommandons de définir--pids-limit=-1pour autoriser un nombre illimité d'ID de processus par conteneur.
Points de terminaison requis
Les points de terminaison DNS suivants doivent être accessibles à l'agent de transfert. Bien qu'un agent ne puisse utiliser qu'un sous-ensemble de ces points de terminaison en fonction de sa configuration, tous les points de terminaison doivent être autorisés pour garantir un fonctionnement complet.
Google Cloud points de terminaison
Cette liste de points de terminaison requis est susceptible d'être modifiée. Pour éviter les interruptions de transfert, nous vous recommandons d'autoriser le domaine de base googleapis.com et gcr.io, à condition que les règles de sécurité de votre organisation le permettent.
| Point de terminaison | Service | Objectif |
|---|---|---|
storagetransfer.googleapis.com |
Service de transfert de stockage | Utilisé par l'agent pour se connecter au service de transfert de stockage, recevoir des tâches de transfert et signaler son état de fonctionnement. |
storage.googleapis.com |
Cloud Storage | Utilisé pour effectuer des opérations de transfert de données de base, y compris lister, lire et écrire des objets dans vos buckets Cloud Storage. |
www.googleapis.com |
Google APIs | Utilisé pour télécharger les mises à jour de version de l'agent de transfert. |
monitoring.googleapis.com |
Cloud Monitoring | Permet d'exporter les métriques de performances de transfert et d'état de l'agent. |
logging.googleapis.com |
Cloud Logging | Utilisé pour publier les journaux système et d'activité de l'agent. |
oauth2.googleapis.com |
OAuth 2.0 | Utilisé pour échanger des identifiants de manière sécurisée et récupérer des jetons d'accès de courte durée pour l'autorisation d'API. |
iamcredentials.googleapis.com |
Identifiants du compte de service IAM | Utilisé pour générer des identifiants temporaires lorsque l'agent est configuré pour emprunter l'identité d'un compte de service spécifique. |
cloudresourcemanager.googleapis.com |
Resource Manager | Utilisé lors de l'installation et de la configuration de l'agent pour vérifier la configuration et les autorisations du projet. |
gcr.io |
Container Registry | Utilisé pour télécharger l'image de conteneur de l'agent du service de transfert de stockage lors de l'installation. |
Pour optimiser les performances de transfert, l'agent peut utiliser différents protocoles HTTP, y compris HTTP/1.1 et HTTP/2 au minimum, lorsqu'il communique avec différents points de terminaison. Assurez-vous que les proxys ou pare-feu configurés sont compatibles avec tous ces types de protocoles et qu'ils sont performants.
Points de terminaison régionaux
Si vous avez configuré vos agents pour qu'ils utilisent des points de terminaison régionaux (par exemple, storage.REGION.rep.googleapis.com), ces noms de domaine spécifiques doivent être autorisés par vos règles de proxy ou de pare-feu au lieu du point de terminaison storage.googleapis.com standard.
Points de terminaison de stockage source et de destination
L'agent nécessite également un accès réseau aux systèmes de stockage source et de destination spécifiques, tels que les API compatibles S3, les clusters HDFS ou NFS pour POSIX.
Restrictions liées au scaling des tâches et des agents
Le service de transfert de stockage est soumis aux restrictions de scaling suivantes concernant les jobs de transfert et les agents :
- Le nombre de fichiers par tâche doit être inférieur à un milliard.
- La limite de bande passante doit être d'au moins 1 Mo/s (mégaoctet par seconde).
- Jusqu'à 100 agents par pool d'agents
- Jusqu'à 800 pools d'agents par projet
Activer les API
-
Activez l'API Google Storage Transfer si ce n'est pas déjà fait.
Rôles requis pour activer les API
Pour activer des API, vous devez disposer de l'autorisation
serviceusage.services.enable. Si vous avez créé le projet, vous disposez probablement déjà de cette autorisation via le rôle Propriétaire (roles/owner). Sinon, vous pouvez l'obtenir via le rôle Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin). Découvrez comment attribuer des rôles.
Installer Docker
Si vous utilisez Google Cloud CLI ou Docker pour installer et exécuter des agents de transfert, installez Docker Engine sur une machine Linux physique ou virtuelle.
Si vous utilisez Podman pour installer et exécuter des agents de transfert, passez directement aux instructions d'installation spécifiques à Podman.
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker --now
Si des erreurs se produisent pendant l'installation, consultez la section Dépannage.
Autoriser Docker à s'authentifier
Pour permettre au conteneur Docker de s'authentifier avec vos identifiants par défaut gcloud, créez un volume Docker contenant un fichier avec vos identifiants par défaut de l'application en exécutant la commande suivante :
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login