Limitations connues

Cette page décrit les limitations connues de Cloud Storage et du service de transfert de stockage.

Limitations courantes

Limite de taille d'objet Cloud Storage de 5 Tio

Cloud Storage accepte une taille d'objet unique maximale de 5 tébioctets. Si vos objets dépassent 5 Tio, leur transfert échoue pour Cloud Storage ou le service de transfert de stockage.

Exigences de dénomination des objets Cloud Storage

Cloud Storage impose des exigences de nom d'objet qui s'appliquent à tous les transferts du service de transfert de stockage.

Les objets modifiés ne sont pas transférés

Le service de transfert de stockage ne verrouille pas les fichiers sources lors d'un transfert.

Si les données d'un objet sont mises à jour pendant un transfert, la section suivante décrit comment le service de transfert de stockage répond :

  • Transferts depuis des clouds autres que Google Cloud vers Google Cloud : si les données d'un objet sont mises à jour lors d'un transfert, le service de transfert de stockage fait échouer le transfert de cet objet et celui-ci n'est pas transféré.

  • Transferts depuis des systèmes de fichiers vers Google Cloud : si les données d'un objet sont mises à jour pendant un transfert, le service de transfert de stockage tente à nouveau d'importer les données. Si l'importation échoue plusieurs fois, le service de transfert de stockage enregistre un journal FILE_MODIFIED_FAILURE. Pour en savoir plus, consultez la section Dépannage.

  • Transferts depuis Google Cloud vers un système de fichiers : si les données d'un objet sont mises à jour pendant un transfert, le service de transfert de stockage tente à nouveau de procéder au téléchargement. Si le téléchargement échoue plusieurs fois, le service de transfert de stockage enregistre un PRECONDITION_FAILURE. Pour en savoir plus, consultez la section Dépannage.

Pour remédier à cet échec, procédez comme suit :

  1. Réessayez d'effectuer le transfert.
  2. Si le transfert de l'objet continue d'échouer, assurez-vous que ses données ne peuvent pas être mises à jour lors du transfert :

  3. Une fois le transfert terminé, vous pouvez réactiver les mises à jour de l'objet.

Dossiers dans Cloud Storage

Dans les buckets pour lesquels l'espace de noms hiérarchique n'est pas activé, les objets Cloud Storage résident dans un espace de noms unique. Pour en savoir plus, consultez Espace de noms d'objets. Dans ces buckets, le service de transfert de stockage ne crée pas de dossiers. La structure des répertoires n'est représentée que par des préfixes de noms d'objets. Par exemple, si vous effectuez un transfert depuis Azure Data Lake Storage (ADLS) de deuxième génération vers un bucket à espace de noms unique, le service de transfert de stockage ne recrée pas les espaces de noms ADLS Gen 2 dans Cloud Storage. Pour les buckets avec un espace de noms hiérarchique activé, consultez Transférer des buckets d'espace de noms hiérarchique Cloud Storage.

Supprimer des objets dans des buckets Amazon S3 dont le versionnement est suspendu

Lorsque vous utilisez la suppression d'objets de la source dans le service de transfert de stockage après la fonctionnalité de transfert sur un bucket Amazon S3 dont le versionnement est suspendu, le service de transfert de stockage supprime l'objet avec un ID de version nul, et non avec la version actuelle.

Emplacement des tâches du service de transfert de stockage

Le service de transfert de stockage choisit son emplacement en fonction de la région du bucket Cloud Storage source. À l'heure actuelle, les tâches du service de transfert de stockage sont créées dans les emplacements suivants. Cette liste est susceptible de changer à mesure que le service de transfert de stockage accepte de nouvelles régions.

Si votre bucket Cloud Storage source se trouve dans une région qui ne figure pas dans la liste, nous choisirons la région par défaut dans la région externe de la source.

Pays acceptés
africa-south1 europe-north1 nam4
asia-east1 europe-north2 northamerica-northeast1
asia-east2 europe-southwest1 northamerica-northeast2
asia-northeast1 europe-west1 northamerica-south1
asia-northeast2 europe-west2 southamerica-east1
asia-northeast3 europe-west3 southamerica-west1
asia-south1 europe-west4 us-central1
asia-south2 europe-west6 us-central2
asia-southeast1 europe-west8 us-east1
asia-southeast2 europe-west9 us-east4
asia-southeast3 europe-west10 us-east5
asia1 europe-west12 us-east7
australia-southeast1 me-central1 us-west1
australia-southeast2 me-central2 us-west2
me-west1 us-west3
us-west4

Limitations connues des transferts de système de fichiers

Aucune assistance en temps réel

Le service de transfert de stockage ne prend pas en charge la détection des modifications sub-horaires. Le service de transfert de stockage est un service de déplacement des données par lot qui peut analyser la source à une fréquence allant jusqu'à une fois par heure.

Configurations du système d'exploitation compatibles

Les agents de transfert s'exécutent dans des conteneurs Docker ou Podman sur des serveurs Linux ou des machines virtuelles (VM). Pour copier des données sur un système de fichiers CIFS ou SMB, vous pouvez installer le volume sur un serveur ou une VM Linux, puis exécuter l'agent à partir de ce serveur ou de cette VM Linux.

Exigences relatives à la mémoire

Voici les exigences de mémoire pour les agents de transfert :
  • Mémoire minimale : 1 Gio
  • Mémoire minimale pour effectuer des importations hautes performances : 6 Gio

Limitations de scaling

Le service de transfert de stockage prend en charge les transferts individuels qui représentent :

  • Des centaines de téraoctets
  • Jusqu'à 1 milliard de fichiers
  • Plusieurs dizaines de Gbit/s en vitesse de transfert

Les transferts individuels supérieurs à ces tailles sont fiables, mais leur performance n'a pas été testée.

Si vous disposez d'un ensemble de données d'une taille supérieure à ces limites, nous vous recommandons de répartir vos données sur plusieurs tâches de transfert.

Nous prenons actuellement en charge les répertoires volumineux, à condition que chaque agent dispose d'au moins 1 Go de mémoire pour chaque million de fichiers du répertoire le plus volumineux, ce qui nous permet d'itérer le contenu du répertoire sans dépasser la mémoire.

Limites des agents et des pools d'agents

Nous acceptons jusqu'à 100 agents pour un seul pool d'agents. Il est peu probable que vous ayez besoin de plus d'agents pour obtenir de meilleures performances dans les environnements classiques.

Vous pouvez utiliser jusqu'à 800 pools d'agents par projet.

Un seul répertoire par tâche

Chaque job de transfert transfère le contenu d'un répertoire du système de fichiers (de manière récursive). Pour ne transférer que certains fichiers de ce répertoire, utilisez un fichier manifeste. Pour transférer plusieurs répertoires, créez un job par répertoire. La globbing de fichiers n'est pas compatible avec les transferts de systèmes de fichiers.

Noms de fichiers pris en charge

Les règles suivantes s'appliquent à tous les noms de fichiers faisant partie d'un transfert :

  • Les noms de fichiers doivent utiliser l'encodage UTF-8.
  • Les noms de fichiers doivent être compatibles avec Unicode.
  • Ils ne doivent pas contenir de saut de ligne (\n) ni de retour chariot (\r).

Si votre répertoire source contient des noms de fichiers non compatibles, la tâche de listage des fichiers de ce répertoire échoue.

Si cela se produit, mettez à jour les noms de fichiers non compatibles et réexécutez le job.

Types de fichiers compatibles

Le service de transfert de stockage permet de transférer des fichiers standards et des fichiers cachés de type Unix. Les fichiers cachés de type Unix sont des fichiers commençant par le caractère .. Lorsque le service de transfert de stockage rencontre un fichier non standard, tel qu'un appareil, un pipeline nommé ou un socket, il génère une erreur UNSUPPORTED_FILE_MODE.

Les répertoires vides ne sont pas créés dans Cloud Storage, car les objets ne font pas partie de sous-répertoires au sein d'un bucket. Pour en savoir plus, consultez Espace de noms d'objets.

Longueur de chemin maximale

Le service de transfert de stockage suit la longueur de chemin maximale de Cloud Storage, qui est de 1 024 octets. Le préfixe d'objet pour l'objet de destination est inclus dans la limite de longueur, car le préfixe est incorporé dans le nom de l'objet dans Cloud Storage.

Métadonnées de fichiers prises en charge

Consultez la section Conservation des métadonnées pour en savoir plus sur les métadonnées conservées, par défaut ou en option.

Mises en veille de tâches étendues

Les tâches mises en pause pendant plus de 30 jours sont considérées comme inactives. Lorsqu'une tâche est inactive, le tâche mise en pause est abandonnée, et la planification de la configuration de la tâche est désactivée. Aucune nouvelle exécution de la tâche ne démarre sauf si vous réactivez explicitement cette tâche.

Sécurité de la source du système de fichiers

Accès des agents

Les utilisateurs autorisés à créer des jobs de transfert peuvent récupérer des données à partir de n'importe quel répertoire du système de fichiers accessible par l'agent et y télécharger des données. Si les agents sont exécutés en tant qu'utilisateur racine et qu'ils ont accès à l'ensemble du système de fichiers, une personne malveillante peut prendre le contrôle de l'hôte. Nous vous recommandons vivement de limiter l'accès des agents aux seuls répertoires nécessaires.