Ce principe du pilier "Développement durable" du Google Cloud Framework d'architecture fournit des recommandations pour vous aider à optimiser l'efficacité énergétique et l'empreinte carbone de vos ressources de stockage dans Google Cloud.
Présentation du principe
Les données stockées ne sont pas une ressource passive. De l'énergie est consommée et des émissions de carbone sont générées tout au long du cycle de vie des données. Chaque gigaoctet de données stockées nécessite une infrastructure physique qui doit être alimentée, refroidie et gérée en permanence. Pour obtenir une architecture cloud durable, traitez les données comme un asset précieux, mais coûteux pour l'environnement, et donnez la priorité à une gouvernance proactive des données.
Vos décisions concernant la conservation, la qualité et l'emplacement des données peuvent vous aider à réduire considérablement les coûts du cloud et la consommation d'énergie. Réduisez la quantité de données que vous stockez, optimisez l'emplacement et la manière dont vous stockez les données, et mettez en œuvre des stratégies de suppression et d'archivage automatisées. En réduisant l'encombrement des données, vous améliorez les performances du système et réduisez fondamentalement l'empreinte écologique à long terme de vos données.
Recommandations
Pour optimiser le cycle de vie de vos données et vos ressources de stockage en vue d'une durabilité, tenez compte des recommandations des sections suivantes.
Prioriser les données de grande valeur
Les données stockées qui sont inutilisées, dupliquées ou obsolètes continuent de consommer de l'énergie pour alimenter l'infrastructure sous-jacente. Pour réduire l'empreinte carbone liée au stockage, utilisez les techniques suivantes.
Identifier et éliminer les doublons
Établissez des règles pour empêcher la réplication inutile d'ensembles de données sur plusieurs projets ou services Google Cloud . Utilisez des dépôts de données centraux tels que des ensembles de données BigQuery ou des buckets Cloud Storage comme sources uniques de vérité, et accordez l'accès approprié à ces dépôts.
Supprimer les données fantômes et les données sombres
Les données sombres sont des données dont l'utilité ou le propriétaire sont inconnus. Les données fantômes sont des copies non autorisées de données. Analysez vos systèmes de stockage et recherchez les données sombres et les données fantômes à l'aide d'une solution de découverte et de catalogage des données telle que Knowledge Catalog. Auditez régulièrement ces résultats et mettez en œuvre un processus d'archivage ou de suppression des données sombres et fantômes, le cas échéant.
Réduire le volume de données pour les charges de travail d'IA
Ne stockez que les caractéristiques et les données traitées nécessaires à l'entraînement et à la mise en service du modèle. Dans la mesure du possible, utilisez des techniques telles que l'échantillonnage de données, l'agrégation et la génération de données synthétiques pour obtenir des performances de modèle sans vous appuyer sur des ensembles de données brutes volumineux.
Intégrer des contrôles de la qualité des données
Implémentez des pipelines de validation et de nettoyage automatiques des données à l'aide de services tels que Managed Service pour Apache Spark, Dataflow ou Knowledge Catalog au moment de l'ingestion des données. Les données de mauvaise qualité entraînent un gaspillage de l'espace de stockage. Cela entraîne également une consommation d'énergie inutile lorsque les données sont utilisées ultérieurement pour l'analyse ou l'entraînement de l'IA.
Examiner la densité de valeur des données
Examinez régulièrement les ensembles de données volumineux, tels que les journaux et les flux IoT. Déterminez si des données peuvent être résumées, agrégées ou sous-échantillonnées pour maintenir la densité d'informations requise et réduire le volume de stockage physique.
Évaluer de manière critique le besoin de sauvegardes
Évaluez la nécessité de sauvegarder les données que vous pouvez régénérer avec un minimum d'effort. Il peut s'agir, par exemple, de résultats ETL intermédiaires, de caches éphémères et de données d'entraînement dérivées d'une source stable et permanente. Ne conservez que les sauvegardes des données uniques ou coûteuses à recréer.
Optimiser la gestion du cycle de vie du stockage
Automatisez le cycle de vie du stockage de sorte que, lorsque l'utilité des données diminue, elles soient déplacées vers une classe de stockage économe en énergie ou supprimées, selon le cas. Utilisez les techniques suivantes.
Sélectionner une classe Cloud Storage appropriée
Automatisez la transition des données dans Cloud Storage vers des classes de stockage à plus faible empreinte carbone en fonction de la fréquence d'accès à l'aide de la gestion du cycle de vie des objets.
- Utilisez le stockage Standard uniquement pour les ensembles de données activement utilisés, tels que les modèles de production actuels.
- Transférez les données telles que les anciens ensembles de données d'entraînement d'IA ou les sauvegardes moins fréquemment consultées vers le stockage Nearline ou Coldline.
- Pour la conservation à long terme, utilisez le stockage Archive, qui est optimisé pour l'efficacité énergétique à grande échelle.
Implémenter des règles agressives de cycle de vie des données
Définissez des règles de valeur TTL (Time To Live) claires et automatisées pour les données non essentielles, telles que les fichiers journaux, les artefacts de modèle temporaires et les résultats intermédiaires obsolètes. Utilisez des règles de cycle de vie pour supprimer automatiquement ces données après une période définie.
Imposer l'ajout de tags aux ressources
Imposez l'utilisation de tags et d'étiquettes de ressources cohérents pour tous vos buckets Cloud Storage, ensembles de données BigQuery et disques persistants. Créez des tags indiquant le propriétaire des données, l'objectif des données et la durée de conservation. Utilisez les contraintes du service de règles d'administration pour vous assurer que les tags requis, tels que la durée de conservation, sont appliqués aux ressources. Les tags vous permettent d'automatiser la gestion du cycle de vie, de créer des rapports FinOps précis et de générer des rapports sur les émissions de carbone.
Redimensionner et déprovisionner le stockage de calcul
Vérifiez régulièrement les disques persistants associés aux instances Compute Engine et assurez-vous qu'ils ne sont pas surprovisionnés. N'utilisez des instantanés que lorsqu'ils sont nécessaires pour la sauvegarde. Supprimez les anciens instantanés inutilisés. Pour les bases de données, utilisez des règles de conservation des données afin de réduire la taille des disques persistants sous-jacents.
Optimiser le format de stockage
Pour le stockage qui gère les charges de travail d'analyse, privilégiez les formats compressés en colonnes tels que Parquet ou Avro optimisé par rapport aux formats basés sur des lignes tels que JSON ou CSV. Le stockage en colonnes réduit considérablement les besoins en espace disque physique et améliore l'efficacité de la lecture. Cette optimisation permet de réduire la consommation d'énergie pour les opérations de calcul et d'E/S associées.
Optimiser la régionalité et le transfert de données
L'emplacement physique et le déplacement de vos données ont une incidence sur la consommation des ressources réseau et l'énergie requise pour le stockage. Optimisez la régionalité des données à l'aide des techniques suivantes.
Sélectionner des régions de stockage à faible émission de carbone
En fonction de vos exigences de conformité, stockez les données dans des régions Google Cloud qui utilisent un pourcentage plus élevé d'énergie décarbonée (CFE) ou qui ont une intensité carbone du réseau plus faible. Limitez la création de buckets de stockage dans les régions à forte empreinte carbone à l'aide de la contrainte de règle d'administration Emplacements des ressources. Pour en savoir plus sur les données CFE et d'intensité carbone pour les régions Google Cloud , consultez Énergie décarbonée pour les régions Google Cloud .
Réduire la réplication
Ne répliquez les données entre les régions que pour répondre aux exigences obligatoires de reprise après sinistre (DR) ou de haute disponibilité (HA). Les opérations de réplication interrégionale et multirégionale augmentent considérablement le coût énergétique et l'empreinte carbone de vos données.
Optimiser les emplacements de traitement des données
Pour réduire la consommation d'énergie liée au transfert de données réseau, déployez les charges de travail nécessitant beaucoup de ressources de calcul, comme l'entraînement de l'IA et le traitement BigQuery, dans la même région que la source de données.
Optimiser le déplacement des données pour vos partenaires et vos clients
Pour déplacer de grands volumes de données entre des services cloud, des emplacements et des fournisseurs, encouragez vos partenaires et vos clients à utiliser le service de transfert de stockage ou des API de partage de données. Évitez les transferts de données massifs. Pour les ensembles de données publics, utilisez des buckets Paiements du demandeur pour transférer les coûts de transfert et de traitement des données, ainsi que l'impact environnemental, vers les utilisateurs finaux.