Este principio del pilar de sustentabilidad del Google Cloud Well-Architected Framework proporciona recomendaciones para ayudarte a optimizar la eficiencia energética y la huella de carbono de tus recursos de almacenamiento en Google Cloud.
Descripción general del principio
Los datos almacenados no son un recurso pasivo. Se consume energía y se producen emisiones de carbono durante todo el ciclo de vida de los datos. Cada gigabyte de datos almacenados requiere infraestructura física que se alimenta, enfría y administra de forma continua. Para lograr una arquitectura de nube sostenible, trata los datos como un recurso valioso, pero costoso para el medioambiente, y prioriza la administración de datos proactiva.
Tus decisiones sobre la retención de datos, la calidad y la ubicación de los datos pueden ayudarte a lograr reducciones sustanciales en los costos de la nube y el consumo de energía. Minimiza los datos que almacenas, optimiza dónde y cómo los almacenas, y, además, implementa estrategias de eliminación y archivado automatizadas. Cuando reduces el desorden de datos, mejoras el rendimiento del sistema y, fundamentalmente, reduces el impacto ambiental a largo plazo de tus datos.
Recomendaciones
Para optimizar el ciclo de vida de los datos y los recursos de almacenamiento para la sustentabilidad, considera las recomendaciones de las siguientes secciones.
Prioriza los datos de alto valor
Los datos almacenados que no se usan, están duplicados o son obsoletos siguen consumiendo energía para alimentar la infraestructura subyacente. Para reducir la huella de carbono relacionada con el almacenamiento, usa las siguientes técnicas.
Identifica y elimina la duplicación
Establece políticas para evitar la replicación innecesaria de conjuntos de datos en varios proyectos o servicios de Google Cloud . Usa repositorios de datos centrales, como conjuntos de datos de BigQuery o buckets de Cloud Storage, como fuentes únicas de información y otorga el acceso adecuado a estos repositorios.
Quita los datos ocultos y los datos oscuros
Los datos oscuros son datos cuya utilidad o propietario se desconocen. Los datos ocultos son copias no autorizadas de datos. Analiza tus sistemas de almacenamiento y encuentra datos oscuros y datos ocultos con una solución de descubrimiento y catalogación de datos como Knowledge Catalog. Audita estos hallazgos con regularidad y, según corresponda, implementa un proceso para archivar o borrar los datos oscuros y ocultos.
Minimiza el volumen de datos para las cargas de trabajo de IA
Almacena solo los atributos y los datos procesados que se necesitan para el entrenamiento y la entrega de modelos. Cuando sea posible, usa técnicas como el muestreo de datos, la agregación y la generación de datos sintéticos para lograr el rendimiento del modelo sin depender de conjuntos de datos sin procesar masivos.
Integra verificaciones de la calidad de los datos
Implementa canalizaciones automáticas de validación y limpieza de datos con servicios como Managed Service para Apache Spark, Dataflow o Knowledge Catalog en el punto de ingesta de datos. Los datos de baja calidad provocan un desperdicio de espacio de almacenamiento. También genera un consumo de energía innecesario cuando los datos se usan más adelante para análisis o entrenamiento de IA.
Revisa la densidad de valor de los datos
Revisa periódicamente los conjuntos de datos de gran volumen, como los registros y las transmisiones de IoT. Determina si se puede resumir, agregar o reducir la muestra de algún dato para mantener la densidad de información requerida y reducir el volumen de almacenamiento físico.
Evalúa de manera crítica la necesidad de realizar copias de seguridad
Evalúa la necesidad de crear copias de seguridad de los datos que puedes volver a generar con un esfuerzo mínimo. Algunos ejemplos de estos datos son los resultados de ETL intermedios, las cachés efímeras y los datos de entrenamiento que se derivan de una fuente estable y permanente. Conserva las copias de seguridad solo para los datos que sean únicos o costosos de volver a crear.
Optimiza la administración del ciclo de vida del almacenamiento
Automatiza el ciclo de vida del almacenamiento para que, cuando disminuya la utilidad de los datos, estos se muevan a una clase de almacenamiento con eficiencia energética o se retiren, según corresponda. Usa las siguientes técnicas.
Selecciona una clase de Cloud Storage adecuada
Automatiza la transición de los datos en Cloud Storage a clases de almacenamiento con menos emisiones de carbono según la frecuencia de acceso con la Administración del ciclo de vida de los objetos.
- Usa el almacenamiento estándar solo para los conjuntos de datos que se usan de forma activa, como los modelos de producción actuales.
- Transfiere datos, como conjuntos de datos de entrenamiento de IA más antiguos o copias de seguridad a las que se accede con menos frecuencia, al almacenamiento de Nearline o Coldline Storage.
- Para la retención a largo plazo, usa Archive Storage, que está optimizado para la eficiencia energética a gran escala.
Implementa políticas agresivas de ciclo de vida de los datos
Define políticas de tiempo de actividad (TTL) claras y automatizadas para los datos no esenciales, como los archivos de registro, los artefactos de modelos temporales y los resultados intermedios desactualizados. Usa reglas de ciclo de vida para borrar automáticamente esos datos después de un período definido.
Obliga a etiquetar los recursos
Exige el uso de etiquetas de recursos coherentes para todos tus buckets de Cloud Storage, conjuntos de datos de BigQuery y discos persistentes. Crea etiquetas que indiquen el propietario de los datos, el propósito de los datos y el período de retención. Usa las restricciones del servicio de políticas de la organización para asegurarte de que se apliquen las etiquetas obligatorias, como el período de retención, a los recursos. Las etiquetas te permiten automatizar la administración del ciclo de vida, crear informes detallados de FinOps y producir informes de emisiones de carbono.
Redimensiona y desaprovisiona el almacenamiento de procesamiento
Audita con regularidad los discos persistentes que están conectados a las instancias de Compute Engine y asegúrate de que no estén aprovisionados en exceso. Usa instantáneas solo cuando sean necesarias para la copia de seguridad. Borra las instantáneas antiguas que no se usen. En el caso de las bases de datos, usa políticas de retención de datos para reducir el tamaño de los discos persistentes subyacentes.
Optimiza el formato de almacenamiento
Para el almacenamiento que entrega cargas de trabajo de estadísticas, prefiere los formatos comprimidos y en columnas, como Parquet o Avro optimizado, en lugar de los formatos basados en filas, como JSON o CSV. El almacenamiento en columnas reduce significativamente los requisitos de espacio en el disco físico y mejora la eficiencia de lectura. Esta optimización ayuda a reducir el consumo de energía de las operaciones de procesamiento y de E/S asociadas.
Optimiza la regionalidad y el movimiento de datos
La ubicación física y el movimiento de tus datos afectan el consumo de recursos de red y la energía necesaria para el almacenamiento. Optimiza la regionalidad de los datos con las siguientes técnicas.
Selecciona regiones de almacenamiento con bajas emisiones de carbono
Según tus requisitos de cumplimiento, almacena datos en regiones de Google Cloud que usen un porcentaje más alto de energía libre de carbono (CFE) o que tengan una menor intensidad de carbono en la red. Restringe la creación de buckets de almacenamiento en regiones con altas emisiones de carbono con la restricción de la política de la organización ubicaciones de recursos. Para obtener información sobre los datos de CFE y de intensidad de carbono de las regiones de Google Cloud , consulta Energía libre de carbono para las regiones de Google Cloud .
Minimiza la replicación
Replica los datos entre regiones solo para cumplir con los requisitos obligatorios de recuperación ante desastres (DR) o alta disponibilidad (HA). Las operaciones de replicación entre regiones y multirregionales aumentan de forma significativa el costo de energía y la huella de carbono de tus datos.
Optimiza las ubicaciones de procesamiento de datos
Para reducir el consumo de energía en la transferencia de datos de red, implementa las cargas de trabajo de procesamiento intensivo, como el entrenamiento de IA y el procesamiento de BigQuery, en la misma región que la fuente de datos.
Optimiza el movimiento de datos para tus socios y clientes
Para mover grandes volúmenes de datos entre servicios, ubicaciones y proveedores de nube, alienta a tus socios y clientes a usar el Servicio de transferencia de almacenamiento o las APIs de uso compartido de datos. Evita los volcados de datos masivos. En el caso de los conjuntos de datos públicos, usa buckets de pago por el solicitante para transferir los costos de transferencia de datos y procesamiento, y el impacto ambiental a los usuarios finales.