Questo principio del pilastro della sostenibilità del Google Cloud Well-Architected Framework fornisce suggerimenti per aiutarti a ottimizzare l'efficienza a risparmio energetico e l'impronta di carbonio delle tue risorse di archiviazione in Google Cloud.
Panoramica del principio
I dati archiviati non sono una risorsa passiva. L'energia viene consumata e le emissioni di anidride carbonica si verificano durante l'intero ciclo di vita dei dati. Ogni gigabyte di dati archiviati richiede un'infrastruttura fisica che viene continuamente alimentata, raffreddata e gestita. Per ottenere un'architettura cloud sostenibile, tratta i dati come un asset prezioso, ma costoso dal punto di vista ambientale, e dai priorità alla governance dei dati proattiva.
Le tue decisioni in merito alla conservazione dei dati, alla qualità e alla località possono aiutarti a ottenere riduzioni sostanziali dei costi del cloud e del consumo energetico. Riduci al minimo i dati che archivi, ottimizza dove e come li archivi e implementa strategie di eliminazione e archiviazione automatizzate. Quando riduci il disordine dei dati, migliori le prestazioni del sistema e riduci fondamentalmente l'impatto ambientale a lungo termine dei tuoi dati.
Consigli
Per ottimizzare il ciclo di vita dei dati e le risorse di archiviazione in un'ottica di sostenibilità, considera i suggerimenti riportati nelle sezioni seguenti.
Dai la priorità ai dati di alto valore
I dati archiviati inutilizzati, duplicati o obsoleti continuano a consumare energia per alimentare l'infrastruttura sottostante. Per ridurre l'impronta di carbonio relativa allo spazio di archiviazione, utilizza le seguenti tecniche.
Identifica ed elimina i duplicati
Stabilisci policy per impedire la replica non necessaria di set di dati in più progetti o servizi Google Cloud . Utilizza repository di dati centrali come set di dati BigQuery o bucket Cloud Storage come Single Source Of Truth e concedi l'accesso appropriato a questi repository.
Rimuovi i dati shadow e i dark data
I dark data sono dati per i quali l'utilità o il proprietario sono sconosciuti. Per shadow data si intendono le copie non autorizzate dei dati. Scansiona i tuoi sistemi di archiviazione e trova i dark data e gli shadow data utilizzando una soluzione di rilevamento e catalogazione dei dati come Knowledge Catalog. Controlla regolarmente questi risultati e implementa un processo per l'archiviazione o l'eliminazione di dati dark e shadow, a seconda dei casi.
Riduci al minimo il volume di dati per i workload di AI
Archivia solo le caratteristiche e i dati elaborati necessari per l'addestramento e la distribuzione del modello. Se possibile, utilizza tecniche come il campionamento dei dati, l'aggregazione e la generazione di dati sintetici per ottenere prestazioni del modello senza fare affidamento su set di dati non elaborati di grandi dimensioni.
Integra i controlli sulla qualità dei dati
Implementa pipeline automatiche di convalida e pulizia dei dati utilizzando servizi come Managed Service for Apache Spark, Dataflow o Knowledge Catalog al momento dell'importazione dati. I dati di bassa qualità causano uno spreco di spazio di archiviazione. Inoltre, comporta un consumo energetico non necessario quando i dati vengono utilizzati in un secondo momento per l'analisi o l'addestramento dell'AI.
Esamina la densità del valore dei dati
Esamina periodicamente i set di dati ad alto volume, come i log e gli stream IoT. Determina se i dati possono essere riepilogati, aggregati o sottoposti a downsampling per mantenere la densità delle informazioni richiesta e ridurre il volume di archiviazione fisica.
Valuta in modo critico la necessità di backup
Valuta la necessità di eseguire backup dei dati che puoi rigenerare con il minimo sforzo. Esempi di questi dati includono risultati ETL intermedi, cache temporanee e dati di addestramento derivati da un'origine stabile e permanente. Conserva i backup solo per i dati unici o costosi da ricreare.
Ottimizza la gestione del ciclo di vita dello spazio di archiviazione
Automatizza il ciclo di vita dello spazio di archiviazione in modo che, quando l'utilità dei dati diminuisce, questi vengano spostati in una classe di archiviazione a risparmio energetico o ritirati, a seconda dei casi. Utilizza le seguenti tecniche.
Seleziona una classe di Cloud Storage appropriata
Automatizza la transizione dei dati in Cloud Storage a classi di archiviazione a basse emissioni di carbonio in base alla frequenza di accesso utilizzando la gestione del ciclo di vita degli oggetti.
- Utilizza Standard Storage solo per i set di dati utilizzati attivamente, come i modelli di produzione attuali.
- Sposta i dati di transizione, come i set di dati di addestramento AI meno recenti o i backup ad accesso meno frequente, nello spazio di archiviazione Nearline o Coldline.
- Per la conservazione a lungo termine, utilizza l'archiviazione Archive, ottimizzata per l'efficienza energetica su larga scala.
Implementa policy aggressive per il ciclo di vita dei dati
Definisci policy di durata (TTL) chiare e automatizzate per i dati non essenziali, come file di log, artefatti di modelli temporanei e risultati intermedi obsoleti. Utilizza le regole del ciclo di vita per eliminare automaticamente questi dati dopo un periodo di tempo definito.
Imponi il tagging delle risorse
Imponi l'uso di etichette e tag delle risorse coerenti per tutti i bucket Cloud Storage, i set di dati BigQuery e i dischi permanenti. Crea tag che indicano il proprietario dei dati, lo scopo dei dati e il periodo di conservazione. Utilizza i vincoli del servizio policy dell'organizzazione per assicurarti che i tag richiesti, come il periodo di conservazione, vengano applicati alle risorse. I tag ti consentono di automatizzare la gestione del ciclo di vita, creare report FinOps granulari e generare report sulle emissioni di anidride carbonica.
Dimensiona correttamente ed esegui il deprovisioning dello spazio di archiviazione di computing
Controlla regolarmente i dischi permanenti collegati alle istanze Compute Engine e assicurati che non sia stato eseguito l'overprovisioning dei dischi. Utilizza gli snapshot solo quando sono necessari per il backup. Elimina gli snapshot vecchi e inutilizzati. Per i database, utilizza le policy sulla conservazione dei dati per ridurre le dimensioni dei Persistent Disk sottostanti.
Ottimizza il formato di archiviazione
Per lo spazio di archiviazione che gestisce i workload di analisi, preferisci formati compressi e colonnari come Parquet o Avro ottimizzato rispetto a formati basati su righe come JSON o CSV. L'archiviazione a colonne riduce notevolmente i requisiti di spazio su disco fisico e migliora l'efficienza di lettura. Questa ottimizzazione contribuisce a ridurre il consumo energetico per le operazioni di calcolo e I/O associate.
Ottimizza la regionalità e lo spostamento dei dati
La posizione fisica e lo spostamento dei dati influiscono sul consumo di risorse di rete e sull'energia necessaria per l'archiviazione. Ottimizza la regionalità dei dati utilizzando le seguenti tecniche.
Seleziona regioni di archiviazione a bassa emissione di CO2
A seconda dei requisiti di conformità, archivia i dati nelle regioni Google Cloud che utilizzano una percentuale maggiore di energia a zero emissioni di CO2 (CFE) o che hanno un'intensità di carbonio della rete inferiore. Limita la creazione di bucket di archiviazione nelle regioni ad alte emissioni di CO2 utilizzando il vincolo della policy dell'organizzazione Località delle risorse. Per informazioni sui dati relativi all'energia a zero emissioni di CO2 e all'intensità di carbonio per le regioni Google Cloud , consulta Energia a zero emissioni di CO2 per le regioni Google Cloud .
Riduci al minimo la replica
Replica i dati tra le regioni solo per soddisfare i requisiti obbligatori di ripristino di emergenza (RE) o alta affidabilità (HA). Le operazioni di replica tra regioni e multiregionale aumentano in modo significativo il costo energetico e l'impronta di carbonio dei tuoi dati.
Ottimizza le località di trattamento dati
Per ridurre il consumo energetico per il trasferimento dei dati di rete, esegui il deployment di workload ad alta intensità di calcolo, come l'addestramento dell'AI e l'elaborazione di BigQuery, nella stessa regione dell'origine dati.
Ottimizza lo spostamento dei dati per i tuoi partner e clienti
Per spostare grandi volumi di dati tra servizi, località e provider cloud, incoraggia i tuoi partner e clienti a utilizzare Storage Transfer Service o le API di condivisione dei dati. Evita i dump di dati di massa. Per i set di dati pubblici, utilizza i bucket Pagamenti del richiedente per trasferire i costi di trasferimento di dati ed elaborazione e l'impatto ambientale agli utenti finali.