Dieses Prinzip in der Nachhaltigkeitssäule des Google Cloud Well-Architected Framework enthält Empfehlungen zur Optimierung der Energieeffizienz und der CO₂-Bilanz Ihrer Speicherressourcen in Google Cloud.
Übersicht über die Prinzipien
Gespeicherte Daten sind keine passive Ressource. Während des gesamten Lebenszyklus von Daten wird Energie verbraucht und es entstehen CO₂-Emissionen. Jedes Gigabyte gespeicherter Daten erfordert eine physische Infrastruktur, die kontinuierlich mit Strom versorgt, gekühlt und verwaltet werden muss. Für eine nachhaltige Cloud-Architektur sollten Sie Daten als wertvolles, aber umweltschädliches Asset behandeln und proaktive Data Governance priorisieren.
Ihre Entscheidungen zur Datenaufbewahrung, -qualität und -speicherung können Ihnen helfen, die Cloud-Kosten und den Energieverbrauch erheblich zu senken. Minimieren Sie die Daten, die Sie speichern, optimieren Sie, wo und wie Sie Daten speichern, und implementieren Sie automatisierte Lösch- und Archivierungsstrategien. Wenn Sie Datenmüll reduzieren, verbessern Sie die Systemleistung und verringern den langfristigen ökologischen Fußabdruck Ihrer Daten.
Empfehlungen
Wenn Sie den Datenlebenszyklus und die Speicherressourcen im Hinblick auf Nachhaltigkeit optimieren möchten, sollten Sie die Empfehlungen in den folgenden Abschnitten berücksichtigen.
Hochwertige Daten priorisieren
Gespeicherte Daten, die nicht verwendet werden, dupliziert oder veraltet sind, verbrauchen weiterhin Energie, um die zugrunde liegende Infrastruktur zu betreiben. Mit den folgenden Techniken können Sie die speicherbezogene CO₂-Bilanz reduzieren.
Duplikate identifizieren und entfernen
Legen Sie Richtlinien fest, um die unnötige Replikation von Datasets über mehrere Google Cloud -Projekte oder -Dienste hinweg zu verhindern. Verwenden Sie zentrale Daten-Repositories wie BigQuery-Datasets oder Cloud Storage-Buckets als zentrale Informationsquellen und gewähren Sie entsprechenden Zugriff auf diese Repositories.
Schatten- und Dark Data entfernen
Dark Data sind Daten, deren Nutzen oder Eigentümer unbekannt ist. Schattendatensätze sind nicht autorisierte Kopien von Daten. Scannen Sie Ihre Speichersysteme und finden Sie Dark Data und Shadow Data mit einer Lösung zur Datenerkennung und -katalogisierung wie Knowledge Catalog. Überprüfen Sie diese Ergebnisse regelmäßig und implementieren Sie einen Prozess zur Archivierung oder Löschung von Dark Data und Schattendaten, sofern erforderlich.
Datenvolumen für KI-Arbeitslasten minimieren
Speichern Sie nur die Features und verarbeiteten Daten, die für das Modelltraining und die Bereitstellung erforderlich sind. Verwenden Sie nach Möglichkeit Techniken wie Stichprobenerhebung, Aggregation und Generierung synthetischer Daten, um die Modellleistung zu erreichen, ohne auf riesige Rohdatensätze angewiesen zu sein.
Datenqualitätsprüfungen einbinden
Implementieren Sie automatische Datenvalidierungs- und Datenbereinigungspipelines mit Diensten wie Managed Service for Apache Spark, Dataflow oder Knowledge Catalog am Punkt der Datenaufnahme. Daten von geringer Qualität führen zu verschwendetem Speicherplatz. Außerdem führt es zu unnötigem Energieverbrauch, wenn die Daten später für Analysen oder KI-Training verwendet werden.
Wertdichte von Daten prüfen
Überprüfen Sie regelmäßig Datasets mit hohem Volumen, z. B. Logs und IoT-Streams. Prüfen Sie, ob Daten zusammengefasst, aggregiert oder herunterskaliert werden können, um die erforderliche Informationsdichte beizubehalten und das physische Speichervolumen zu reduzieren.
Notwendigkeit von Sicherungen kritisch bewerten
Prüfen Sie, ob Sicherungen von Daten erforderlich sind, die Sie mit minimalem Aufwand neu generieren können. Beispiele für solche Daten sind ETL-Zwischenergebnisse, sitzungsspezifische Caches und Trainingsdaten, die aus einer stabilen, dauerhaften Quelle stammen. Bewahren Sie nur Sicherungen von Daten auf, die eindeutig sind oder deren Neuerstellung teuer ist.
Verwaltung des Speicherlebenszyklus optimieren
Automatisieren Sie den Speicherlebenszyklus, sodass Daten, wenn sie nicht mehr benötigt werden, in eine energieeffiziente Speicherklasse verschoben oder gegebenenfalls gelöscht werden. Verwenden Sie die folgenden Techniken.
Geeignete Cloud Storage-Klasse auswählen
Automatisieren Sie die Umstellung von Daten in Cloud Storage auf Speicherklassen mit geringerem CO₂-Ausstoß basierend auf der Zugriffshäufigkeit mithilfe der Verwaltung des Objektlebenszyklus.
- Verwenden Sie Standard Storage nur für aktiv verwendete Datasets, z. B. aktuelle Produktionsmodelle.
- Übertragen Sie Daten wie ältere KI-Trainings-Datasets oder seltener aufgerufene Sicherungen in Nearline- oder Coldline Storage.
- Verwenden Sie für die langfristige Aufbewahrung Archive Storage, der für Energieeffizienz im großen Maßstab optimiert ist.
Aggressive Richtlinien für den Datenlebenszyklus implementieren
Definieren Sie klare, automatisierte TTL-Richtlinien (Time to Live) für nicht wesentliche Daten wie Logdateien, temporäre Modellartefakte und veraltete Zwischenergebnisse. Verwenden Sie Lebenszyklusregeln, um solche Daten nach einem bestimmten Zeitraum automatisch zu löschen.
Ressourcen-Tagging vorschreiben
Schreiben Sie die Verwendung einheitlicher Ressourcen-Tags und ‑Labels für alle Ihre Cloud Storage-Buckets, BigQuery-Datasets und nichtflüchtigen Speicher vor. Erstellen Sie Tags, die den Dateninhaber, den Zweck der Daten und die Aufbewahrungsdauer angeben. Verwenden Sie Einschränkungen des Organisationsrichtliniendienstes, um dafür zu sorgen, dass erforderliche Tags wie die Aufbewahrungsdauer auf Ressourcen angewendet werden. Mit Tags können Sie die Lebenszyklusverwaltung automatisieren, detaillierte FinOps-Berichte erstellen und Berichte zu CO₂-Emissionen generieren.
Computing-Speicher anpassen und die Bereitstellung aufheben
Prüfen Sie regelmäßig nichtflüchtige Speicher, die an Compute Engine-Instanzen angehängt sind, und achten Sie darauf, dass die Speicher nicht überdimensioniert sind. Verwenden Sie Snapshots nur, wenn sie für die Sicherung erforderlich sind. Löschen Sie alte, nicht verwendete Snapshots. Verwenden Sie für Datenbanken Richtlinien zur Datenaufbewahrung, um die Größe der zugrunde liegenden nichtflüchtigen Speicher zu reduzieren.
Speicherformat optimieren
Für Speicher, der für Analysearbeitslasten verwendet wird, sollten Sie komprimierte, spaltenbasierte Formate wie Parquet oder optimiertes Avro gegenüber zeilenbasierten Formaten wie JSON oder CSV bevorzugen. Durch die spaltenbasierte Speicherung wird der physische Speicherplatzbedarf erheblich reduziert und die Leseeffizienz verbessert. Durch diese Optimierung wird der Energieverbrauch für die zugehörigen Rechen- und E/A-Vorgänge reduziert.
Regionalität und Datenverschiebung optimieren
Der physische Standort und die Bewegung Ihrer Daten wirken sich auf den Verbrauch von Netzwerkressourcen und die für die Speicherung erforderliche Energie aus. Optimieren Sie die Datenregionalität mit den folgenden Techniken.
CO₂-arme Speicherregionen auswählen
Je nach Ihren Compliance-Anforderungen können Sie Daten in Google Cloud Regionen speichern, die einen höheren Prozentsatz an CO₂-freier Energie (CFE) verwenden oder eine geringere CO₂-Intensität des Netzes aufweisen. Schränken Sie die Erstellung von Storage-Buckets in Regionen mit hohem CO₂-Ausstoß ein, indem Sie die Einschränkung Ressourcenstandorte der Organisationsrichtlinie verwenden. Informationen zu CFE- und CO₂-Intensitätsdaten für Google Cloud -Regionen finden Sie unter CO₂-freie Energie für Google Cloud -Regionen.
Replikation minimieren
Replizieren Sie Daten nur dann über Regionen hinweg, wenn dies für die Notfallwiederherstellung oder Hochverfügbarkeit erforderlich ist. Replikationsvorgänge über mehrere Regionen hinweg und multiregionale Replikationsvorgänge erhöhen die Energiekosten und die CO₂-Bilanz Ihrer Daten erheblich.
Standorte für die Datenverarbeitung optimieren
Um den Energieverbrauch für die Netzwerkdatenübertragung zu reduzieren, sollten Sie rechenintensive Arbeitslasten wie KI-Training und BigQuery-Verarbeitung in derselben Region wie die Datenquelle bereitstellen.
Datenbewegungen für Partner und Kunden optimieren
Wenn Sie große Datenmengen zwischen Cloud-Diensten, Standorten und Anbietern verschieben möchten, empfehlen Sie Ihren Partnern und Kunden, den Storage Transfer Service oder APIs für die Datenweitergabe zu verwenden. Vermeiden Sie Massendaten-Dumps. Verwenden Sie für öffentliche Datasets Anforderer bezahlt-Buckets, um die Kosten für die Datenübertragung und -verarbeitung sowie die Auswirkungen auf die Umwelt auf die Endnutzer zu verlagern.