Google Cloud Well-Architected Framework 可持续性核心中的这一原则提供了相关建议，可帮助您优化 Google Cloud中存储资源的能效和碳足迹。
原则概览
存储的数据不是被动资源。在数据的整个生命周期中， 都会消耗能源并产生碳排放。每存储 1 GB 的数据，都需要物理基础设施持续供电、冷却和管理。为了实现可持续的云架构，请将数据视为有价值但会造成环境成本的资产，并优先考虑主动数据治理。
您在数据保留、质量和位置方面的决策可以帮助您大幅降低云费用和能源消耗。尽量减少存储的数据，优化存储数据的位置和方式，并实施自动删除和归档策略。减少数据杂乱后，您可以提高系统性能，并从根本上减少数据的长期环境足迹。
建议
如需优化数据生命周期和存储资源以实现可持续性，请考虑以下部分中的建议。
优先考虑高价值数据
存储的未使用、重复或过时的数据会继续消耗能源，为底层基础设施供电。如需减少与存储相关的碳足迹，请使用以下方法。
识别并消除重复
制定政策，防止在多个 Google Cloud 项目或服务中不必要地复制数据集。使用 BigQuery 数据集或 Cloud Storage 存储桶等中央数据存储库作为单一事实来源，并向这些存储库授予适当的访问权限。
移除影子数据和暗数据
暗数据是指用途或所有者未知的数据。影子数据是指未经授权的数据副本。使用 Knowledge Catalog 等数据发现和编目解决方案扫描存储系统，查找暗数据和影子数据。定期审核这些发现结果，并实施适当的流程来归档或删除暗数据和影子数据。
最大限度地减少 AI 工作负载的数据量
仅存储模型训练和应用所需的特征和处理后的数据。尽可能使用数据抽样、汇总和合成数据生成等技术，在不依赖海量原始数据集的情况下实现模型性能。
集成数据质量检查
在数据注入时，使用 Managed Service for Apache Spark、Dataflow 或 Knowledge Catalog 等服务实现自动数据验证和数据清理流水线。低质量数据会导致存储空间浪费。此外，当这些数据后续用于分析或 AI 训练时，还会导致不必要的能源消耗。
查看数据的价值密度
定期检查日志和 IoT 数据流等高容量数据集。确定是否可以对任何数据进行汇总、聚合或下采样，以保持所需的信息密度并减少物理存储量。
严格评估备份需求
评估是否需要备份可以轻松重新生成的数据。此类数据的示例包括中间 ETL 结果、临时缓存以及从稳定的永久性来源派生的训练数据。仅保留唯一或重新创建成本高昂的数据的备份。
优化存储生命周期管理
实现存储生命周期自动化，以便在数据效用下降时，将数据移至高效利用能源的存储类别或视情况停用。请使用以下方法。
选择适当的 Cloud Storage 类别
使用对象生命周期管理，根据访问频率自动将 Cloud Storage 中的数据转换为低碳存储类别。
- 仅对活跃使用的数据集（例如当前生产模型）使用 Standard Storage。
- 将较旧的 AI 训练数据集或访问频率较低的备份等数据转换为 Nearline 或 Coldline Storage。
- 对于长期保留，请使用 Archive Storage，该存储类别经过优化，可大规模提高能效。
实施积极的数据生命周期政策
为非必要数据（例如日志文件、临时模型工件和过时的中间结果）定义明确、自动化的存留时间 (TTL) 政策。使用生命周期规则在指定时间段后自动删除此类数据。
强制执行资源标记
强制要求为所有 Cloud Storage 存储桶、BigQuery 数据集和永久性磁盘使用一致的资源标记和标签。创建用于指明数据所有者、数据用途和保留期限的标签。使用 Organization Policy Service 限制条件，确保将所需标记（例如保留期限）应用于资源。借助标记，您可以自动执行生命周期管理、创建精细的 FinOps 报告以及生成碳排放报告。
合理调整计算存储空间并取消预配
定期审核挂接到 Compute Engine 实例的永久性磁盘，并确保这些磁盘未过度预配。仅在需要备份时使用快照。删除旧的、未使用的快照。对于数据库，请使用数据保留政策来缩减底层永久性磁盘的大小。
优化存储格式
对于服务于分析工作负载的存储，应优先选择 Parquet 或经过优化的 Avro 等压缩列式格式，而不是 JSON 或 CSV 等基于行的格式。列式存储可显著降低物理磁盘可用空间要求并提高读取效率。这种优化有助于降低相关计算和 I/O 操作的能源消耗。
优化区域性和数据移动
数据的物理位置和移动会影响网络资源的消耗以及存储所需的能源。使用以下方法优化数据区域性。
选择低碳存储区域
根据您的合规性要求，将数据存储在 Google Cloud 使用较高比例无碳能源 (CFE) 或电网碳强度较低的区域。使用资源位置组织政策限制条件，限制在高碳区域创建存储桶。如需了解 Google Cloud 区域的 CFE 和碳强度数据，请参阅 Google Cloud 区域的无碳能源。
最大限度减少复制
仅在满足强制性灾难恢复 (DR) 或高可用性 (HA) 要求时，才跨区域复制数据。跨区域和多区域复制操作会显著增加数据的能源成本和碳足迹。
优化数据处理位置
为了减少网络数据传输的能源消耗，请在数据源所在的区域中部署 AI 训练和 BigQuery 处理等计算密集型工作负载。
为合作伙伴和客户优化数据移动
如需在云服务、位置和提供商之间移动大量数据，请鼓励您的合作伙伴和客户使用 Storage Transfer Service 或数据共享 API。避免大量数据转储。对于公共数据集，请使用请求者付款存储桶，将数据传输和处理费用以及环境影响转移给最终用户。