Este princípio no pilar de sustentabilidade do Google Cloud Well-Architected Framework fornece recomendações para ajudar você a otimizar a eficiência energética e a pegada de carbono dos seus recursos de armazenamento no Google Cloud.
Visão geral do princípio
Os dados armazenados não são um recurso passivo. A energia é consumida e as emissões de carbono ocorrem durante todo o ciclo de vida dos dados. Cada gigabyte de dados armazenados requer uma infraestrutura física que é continuamente alimentada, resfriada e gerenciada. Para alcançar uma arquitetura de nuvem sustentável, trate os dados como um ativo valioso, mas ambientalmente oneroso, e priorize a governança de dados proativa.
Suas decisões sobre retenção de dados, qualidade e localização podem ajudar você a reduzir substancialmente os custos de nuvem e o consumo de energia. Minimize os dados armazenados, otimize onde e como você armazena dados e implemente estratégias automatizadas de exclusão e arquivamento. Ao reduzir a desordem de dados, você melhora o desempenho do sistema e reduz fundamentalmente a pegada ambiental de longo prazo dos seus dados.
Recomendações
Para otimizar o ciclo de vida dos dados e os recursos de armazenamento para sustentabilidade, considere as recomendações nas seções a seguir.
Priorize dados de alto valor
Os dados armazenados que não são usados, estão duplicados ou são obsoletos continuam consumindo energia para alimentar a infraestrutura subjacente. Para reduzir a pegada de carbono relacionada ao armazenamento, use as técnicas a seguir.
Identificar e eliminar duplicações
Estabeleça políticas para evitar a replicação desnecessária de conjuntos de dados em vários projetos ou serviços do Google Cloud . Use repositórios de dados centrais, como conjuntos de dados do BigQuery ou buckets do Cloud Storage, como únicas fontes de verdade e conceda acesso apropriado a esses repositórios.
Remover dados de sombra e dados obscuros
Dados obscuros são dados em que o utilitário ou o proprietário é desconhecido. Dados de sombra significa cópias não autorizadas de dados. Verifique seus sistemas de armazenamento e encontre dados obscuros e dados de sombra usando uma solução de descoberta e catalogação de dados, como o Knowledge Catalog. Audite regularmente essas descobertas e implemente um processo de arquivamento ou exclusão de dados obscuros e ocultos, conforme apropriado.
Minimizar o volume de dados para cargas de trabalho de IA
Armazene apenas os atributos e os dados processados necessários para o treinamento e a disponibilização do modelo. Sempre que possível, use técnicas como amostragem de dados, agregação e geração de dados sintéticos para alcançar o desempenho do modelo sem depender de conjuntos de dados brutos massivos.
Integrar verificações de qualidade de dados
Implemente pipelines automáticos de validação e limpeza de dados usando serviços como o Serviço Gerenciado para Apache Spark, o Dataflow ou o Knowledge Catalog no momento da ingestão de dados. Dados de baixa qualidade desperdiçam espaço de armazenamento. Isso também leva ao consumo desnecessário de energia quando os dados são usados posteriormente para análise ou treinamento de IA.
Analisar a densidade de valor dos dados
Revise periodicamente conjuntos de dados de alto volume, como registros e streams de IoT. Determine se os dados podem ser resumidos, agregados ou reduzidos para manter a densidade de informações necessária e reduzir o volume de armazenamento físico.
Avaliar de forma crítica a necessidade de backups
Avalie a necessidade de backups de dados que podem ser gerados novamente com o mínimo de esforço. Exemplos desses dados incluem resultados de ETL intermediários, caches temporários e dados de treinamento derivados de uma fonte estável e permanente. Retenha backups apenas para os dados que são exclusivos ou caros para recriar.
Otimizar o gerenciamento do ciclo de vida do armazenamento
Automatize o ciclo de vida do armazenamento para que, quando a utilidade dos dados diminuir, eles sejam movidos para uma classe de armazenamento com eficiência energética ou desativados, conforme apropriado. Use as técnicas a seguir.
Selecionar uma classe apropriada do Cloud Storage
Automatize a transição de dados no Cloud Storage para classes de armazenamento com menor emissão de carbono com base na frequência de acesso usando o Gerenciamento do ciclo de vida de objetos.
- Use o Standard Storage apenas para conjuntos de dados usados ativamente, como modelos de produção atuais.
- Transfira dados, como conjuntos de dados de treinamento de IA mais antigos ou backups acessados com menos frequência, para o armazenamento Nearline ou Coldline Storage.
- Para retenção de longo prazo, use o Archive Storage, que é otimizado para eficiência energética em escala.
Implementar políticas agressivas de ciclo de vida de dados
Defina políticas de time to live (TTL) claras e automatizadas para dados não essenciais, como arquivos de registro, artefatos de modelo temporários e resultados intermediários desatualizados. Use regras de ciclo de vida para excluir automaticamente esses dados após um período definido.
Exigir a inclusão de tags em recursos
Exigir o uso de tags e rótulos de recursos consistentes para todos os buckets do Cloud Storage, conjuntos de dados do BigQuery e discos permanentes. Crie tags que indiquem o proprietário, a finalidade e o período de armazenamento dos dados. Use as restrições do serviço de políticas da organização para garantir que as tags necessárias, como o período de armazenamento, sejam aplicadas aos recursos. As tags permitem automatizar o gerenciamento do ciclo de vida, criar relatórios granulares de FinOps e produzir relatórios de emissões de carbono.
Dimensionar corretamente e desprovisionar o armazenamento de computação
Audite regularmente os discos permanentes anexados às instâncias do Compute Engine e verifique se eles não estão provisionados em excesso. Use snapshots somente quando forem necessários para backup. Exclua snapshots antigos e não utilizados. Para bancos de dados, use políticas de retenção de dados para reduzir o tamanho dos discos permanentes subjacentes.
Otimizar o formato de armazenamento
Para armazenamento que atende a cargas de trabalho de análise, prefira formatos compactados e colunares, como Parquet ou Avro otimizado, em vez de formatos baseados em linhas, como JSON ou CSV. O armazenamento colunar reduz significativamente os requisitos de espaço em disco físico e melhora a eficiência de leitura. Essa otimização ajuda a reduzir o consumo de energia das operações de computação e E/S associadas.
Otimizar a regionalidade e a movimentação de dados
A localização física e a movimentação dos dados afetam o consumo de recursos de rede e a energia necessária para o armazenamento. Otimize a regionalidade dos dados usando as técnicas a seguir.
Selecionar regiões de armazenamento com baixa emissão de carbono
Dependendo dos seus requisitos de compliance, armazene dados em regiões do Google Cloud que usam uma porcentagem maior de energia livre de carbono (CFE) ou que têm menor intensidade de carbono da rede. Restrinja a criação de buckets de armazenamento em regiões com alta emissão de carbono usando a restrição da política da organização de locais de recursos. Para informações sobre dados de CFE e intensidade de carbono para regiões do Google Cloud , consulte Energia livre de carbono para regiões do Google Cloud .
Minimizar a replicação
Replique dados entre regiões apenas para atender aos requisitos obrigatórios de recuperação de desastres (DR) ou alta disponibilidade (HA). As operações de replicação entre regiões e multirregionais aumentam significativamente o custo de energia e a pegada de carbono dos seus dados.
Otimizar os locais de tratamento de dados
Para reduzir o consumo de energia na transferência de dados de rede, implante cargas de trabalho com uso intensivo de computação, como treinamento de IA e processamento do BigQuery, na mesma região da fonte de dados.
Otimize a movimentação de dados para seus parceiros e clientes
Para mover grandes volumes de dados entre serviços, locais e provedores de nuvem, incentive seus parceiros e clientes a usar o Serviço de transferência do Cloud Storage ou APIs de compartilhamento de dados. Evite despejos de dados em massa. Para conjuntos de dados públicos, use buckets de Pagamentos do solicitante para transferir os custos de transferência e processamento de dados e o impacto ambiental para os usuários finais.