Desidentificação de dados sensíveis do Cloud Storage

Nesta página, descrevemos como a Proteção de Dados Sensíveis pode criar cópias desidentificadas de dados armazenados no Cloud Storage. Ele também lista as limitações dessa operação e os pontos que você precisa considerar antes de começar.

Para informações sobre como usar a Proteção de Dados Sensíveis para criar cópias desidentificadas dos dados do Cloud Storage, consulte:

Sobre a desidentificação

A desidentificação é o processo de remover informações de identificação pessoal dos dados. O objetivo é permitir o uso e o compartilhamento de informações pessoais, como dados de saúde, financeiros ou demográficos, atendendo às normas de privacidade. Para mais informações sobre desidentificação, consulte Como desidentificar dados sensíveis.

Para informações mais detalhadas sobre transformações de desidentificação na Proteção de Dados Sensíveis, consulte Referência de transformação. Para mais informações sobre como a Proteção de Dados Sensíveis encobre dados sensíveis de imagens, consulte Inspeção e encobrimento de imagens.

Quando usar a desidentificação de armazenamento

Veja alguns casos de uso comuns:

  • Gerar conjuntos de dados anonimizados para ambientes que não são de produção: crie cópias desidentificadas de arquivos de produção armazenados no Cloud Storage antes de preparar dados em ambientes de desenvolvimento, teste ou treinamento.
  • Compartilhar repositórios de arquivos higienizados com terceiros: ofusque campos sensíveis em documentos em massa e arquivos não estruturados, preservando a hierarquia de pastas original para parceiros de negócios ou auditores externos.
  • Automatizar pipelines de privacidade para documentos ingeridos: transforme dados sensíveis em arquivos recém-enviados em um bucket de saída designado sem alterar os arquivos de origem ou interromper os pipelines upstream.
  • Aplicar residência e compartimentalização de dados: armazene cópias espelhadas desidentificadas de recursos sensíveis em buckets separados do Cloud Storage com controles de acesso distintos do Identity and Access Management.

Processo de desidentificação

Nesta seção, descrevemos o processo de desidentificação na Proteção de Dados Sensíveis para conteúdo no Cloud Storage.

Para usar esse recurso, crie um job de inspeção (DlpJob) configurado para fazer cópias desidentificadas dos arquivos do Cloud Storage. A Proteção de Dados Sensíveis verifica os arquivos no local especificado, inspecionando-os de acordo com sua configuração. Ao inspecionar cada arquivo, a Proteção de Dados Sensíveis desidentifica todos os dados que correspondem aos seus critérios de dados sensíveis e, em seguida, grava o conteúdo em um novo arquivo. O novo arquivo sempre tem o mesmo nome de arquivo do arquivo original. Ele armazena esse novo arquivo em um diretório de saída que você especifica. Se um arquivo for incluído na verificação, mas nenhum dado corresponder aos critérios de desidentificação e não houver erros no processamento, o arquivo será copiado, sem alterações, para o diretório de saída.

O diretório de saída definido precisa estar em um bucket do Cloud Storage diferente do bucket que contém os arquivos de entrada. No diretório de saída, a Proteção de Dados Sensíveis cria uma estrutura de arquivos que espelha a estrutura de arquivos do diretório de entrada.

Por exemplo, suponha que você defina os seguintes diretórios de entrada e saída:

  • Diretório de entrada: gs://input-bucket/folder1/folder1a
  • Diretório de saída: gs://output-bucket/output-directory

Durante a desidentificação, a Proteção de Dados Sensíveis armazena os arquivos desidentificados em gs://output-bucket/output-directory/folder1/folder1a.

Se houver um arquivo no diretório de saída com o mesmo nome de arquivo de um arquivo desidentificado, ele será substituído. Se você não quiser que os arquivos existentes sejam substituídos, mude o diretório de saída antes de executar essa operação. Como alternativa, considere ativar o controle de versões de objetos no bucket de saída.

As listas de controle de acesso (ACLs) no nível do arquivo para os arquivos originais são copiadas para os novos arquivos, independentemente de dados sensíveis terem sido encontrados e desidentificados. No entanto, se o bucket de saída estiver configurado apenas para permissões uniformes no nível do bucket, e não para permissões refinadas (no nível do objeto), as ACLs não serão copiadas para os arquivos desidentificados.

O diagrama a seguir mostra o processo de desidentificação de quatro arquivos armazenados em um bucket do Cloud Storage. Cada arquivo é copiado, independentemente de a Proteção de Dados Sensíveis detectar dados sensíveis. Cada arquivo copiado tem o mesmo nome do original.

Desidentificação de arquivos armazenados no Cloud Storage.
Desidentificação de arquivos armazenados no Cloud Storage (clique para ampliar).

Preços

Para informações sobre preços, consulte Inspeção e transformação de dados no armazenamento.

Tipos de arquivos compatíveis

A Proteção de Dados Sensíveis pode desidentificar os seguintes grupos de tipos de arquivo:

Comportamento padrão de desidentificação

Se você quiser definir como a Proteção de Dados Sensíveis transforma as descobertas, forneça modelos de desidentificação para os seguintes tipos de arquivos:

  • Arquivos não estruturados, como arquivos de texto com texto de formato livre
  • Arquivos estruturados, como arquivos CSV
  • Imagens

Se você não fornecer um modelo de desidentificação, a Proteção de Dados Sensíveis vai transformar as descobertas da seguinte maneira:

  • Em arquivos não estruturados e estruturados, a Proteção de Dados Sensíveis substitui todas as descobertas pelo infoType correspondente, conforme descrito em Substituição de infoType.
  • Nas imagens, a Proteção de Dados Sensíveis cobre todas as descobertas com uma caixa preta.

Limitações e considerações

Considere os pontos a seguir antes de criar cópias desidentificadas de dados do Cloud Storage.

Espaço em disco

Essa operação só é compatível com conteúdo armazenado no Cloud Storage.

Essa operação faz uma cópia de cada arquivo enquanto a Proteção de Dados Sensíveis o inspeciona. Ele não modifica nem remove o conteúdo original. Os dados copiados vão ocupar aproximadamente a mesma quantidade de espaço em disco adicional que os dados originais.

Acesso de gravação ao armazenamento

Como a Proteção de Dados Sensíveis cria uma cópia dos arquivos originais, o agente de serviço do seu projeto precisa ter acesso de gravação no bucket de saída do Cloud Storage.

Amostragem e definição de limites de descoberta

Esta operação não é compatível com amostragem. Especificamente, não é possível limitar a quantidade de cada arquivo que a Proteção de Dados Sensíveis verifica e desidentifica. Ou seja, se você estiver usando a API Cloud Data Loss Prevention, não poderá usar bytesLimitPerFile e bytesLimitPerFilePercent no objeto CloudStorageOptions do seu DlpJob.

Além disso, não é possível controlar o número máximo de descobertas a serem retornadas. Se você estiver usando a API DLP, não será possível definir um objeto FindingLimits no DlpJob.

Requisito para inspecionar dados

Ao executar o job de inspeção, a Proteção de Dados Sensíveis primeiro inspeciona os dados, de acordo com a configuração de inspeção, antes de realizar a desidentificação. Não é possível pular o processo de inspeção.

Requisito para usar extensões de arquivo

A Proteção de Dados Sensíveis usa extensões de arquivo para identificar os tipos de arquivo no diretório de entrada. Ele pode não desidentificar arquivos que não têm extensões de arquivo, mesmo que sejam de tipos compatíveis.

Arquivos ignorados

Ao desidentificar arquivos no armazenamento, a Proteção de Dados Sensíveis ignora os seguintes arquivos:

  • Arquivos com mais de 60.000 KB. Se você tiver arquivos grandes que excedam esse limite, divida-os em partes menores.
  • Tipos de arquivo que não estão listados em Tipos de arquivo compatíveis nesta página.
  • Tipos de arquivo que você excluiu propositalmente da configuração de desidentificação. Se você estiver usando a API DLP, os tipos de arquivo excluídos do campo file_types_to_transform da ação Deidentify do DlpJob serão ignorados.
  • Arquivos que encontraram erros de transformação.

Ordem das linhas de saída em tabelas desidentificadas

Não há garantia de que a ordem das linhas em uma tabela desidentificada corresponda à ordem das linhas na tabela original. Se você quiser comparar a tabela original com a tabela desidentificada, não poderá usar o número da linha para identificar as linhas correspondentes. Se você pretende comparar linhas das tabelas, use um identificador exclusivo para identificar cada registro.

Chaves temporárias

Se você escolher um método criptográfico como método de transformação, primeiro será necessário criar uma chave encapsulada usando o Cloud Key Management Service. Em seguida, forneça essa chave no modelo de desidentificação. Não há suporte para chaves temporárias (brutas).

A seguir