Nesta página, listamos os tipos de arquivos que a Proteção de Dados Sensíveis pode verificar e descrevemos os modos de verificação que ela usa para analisar arquivos.
Tipos de arquivo compatíveis com operações de inspeção e desidentificação
A tabela a seguir mostra os tipos de arquivos que a Proteção de Dados Sensíveis pode inspecionar e transformar (desidentificar).
A Proteção de Dados Sensíveis usa extensões de arquivo e tipos MIME (MIME) para identificar os tipos de arquivos a serem verificados e os modos de verificação a serem aplicados. Por exemplo, a Proteção de Dados Sensíveis verifica um arquivo .txt no
modo de texto simples, mesmo que o arquivo esteja estruturado como um arquivo CSV, que normalmente é
verificado no modo de análise estruturada.
| Tipo de arquivo | Extensões de arquivo | Limites | Modo de verificação | Compatibilidade com transformações |
|---|---|---|---|---|
Apache Avro |
avro |
Limites do Avro | Análise estruturada | |
Comma- or tab-separated values | csv, tsv | Análise estruturada | Desidentificar conteúdo | |
PDF |
Limites do PDF | Análise inteligente de documentos | ||
Text |
asc, brf, c, c++, cc, cpp, cs, css, cxx, dart, eml, go, h, h++, hh, hpp, hs, htm, html, hxx, ini, java, js, json, jsonl, lhs, m, markdown, md, mkd, ml, mli, ocaml, php, pht, phtml, pl, pm, py, pyw, rb, rbw, rc, rs, scala, sh, shtm, shtml, sql, tex, text, txt, vcard, vcs, wml, xhtml, xml, xsd, xsl, yaml, yml |
Texto simples | Desidentificar conteúdo | |
Microsoft Word |
docm, docx, dotm, dotx |
Limites do Word | Análise inteligente de documentos | |
Microsoft Excel |
xlsm, xlsx, xltm, xltx |
Limites do Excel | Análise inteligente de documentos | |
Microsoft Powerpoint |
potm, potx, pptm, pptx |
Limites do PowerPoint | Análise inteligente de documentos | |
Image |
bmp, gif, jpe, jpeg, jpg, png, tif, tiff |
Limites de TIFF |
|
Encobrimento para todos os tipos de imagem, exceto TIFF |
Binary |
Tipos de arquivo não reconhecidos e imagens que não podem ser verificadas usando o reconhecimento óptico de caracteres (OCR), a detecção de conteúdo de imagem ou a classificação de conteúdo de imagem. |
Binário |
Clusters de arquivos compatíveis com operações de descoberta
Durante a descoberta, a Proteção de Dados Sensíveis organiza os arquivos detectados em clusters de arquivos. Esses clusters são grupos de tipos de arquivo semelhantes. A tabela a seguir mostra os clusters e as extensões de arquivo compatíveis. Nem todos os arquivos detectados podem ser verificados.
Os arquivos podem ser movidos entre clusters de arquivos à medida que a Proteção de Dados Sensíveis adiciona suporte para mais clusters de arquivos. À medida que o suporte à verificação se expande, o serviço de descoberta pode começar a verificar arquivos que não eram verificados antes. Você vai receber cobranças conforme descrito em Preços do Discovery.
| Cluster de arquivos | Extensões de arquivo | Limites | Modo de verificação |
|---|---|---|---|
Text |
asc, eml, htm, html, ini, json, jsonL, log, markdown, md, mkd, plist, shtm, shtml, sql, tex, text, txt, vcard, vcs, xsd, xsl |
Texto simples | |
Source Code |
bat, brf, c, c++, cc, cmd, cpp, cs, css, cxx, dart, go, h, hh, hpp, hs, hxx, java, js, lhs, m, ml, ocaml, php, phtm, phtml, pl, ps1, py, pyw, rb, rbw, rc, rs, scala, scpt, scr, script, sh, sql, vb, vbs, wml, xml, yaml, yml |
Texto simples | |
Structured Data |
avro, csv, tsv, proto |
Análise estruturada para arquivos avro, csv e tsv. Análise de texto simples para arquivos proto | |
Rich Documents |
doc, docm, docx, dotm, dotx, pdf, potm, potx, ppt, pptm, pptx, xls, xlsm, xlsx, xltm, xltx |
Os arquivos PDF, Microsoft Word, Excel e PowerPoint com menos de 30 MiB são verificados. | Análise inteligente de documentos |
Images |
bmp, gif, heic, ico, jpe, jpeg, jpg, pm, png, svg, tif, tiff, webp |
As imagens aceitas (bmp, gif, jpe, jpeg, jpg, png, tif e tiff) com menos de 4 MiB são verificadas com o OCR nas regiões que oferecem suporte à verificação de imagens. As imagens TIFF estão sujeitas aos limites de TIFF. |
|
Executables |
ac, air, apk, app, appimage, bas, bin, bms, class, cls, com, command, ctl, ctx, dca, ddf, dep, dll, dob, dox, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, widget, workflow, wsf, x86, x86_64, xap, xbe, xlm |
Não verificado no momento | |
Archives |
7z, a, ace, afa, alz, apk, ar, arc, arj, ark, b1, b6z, ba, bh, cab, car, cdx, cfs, cpio, cpt, dar, dd, dgc, dmg, ear, esd, gca, genozip, gz, ha, hki, ice, ima, img, iso, jar, kgb, lha, lpaq#*, lzh, lzx, mou, pak, paq#*, paq6, paq7, paq8 e variantes, partimg, pea, phar, pim, pit, qda, rar, rk, run, s7z, sda, sea, sen, sfx, shar, shk, sit, sitx, sqx, swm, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, tgz, uc, uc0, uc2, uca, ucn, ue2, uha, ur2, war, wim, xar, xp3, yz1, zip, zipx, zoo, zpaq, zz |
A Proteção de Dados Sensíveis verifica arquivos em pacotes que têm estas extensões de arquivo: bz2, cpio, gz, jar, lz4, lzma, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, xz, z, zip O modo de verificação usado para cada arquivo depende do tipo do arquivo. |
|
Multimedia |
3g2, 3gp, 8svx, aa, aac, aax, act, aiff, alac, amr, amv, ape, asf, au, avi, awb, cda, drc, dss, dvf, f4a, f4b, f4p, f4v, flac, flv, gif, gifv, gsm, iklax, ivs, M2TS, m2v, m4a, m4b, m4p, m4p (com DRM), m4v, mkv, mmf, mng, mogg, mov, movpkg, mp2, mp3, mp4, mpc, mpe, mpeg, mpg, mpv, msv, MTS, mxf, nmf, nsv, oga, ogg, ogv, opus, qt, ra, raw, rf64, rm, rmvb, roq, sln, svi, TS, tta, viv, vob, voc, vox, wav, webm, wma, wmv, wv, yuv |
Não verificado no momento | |
AI Models |
caffemodel, ckpt, coreml, dlc, ggjt, ggmf, ggml, gguf, h5, keras, llamafile, mar, mleap, nc, npy, npz, onnx, pb, pkl, prompt, pt, pt2, pte, pth, ptl, safetensors, surml, tflite, tfrecords |
Não verificado no momento | |
Unknown |
Qualquer outro arquivo que não esteja em outro cluster. | São arquivos que não têm extensões ou usam extensões comuns, mas não padrão, como .dat, .1 ou .2. | Não verificado no momento |
Tipos de arquivo não reconhecidos no Cloud Storage
Se um arquivo não for reconhecido durante uma verificação de armazenamento, o sistema o verificará, por padrão, como um arquivo binário. Ele tenta converter o conteúdo em UTF_8 e depois o verifica como texto simples.
Se um arquivo não for reconhecido durante uma verificação de descoberta, o sistema não o verificará.
Se você tiver uma coleção de arquivos que quer pular porque a Proteção de Dados Sensíveis
não os reconhece, especifique uma lista de exclusão usando
CloudStorageOptions.file_set.regex_file_set.exclude_regex.
Limites de bytes verificados por arquivo
Em geral, é possível limitar o número de bytes verificados por arquivo. No console doGoogle Cloud , faça isso ativando a amostragem. Na
API Cloud Data Loss Prevention, defina o campo
bytes_limit_per_file
ou bytesLimitPerFilePercent.
A amostragem não é compatível com os modos de OCR e análise inteligente. Ou seja, quando os seguintes tipos de arquivo são verificados no modo de OCR ou de análise inteligente de documentos, a Proteção de Dados Sensíveis ignora as configurações aplicadas para limitar os bytes verificados por arquivo.
- Imagem
- Microsoft Excel
- Microsoft PowerPoint
- Microsoft Word
Se você verificar esses arquivos no modo binário, os limites serão aplicados.
Modos de verificação
Cada modo de verificação fornece mais detalhes de localização nas descobertas de inspeção.
Para imagens TIFF, o objeto ImageLocation também inclui um campo pageNumber, que identifica a página que contém a descoberta. Os números de página começam em 0.
| Modo de verificação | Notas | Mais detalhes do local a serem fornecidos |
|---|---|---|
| Binário | Se um arquivo não for analisado como qualquer outro tipo, ele será convertido em UTF_8 e verificado como texto. A verificação binária afeta a qualidade da detecção. |
|
| Análise inteligente de documentos | Os documentos são analisados com texto extraído da formatação. As imagens incorporadas são verificadas usando o OCR em regiões com suporte para OCR . Fora dessas regiões, as imagens são verificadas como arquivos binários. |
DocumentLocation |
| Extração de metadados | Todos os arquivos verificados do Cloud Storage terão o |
MetadataLocation |
| Reconhecimento óptico de caracteres (OCR) |
Nas regiões que oferecem suporte à verificação de imagens, a Proteção de Dados Sensíveis usa o OCR para encontrar infoTypes baseados em texto em imagens. |
ImageLocation |
| Detecção de conteúdo de imagem | Nas regiões que oferecem suporte à verificação de imagens, a Proteção de Dados Sensíveis pode analisar pixels de imagem e recursos diretamente, em vez de texto extraído de imagens. Esse modo de leitura se concentra em localizar um item específico na imagem e produz uma caixa delimitadora ao redor dele. Por exemplo, esse modo de verificação pode detectar uma pessoa ou um código de barras em um local específico de uma imagem. A Proteção de Dados Sensíveis usa esse modo de verificação para todos os infoTypes de objeto especificados na configuração de inspeção ou encobrimento. |
ImageLocation |
| Classificação de conteúdo de imagem | Nas regiões que oferecem suporte à verificação de imagens, a Proteção de Dados Sensíveis pode analisar pixels de imagem e recursos diretamente, em vez de texto extraído de imagens. Esse modo de verificação analisa a imagem inteira para atribuir um único tema ou categoria e produz um rótulo ou uma classificação. A Proteção de Dados Sensíveis usa esse modo de verificação para todos os detectores de infoType de contexto de imagem especificados na configuração de inspeção ou encobrimento. |
ImageLocation |
| Texto simples | Nenhum outro detalhe | |
| Análise estruturada | As informações estruturais são usadas para influenciar descobertas. No modo de verificação, a Proteção de Dados Sensíveis usa as informações de cabeçalho para contextualização. Ela realiza uma análise entre linhas e entre colunas para encontrar dados correlacionados. Por exemplo, o modo de verificação pode identificar um endereço com componentes que estejam distribuídos entre várias colunas de uma linha. Os resultados da verificação contêm informações estruturais, como a linha que contém a descoberta e o nome da coluna. As descobertas não ultrapassam os limites das células de uma tabela. |
RecordLocation |
Como verificar arquivos estruturados no modo de análise estruturada
Quando você verifica um arquivo estruturado, como um arquivo Avro, CSV ou TSV, a Proteção de Dados Sensíveis tenta verificar o arquivo no modo de verificação de análise estruturada. Esse modo de verificação tem
uma qualidade de detecção superior em comparação com a verificação
binária, porque o modo de análise estruturada
procura correlações entre linhas e colunas nos dados estruturados.
As descobertas são retornadas com metadados adicionais que indicam o local da descoberta, incluindo o fieldId.
No entanto, nos casos a seguir, a Proteção de Dados Sensíveis pode reverter para o modo de verificação binária, que não inclui as melhorias do modo de análise estruturada:
- O arquivo ou cabeçalho está corrompido.
- A configuração do job de inspeção tem limites de tamanho, como
bytesLimitPerFileebytesLimitPerFilePercent, que são muito pequenos. Por exemplo, se o limite debytesLimitPerFilenão for grande o suficiente para incluir um cabeçalho de bloco completo e pelo menos uma linha de dados válidos, a Proteção de Dados Sensíveis poderá verificar esse arquivo no modo de verificação binária.
A seleção de dados verificados depende se a amostragem está definida para começar no início do arquivo ou em uma posição aleatória.
Por exemplo, suponha que você tenha um arquivo Avro com cabeçalhos de bloco de 50 KB e
blocos de dados de 2 MB. Em geral, iniciar a amostra pelo topo ajuda a garantir que o cabeçalho do bloco seja sempre incluído na amostra que a Proteção de Dados Sensíveis coleta. Se você começar a amostragem de uma posição aleatória no arquivo e o tamanho da amostra for menor que um bloco de dados, é possível que o cabeçalho do bloco não seja incluído na amostra. Neste exemplo,
aumentar o tamanho da amostra (especificado por bytesLimitPerFile ou
bytesLimitPerFilePercent) para 2,05 MB ajuda a evitar que a inspeção
volte ao modo de análise binária.
