Cette page répertorie les types de fichiers que Sensitive Data Protection peut analyser et décrit les modes d'analyse utilisés par Sensitive Data Protection pour analyser les fichiers.
Types de fichiers compatibles avec les opérations d'inspection et d'anonymisation
Le tableau suivant présente les types de fichiers que Sensitive Data Protection peut inspecter et transformer (anonymiser).
Sensitive Data Protection s'appuie sur les extensions de fichier et les types MIME pour identifier les types de fichiers à analyser et les modes d'analyse à appliquer. Par exemple, Sensitive Data Protection analyse un fichier .txt en mode texte brut, même si le fichier est structuré en tant que fichier CSV, qui est normalement analysé en mode d'analyse structurée.
| Type de fichier | Extensions de fichier | Limites | Mode d'analyse | Compatibilité avec la transformation |
|---|---|---|---|---|
Apache Avro |
avro |
Limites Avro | Analyse structurée | |
Comma- or tab-separated values | CSV/TSV | Analyse structurée | Supprimer l'identification dans un contenu | |
PDF |
Limites PDF | Analyse intelligente des documents | ||
Text |
asc, brf, c, c++, cc, cpp, cs, css, cxx, dart, eml, go, h, h++, hh, hpp, hs, htm, html, hxx, ini, java, js, json, jsonl, lhs, m, markdown, md, mkd, ml, mli, ocaml, php, pht, phtml, pl, pm, py, pyw, rb, rbw, rc, rs, scala, sh, shtm, shtml, sql, tex, text, txt, vcard, vcs, wml, xhtml, xml, xsd, xsl, yaml, yml |
Texte brut | Supprimer l'identification dans un contenu | |
Microsoft Word |
docm, docx, dotm, dotx |
Limites Word | Analyse intelligente des documents | |
Microsoft Excel |
xlsm, xlsx, xltm, xltx |
Limites d'Excel | Analyse intelligente des documents | |
Microsoft Powerpoint |
potm, potx, pptm, pptx |
Limites de PowerPoint | Analyse intelligente des documents | |
Image |
bmp, gif, jpe, jpeg, jpg, png, tif, tiff |
Limites des fichiers TIFF |
|
Masquage pour tous les types d'images, sauf TIFF |
Binary |
Types de fichiers non reconnus et images qui ne peuvent pas être analysées à l'aide de la reconnaissance optique des caractères (OCR), de la détection de contenu d'image ou de la classification de contenu d'image. |
Binaire |
Clusters de fichiers compatibles dans les opérations de découverte
Lors de la découverte, Sensitive Data Protection organise les fichiers détectés en clusters de fichiers. Ces clusters sont des groupes de types de fichiers similaires. Le tableau suivant présente les clusters de fichiers et les extensions de fichiers compatibles. Tous les fichiers détectés ne peuvent pas être analysés.
Les fichiers peuvent être déplacés entre les clusters de fichiers, car Sensitive Data Protection ajoute la compatibilité avec d'autres clusters de fichiers. À mesure que la compatibilité avec l'analyse s'étend, le service de découverte peut commencer à analyser des fichiers qui n'étaient pas analysés auparavant. Vous êtes facturé comme décrit dans la section Tarifs de Discovery.
| Cluster de fichiers | Extensions de fichier | Limites | Mode d'analyse |
|---|---|---|---|
Text |
asc, eml, htm, html, ini, json, jsonL, log, markdown, md, mkd, plist, shtm, shtml, sql, tex, text, txt, vcard, vcs, xsd, xsl |
Texte brut | |
Source Code |
bat, brf, c, c++, cc, cmd, cpp, cs, css, cxx, dart, go, h, hh, hpp, hs, hxx, java, js, lhs, m, ml, ocaml, php, phtm, phtml, pl, ps1, py, pyw, rb, rbw, rc, rs, scala, scpt, scr, script, sh, sql, vb, vbs, wml, xml, yaml, yml |
Texte brut | |
Structured Data |
avro, csv, tsv, proto |
Analyse structurée pour les fichiers avro, csv et tsv. Analyse de texte brut pour les fichiers proto | |
Rich Documents |
doc, docm, docx, dotm, dotx, pdf, potm, potx, ppt, pptm, pptx, xls, xlsm, xlsx, xltm, xltx |
Les fichiers PDF, Microsoft Word, Excel et PowerPoint compatibles de moins de 30 Mio sont analysés. | Analyse intelligente des documents |
Images |
bmp, gif, heic, ico, jpe, jpeg, jpg, pm, png, svg, tif, tiff, webp |
Les images compatibles (bmp, gif, jpe, jpeg, jpg, png, tif et tiff) de moins de 4 Mio sont analysées à l'aide de l'OCR dans les régions compatibles avec l'analyse d'images. Les images TIFF sont soumises aux limites TIFF. |
|
Executables |
ac, air, apk, app, appimage, bas, bin, bms, class, cls, com, command, ctl, ctx, dca, ddf, dep, dll, dob, dox, dsr, dsx, dws, exe, frm, frx, gadget, ipa, mpk, oca, ocx, pag, pgx, pif, pyc, res, run, scb, tlb, vbd, vbg, vbl, vbp, vbr, vbw, vbz, vlx, wct, widget, workflow, wsf, x86, x86_64, xap, xbe, xlm |
Non analysé pour le moment | |
Archives |
7z, a, ace, afa, alz, apk, ar, arc, arj, ark, b1, b6z, ba, bh, cab, car, cdx, cfs, cpio, cpt, dar, dd, dgc, dmg, ear, esd, gca, genozip, gz, ha, hki, ice, ima, img, iso, jar, kgb, lha, lpaq#*, lzh, lzx, mou, pak, paq#*, paq6, paq7, paq8 et variantes, partimg, pea, phar, pim, pit, qda, rar, rk, run, s7z, sda, sea, sen, sfx, shar, shk, sit, sitx, sqx, swm, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, tgz, uc, uc0, uc2, uca, ucn, ue2, uha, ur2, war, wim, xar, xp3, yz1, zip, zipx, zoo, zpaq, zz |
Sensitive Data Protection analyse les fichiers des archives portant les extensions de fichier suivantes : bz2, cpio, gz, jar, lz4, lzma, tar, tar.bz2, tar.gz, tar.lz4, tar.lzma, tar.xz, tar.z, xz, z, zip Le mode d'analyse utilisé pour chaque fichier dépend du type de fichier. |
|
Multimedia |
3g2, 3gp, 8svx, aa, aac, aax, act, aiff, alac, amr, amv, ape, asf, au, avi, awb, cda, drc, dss, dvf, f4a, f4b, f4p, f4v, flac, flv, gif, gifv, gsm, iklax, ivs, M2TS, m2v, m4a, m4b, m4p, m4p (avec DRM), m4v, mkv, mmf, mng, mogg, mov, movpkg, mp2, mp3, mp4, mpc, mpe, mpeg, mpg, mpv, msv, MTS, mxf, nmf, nsv, oga, ogg, ogv, opus, qt, ra, raw, rf64, rm, rmvb, roq, sln, svi, TS, tta, viv, vob, voc, vox, wav, webm, wma, wmv, wv, yuv |
Non analysé pour le moment | |
AI Models |
caffemodel, ckpt, coreml, dlc, ggjt, ggmf, ggml, gguf, h5, keras, llamafile, mar, mleap, nc, npy, npz, onnx, pb, pkl, prompt, pt, pt2, pte, pth, ptl, safetensors, surml, tflite, tfrecords |
Non analysé pour le moment | |
Unknown |
Tout autre fichier ne se trouvant pas dans un autre cluster. | Il s'agit de fichiers sans extension ou qui utilisent des extensions courantes, mais non standards, comme .dat, .1 ou .2. | Non analysé pour le moment |
Types de fichiers non reconnus dans Cloud Storage
Si un fichier n'est pas reconnu lors d'une analyse de stockage, par défaut, le système l'analyse sous la forme d'un fichier binaire. Il tente de convertir le contenu en UTF_8, puis l'analyse en texte brut.
Si un fichier n'est pas reconnu lors d'une analyse de découverte, le système ne l'analyse pas.
Si vous souhaitez ignorer un ensemble de fichiers, car Sensitive Data Protection ne les reconnaît pas, vous pouvez spécifier une liste d'exclusion à l'aide de CloudStorageOptions.file_set.regex_file_set.exclude_regex.
Limites du nombre d'octets analysés par fichier
En général, vous pouvez limiter le nombre d'octets analysés par fichier. Dans la consoleGoogle Cloud , vous devez activer l'échantillonnage. Dans l'API Cloud Data Loss Prevention, vous définissez le champ bytes_limit_per_file ou bytesLimitPerFilePercent.
L'échantillonnage n'est pas disponible dans les modes OCR et d'analyse intelligente. Autrement dit, lorsque les types de fichiers suivants sont analysés en mode OCR ou en mode d'analyse intelligente des documents, Sensitive Data Protection ignore tous les paramètres que vous appliquez pour limiter le nombre d'octets analysés par fichier.
- Image
- Microsoft Excel
- Microsoft PowerPoint
- Microsoft Word
Si vous analysez ces fichiers en mode binaire, les limites s'appliquent.
Modes d'analyse
Chaque mode d'analyse fournit des informations de localisation supplémentaires dans les résultats d'inspection.
Pour les images TIFF, l'objet ImageLocation inclut également un champ pageNumber, qui identifie la page contenant le résultat. Les numéros de page commencent à 0.
| Mode d'analyse | Notes | Informations de localisation supplémentaires à fournir |
|---|---|---|
| Binary | Si un fichier ne peut pas être analysé comme n'importe quel autre type, il sera converti au format UTF_8 et analysé au format texte. L'analyse binaire affecte la qualité de détection. |
|
| Analyse intelligente des documents | Les documents sont analysés avec du texte extrait de la mise en forme. Les images intégrées sont analysées à l'aide de la reconnaissance optique des caractères dans les régions compatibles. En dehors de ces régions, les images sont analysées sous la forme de fichiers binaires. |
DocumentLocation |
| Extraction des métadonnées | Dans tous les fichiers analysés à partir de Cloud Storage
|
MetadataLocation |
| Reconnaissance optique des caractères (OCR) |
Dans les régions compatibles avec l'analyse d'images, Sensitive Data Protection utilise l'OCR pour rechercher des infoTypes textuels dans les images. |
ImageLocation |
| Détection de contenus dans des images | Dans les régions où l'analyse d'images est possible, Sensitive Data Protection peut analyser directement les pixels et les caractéristiques des images, plutôt que le texte extrait des images. Ce mode de numérisation se concentre sur la localisation d'un élément spécifique dans l'image et produit un cadre de délimitation autour de celui-ci. Par exemple, ce mode d'analyse peut détecter une personne ou un code-barres à un emplacement spécifique d'une image. Sensitive Data Protection utilise ce mode d'analyse pour tous les infoTypes d'objets spécifiés dans la configuration d'inspection ou de masquage. |
ImageLocation |
| Classification du contenu des images | Dans les régions où l'analyse d'images est possible, Sensitive Data Protection peut analyser directement les pixels et les caractéristiques des images, plutôt que le texte extrait des images. Ce mode d'analyse examine l'image entière pour lui attribuer un seul thème ou une seule catégorie, et génère une étiquette ou une classification. Sensitive Data Protection utilise ce mode d'analyse pour tous les détecteurs d'infoTypes de contexte d'image spécifiés dans la configuration d'inspection ou de masquage. |
ImageLocation |
| Texte brut | Pas de détails supplémentaires | |
| Analyse structurée | Les informations structurelles sont utilisées pour influencer les résultats. Dans ce mode d'analyse, Sensitive Data Protection utilise les informations d'en-tête pour le contexte. Le service effectue une analyse croisée des lignes et des colonnes pour trouver des données corrélées. Par exemple, ce mode d'analyse peut identifier une adresse postale dont les composantes sont réparties sur plusieurs colonnes d'une même ligne. Les résultats de l'analyse contiennent des informations structurelles, telles que la ligne contenant le résultat et le nom de la colonne. Les résultats ne dépassent pas les limites des cellules d'un tableau. |
RecordLocation |
Analyser des fichiers structurés en mode d'analyse structurée
Lorsque vous analysez un fichier structuré (par exemple, un fichier Avro, CSV ou TSV), Sensitive Data Protection tente d'analyser le fichier en mode d'analyse structurée. Ce mode d'analyse offre une meilleure qualité de détection que l'analyse binaire, car le mode d'analyse structurée recherche les corrélations entre les lignes et les colonnes des données structurées.
Les résultats sont renvoyés avec des métadonnées supplémentaires indiquant l'emplacement du résultat, y compris le fieldId.
Toutefois, dans les cas suivants, Sensitive Data Protection peut revenir au mode d'analyse binaire, qui n'inclut pas les améliorations du mode d'analyse structurée :
- Le fichier ou l'en-tête est corrompu.
- La configuration du job d'inspection comporte des limites de taille trop petites, telles que
bytesLimitPerFileetbytesLimitPerFilePercent. Par exemple, si la limitebytesLimitPerFilen'est pas assez élevée pour inclure un en-tête de bloc complet et au moins une ligne de données valides, Sensitive Data Protection peut analyser ce fichier en mode d'analyse binaire.
La sélection des données analysées dépend de la configuration de l'échantillonnage, qui peut commencer au début du fichier ou à une position aléatoire.
Par exemple, supposons que vous disposiez d'un fichier Avro contenant des en-têtes de bloc de 50 Ko et des blocs de données de 2 Mo. En général, commencer l'échantillon par le haut vous permet de vous assurer que l'en-tête de bloc est toujours inclus dans l'échantillon prélevé par Sensitive Data Protection. Si vous commencez l'échantillonnage à partir d'une position aléatoire dans le fichier et que la taille de l'échantillon est inférieure à celle d'un bloc de données, il est possible que l'en-tête du bloc ne soit pas inclus dans l'échantillon. Dans cet exemple, l'augmentation de la taille de l'échantillon (spécifiée par bytesLimitPerFile ou bytesLimitPerFilePercent) à 2,05 Mo permet d'éviter que l'inspection ne revienne au mode d'analyse binaire.
