去識別化

Sensitive Data Protection 會使用資訊類型 (或 infoType) 定義要掃描的內容。infoType 是一種機密資料,如姓名、電子郵件地址、電話號碼、身分證號碼、信用卡號等等。

Sensitive Data Protection 中定義的每個 infoType 都有對應的偵測工具。Sensitive Data Protection 會在掃描設定中使用 infoType 偵測工具,判斷要檢查的內容,以及如何轉換發現項目。顯示或報告掃描結果時,也會使用 InfoType 名稱。

本主題將詳細說明 infoType 和 infoType 偵測工具,並提供指引,說明如何使用 infoType 偵測工具,透過 Sensitive Data Protection 掃描內容中的機密資料。

去識別化的使用時機

以下是一些常見用途:

  • 與外部數據分析合作夥伴共用資料:將直接 ID (例如姓名、身分證字號和帳號) 權杖化或假名化,讓第三方合作夥伴和研究人員分析資料集,而不必存取明文個人身分。
  • 將正式環境資料集暫存至非正式環境:將正式環境資料庫複製到開發、測試或訓練環境之前,請先遮蓋或一般化敏感的客戶自訂屬性。
  • 遵守隱私權法規:對 BigQuery 和 Cloud Storage 存放區中的具敏感性的個人識別資訊 (PII) 和受保護的健康資訊 (PHI) 進行模糊處理,以符合 GDPR 和 HIPAA 等法規遵循標準。
  • 清理串流事件管道中的機密欄位:在事件流經 Pub/Sub 時,即時轉換機密記錄,然後再將資料保存到下游資料倉儲或應用程式資料庫。
  • 維護關聯資料集的參照完整性:使用確定性密碼編譯轉換,在不同系統之間安全地彙整及跨資料表分析,不公開基礎 ID。

指定 infoType 偵測工具

設定 Sensitive Data Protection 掃描內容時,請在掃描設定中加入要使用的 infoType 偵測工具。

舉例來說,下列 JSON 示範了向 DLP API 提出的簡單掃描要求。請注意,inspectConfig 中指定了 PHONE_NUMBER 偵測工具,指示 Sensitive Data Protection 掃描指定字串中的電話號碼。

POST https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/content:inspect?key={YOUR_API_KEY}

{
  "item":{
    "value":"My phone number is (415) 555-0890"
  },
  "inspectConfig":{
    "includeQuote":true,
    "minLikelihood":"POSSIBLE",
    "infoTypes":{
      "name":"PHONE_NUMBER"
    }
  }
}

以上的要求會傳回以下內容:

{
  "result":{
    "findings":[
      {
        "quote":"(415) 555-0890",
        "infoType":{
          "name":"PHONE_NUMBER"
        },
        "likelihood":"VERY_LIKELY",
        "location":{
          "byteRange":{
            "start":"19",
            "end":"33"
          },
          "codepointRange":{
            "start":"19",
            "end":"33"
          }
        },
        "createTime":"2018-10-29T23:46:34.535Z"
      }
    ]
  }
}

請務必在掃描設定中指定 infoTypes。如未指定任何 infoType,Sensitive Data Protection 會使用預設的 infoType 清單。視要掃描的內容數量而定,掃描預設 infoType 可能會耗費大量時間或費用。

要進一步瞭解如何使用 infoType 偵測工具掃描您的內容,請參閱有關檢查、遮蓋或去識別化的操作教學主題。

infoType 偵測工具的種類

資訊類型 (或「infoType」) 偵測工具是 Sensitive Data Protection 用來尋找機密資料的機制。

Sensitive Data Protection 包含多種 infoType 偵測工具,以下是所有工具的摘要:

  • 內建 infoType 偵測工具內建於 Sensitive Data Protection。包括國家/地區或區域專屬機密資料類型,以及全球適用的資料類型的偵測工具。
  • 自訂 infoType 偵測工具是您自行建立的偵測工具。自訂 infoType 偵測工具分為三種:
    • 一般自訂字典偵測工具是 Sensitive Data Protection 比對的簡單字詞清單。如果您的清單包含多達數萬個字詞或詞組,請使用一般自訂字典偵測工具。如果您的字詞清單不會大幅變動,建議採用一般自訂字典偵測工具。
    • 儲存的自訂字典偵測工具是由 Sensitive Data Protection 產生,使用儲存在 Cloud Storage 或 BigQuery 中的大量字詞或詞組清單。字詞或詞組清單龐大 (即高達數千萬個) 時,宜使用儲存的自訂字典偵測工具。
    • 規則運算式 (regex) 偵測工具可讓 Sensitive Data Protection 根據規則運算式模式偵測相符項目。

如要修正掃描結果,可以建立檢查規則。

內建 InfoType 偵測工具

Sensitive Data Protection 內建 infoType 偵測工具,包括偵測特定國家/地區機密資料類型的工具,例如法國 Numéro d'Inscription au Répertoire (NIR) (FRANCE_NIR)、英國駕照號碼 (UK_DRIVERS_LICENSE_NUMBER) 和美國身分證字號 (US_SOCIAL_SECURITY_NUMBER)。此外,也包含適用於全球的資料類型,例如人名 (PERSON_NAME)、電話號碼 (PHONE_NUMBER)、電子郵件地址 (EMAIL_ADDRESS) 和信用卡號 (CREDIT_CARD_NUMBER)。為偵測與 infoType 對應的內容,Sensitive Data Protection 採用多種技術,包括模式比對、核對和、機器學習、情境分析等。

內建 infoType 偵測工具的清單會隨時更新。如需目前支援的內建 infoType 偵測工具的完整清單,請參閱 InfoType 偵測工具參考資料。

您也可以呼叫 Sensitive Data Protection 的 infoTypes.list 方法,查看所有內建 infoType 偵測工具的完整清單。

自訂 infoType 偵測工具

自訂 infoType 偵測工具分為三種:

如要修正掃描結果,可以建立檢查規則。

一般自訂字典偵測工具

請使用一般自訂字典偵測工具,來比對較小的 (最多數萬個) 字詞或詞組清單。一般自訂字典可用做自己唯一的偵測工具。

如果您要掃描的字詞或詞組清單不易使用規則運算式或內建偵測工具進行比對時,即適合使用自訂字典偵測工具。例如,假設您要掃描會議室,一般會使用指定名稱而非號碼來稱呼會議室,如州或地區名稱、地標、虛構角色等。那麼您可以建立包含這些會議室名稱的清單的一般自訂字典偵測工具。Sensitive Data Protection 可掃描內容中的每個會議室名稱,並在內容中遇到其中一個名稱時傳回相符項目。如要進一步瞭解 Sensitive Data Protection 如何比對字典字詞和詞組,請參閱「建立一般自訂字典偵測工具」的「字典比對細節」一節。

如要進一步詳加瞭解一般字典自訂 infoType 偵測工具的運作原理及應用範例,請參閱建立一般自訂字典偵測工具一文。

儲存的自訂字典偵測工具

當您要掃描的字詞或詞組不是只有幾個,或是字詞或詞組清單經常變動時,請使用儲存的自訂字典偵測工具。儲存的自訂字典偵測工具可以比對高達數千萬個字詞或詞組。

儲存的自訂字典偵測工具在本質上是非常大的自訂偵測工具,建立方式與規則運算式自訂偵測工具和一般自訂字典偵測工具不同。每一個儲存的自訂字典都有兩個元件:

  • 建立及定義的詞組清單。這份清單會儲存為 Cloud Storage 中的文字檔案,或 BigQuery 資料表中的資料欄。
  • 產生的字典檔案,由 Sensitive Data Protection 根據您的詞組清單建立。字典檔案儲存在 Cloud Storage 中,由來源詞組資料加上 Bloom 篩選器所組成,用於輔助搜尋和比對。這些檔案無法直接編輯。

建立字詞清單並使用 Sensitive Data Protection 產生自訂字典後,您可以使用儲存的自訂字典偵測工具,以類似其他 infoType 偵測工具的方式啟動或排定掃描。

如要進一步瞭解儲存的自訂字典偵測工具的運作原理及應用範例,請參閱建立儲存的自訂字典偵測工具一文。

規則運算式

您可以使用規則運算式 (regex) 自訂 infoType 偵測工具,建立自己的 infoType 偵測工具,讓 Sensitive Data Protection 根據 regex 模式偵測相符項目。舉例來說,假設您有 ###-#-##### 格式的病歷號碼。則可定義如下的規則運算式模式:

[1-9]{3}-[1-9]{1}-[1-9]{5}

Sensitive Data Protection 接著會比對類似下列的項目:

123-4-56789

您也可以指定指派給每個自訂 infoType 相符項目的可能性。也就是說,當 Sensitive Data Protection 比對到您指定的序列時,會指派您指定的可能性。這項功能非常實用,因為如果自訂規則運算式定義的序列很常見,就很容易與其他隨機序列相符,而您不希望 Sensitive Data Protection 將每個相符項目都標示為 VERY_LIKELY。這樣做會降低掃描結果的可信度,並可能導致錯誤的資訊去識別化。

如需進一步瞭解規則運算式自訂 infoType 偵測工具及其應用實例,請參閱建立自訂規則運算式偵測工具一文。