將 Cloud Storage 中的機密資料去識別化

本頁面說明 Sensitive Data Protection 如何建立 Cloud Storage 資料儲存庫儲存資料的去識別化副本。此外,本文也會列出這項作業的限制,以及開始前應考量的事項。

如要瞭解如何使用 Sensitive Data Protection 建立去識別化的 Cloud Storage 資料副本,請參閱下列資源:

關於去識別化

去識別化是從資料移除個人識別資訊的程序。其目標是在符合隱私權規定的情況下,使用及分享個人資訊,例如健康、財務或客層資訊。如要進一步瞭解去識別化,請參閱「將機密資料去識別化」。

如要進一步瞭解 Sensitive Data Protection 的去識別化轉換,請參閱「轉換參考資料」。如要進一步瞭解 Sensitive Data Protection 如何遮蓋圖片中的機密資料,請參閱「圖片檢查和遮蓋」。

使用儲存空間去識別化的時機

以下是一些常見用途:

  • 為非正式環境產生去識別化資料集:將資料暫存至開發、測試或訓練環境之前,先為儲存在 Cloud Storage 的正式環境檔案建立去識別化副本。
  • 與第三方共用經過清理的檔案存放區:對大量文件和非結構化檔案中的機密欄位進行模糊處理,同時保留原始資料夾階層,供外部業務合作夥伴或稽核人員使用。
  • 自動化處理擷取文件的隱私權管道:將新上傳檔案中的機密資料轉換至指定的輸出 bucket,不需修改來源檔案或中斷上游管道。
  • 強制執行資料落地和區隔:將機密資產的去識別化鏡像副本,儲存在不同的 Cloud Storage bucket 中,並採用不同的 Identity and Access Management 存取控管機制。

去識別化程序

本節說明 Sensitive Data Protection 如何將 Cloud Storage 中的內容去識別化。

如要使用這項功能,請建立檢查工作 (DlpJob),並設定為建立 Cloud Storage 檔案的去識別化副本。Sensitive Data Protection 會掃描指定位置的檔案,並根據您的設定進行檢查。檢查每個檔案時,Sensitive Data Protection 會對符合機密資料條件的資料進行去識別化,然後將內容寫入新檔案。新檔案的檔案名稱一律與原始檔案相同。並將這個新檔案儲存在您指定的輸出目錄中。如果檔案包含在掃描範圍內,但沒有資料符合去識別化條件,且處理過程中未發生錯誤,系統會將檔案複製到輸出目錄,不會進行任何變更。

您設定的輸出目錄必須位於 Cloud Storage bucket,且該 bucket 與包含輸入檔案的 bucket 不同。Sensitive Data Protection 會在輸出目錄中,建立與輸入目錄相同的檔案結構。

舉例來說,假設您設定了下列輸入和輸出目錄:

  • 輸入目錄:gs://input-bucket/folder1/folder1a
  • 輸出目錄:gs://output-bucket/output-directory

去識別化期間,Sensitive Data Protection 會將去識別化檔案儲存在 gs://output-bucket/output-directory/folder1/folder1a。

如果輸出目錄中已有檔案與去識別化檔案同名,系統會覆寫該檔案。如果不想覆寫現有檔案,請先變更輸出目錄,再執行這項作業。或者,您也可以考慮啟用輸出值區的物件版本管理功能。

無論是否找到機密資料並去識別化,原始檔案的檔案層級存取控制清單 (ACL) 都會複製到新檔案。不過,如果輸出 bucket 僅設定統一 bucket 層級權限,而非精細 (物件層級) 權限,則 ACL 不會複製到去識別化檔案。

下圖顯示 Cloud Storage bucket 中四個檔案的去識別化程序。無論 Sensitive Data Protection 是否偵測到任何機密資料,系統都會複製每個檔案。每個複製的檔案名稱都與原始檔案相同。

將儲存在 Cloud Storage 中的檔案去識別化。
對儲存在 Cloud Storage 中的檔案進行去識別化 (按一下即可放大)。

定價

如需定價資訊,請參閱「儲存空間中資料的檢查與轉換」。

支援的檔案類型

Sensitive Data Protection 可將下列檔案類型群組去識別化:

預設去識別化行為

如要定義 Sensitive Data Protection 轉換發現項目的方式,可以為下列類型的檔案提供去識別化範本:

  • 非結構化檔案,例如含有任意形式文字的文字檔案
  • 結構化檔案,例如 CSV 檔案
  • 圖片

如未提供任何去識別化範本,Sensitive Data Protection 會按照下列方式轉換發現項目:

  • 在非結構化和結構化檔案中,Sensitive Data Protection 會將所有發現項目替換為對應的 infoType,如「InfoType 替換」一節所述。
  • 在圖片中,Sensitive Data Protection 會以黑色方塊遮蓋所有發現項目。

限制和注意事項

建立去識別化的 Cloud Storage 資料副本前,請考量下列事項。

磁碟空間

這項作業僅支援儲存在 Cloud Storage 的內容。

這項作業會在 Sensitive Data Protection 檢查檔案時,建立每個檔案的副本。不會修改或移除原始內容。複製的資料會占用與原始資料大致相同的額外磁碟空間。

儲存空間的寫入權限

由於 Sensitive Data Protection 會建立原始檔案的副本,因此專案的服務代理必須具備 Cloud Storage 輸出 bucket 的寫入權限。

取樣及設定發現限制

這項作業不支援取樣。具體來說,您無法限制 Sensitive Data Protection 掃描及去識別化每個檔案的數量。也就是說,如果您使用 Cloud Data Loss Prevention API,就無法在 DlpJob 的 CloudStorageOptions 物件中使用 bytesLimitPerFile 和 bytesLimitPerFilePercent。

此外,您無法控制要傳回的發現項目數量上限。如果您使用 DLP API,則無法在 DlpJob 中設定 FindingLimits 物件。

資料檢查規定

執行檢查工作時,Sensitive Data Protection 會先根據檢查設定檢查資料,再執行去識別化。無法略過檢測程序。

檔案副檔名使用規定

Sensitive Data Protection 會根據副檔名,識別輸入目錄中的檔案類型。即使檔案類型受支援,系統也可能不會對沒有副檔名的檔案進行去識別化。

略過的檔案

將儲存空間中的檔案去識別化時,Sensitive Data Protection 會略過下列檔案:

  • 檔案大小超過 60,000 KB。如果檔案超過這個限制,建議您將檔案拆成較小的區塊。
  • 本頁「支援的檔案類型」中未列出的檔案類型。
  • 您刻意從去識別化設定中排除的檔案類型。如果您使用 DLP API,系統會略過您從 DlpJob 的 Deidentify 動作 file_types_to_transform 欄位中排除的檔案類型。
  • 發生轉換錯誤的檔案。

去識別化資料表中輸出資料列的順序

我們無法保證去識別化資料表中的資料列順序,會與原始資料表中的資料列順序一致。如要比較原始資料表和去識別化資料表,您無法依據資料列編號來識別對應的資料列。如要比較資料表的資料列,必須使用專屬 ID 識別每筆記錄。

暫時性金鑰

如果選擇加密方法做為轉換方法,則必須先使用 Cloud Key Management Service 建立包裝金鑰。然後在去識別化範本中提供該金鑰。不支援暫時性 (原始) 金鑰。

後續步驟