本頁面說明 Sensitive Data Protection 如何建立 Cloud Storage 資料儲存庫儲存資料的去識別化副本。此外,本文也會列出這項作業的限制,以及開始前應考量的事項。
如要瞭解如何使用 Sensitive Data Protection 建立去識別化的 Cloud Storage 資料副本,請參閱下列資源:
關於去識別化
去識別化是從資料移除個人識別資訊的程序。其目標是在符合隱私權規定的情況下,使用及分享個人資訊,例如健康、財務或客層資訊。如要進一步瞭解去識別化,請參閱「將機密資料去識別化」。
如要進一步瞭解 Sensitive Data Protection 的去識別化轉換,請參閱「轉換參考資料」。如要進一步瞭解 Sensitive Data Protection 如何遮蓋圖片中的機密資料,請參閱「圖片檢查和遮蓋」。
使用儲存空間去識別化的時機
以下是一些常見用途:
- 為非正式環境產生去識別化資料集:將資料暫存至開發、測試或訓練環境之前,先為儲存在 Cloud Storage 的正式環境檔案建立去識別化副本。
- 與第三方共用經過清理的檔案存放區:對大量文件和非結構化檔案中的機密欄位進行模糊處理,同時保留原始資料夾階層,供外部業務合作夥伴或稽核人員使用。
- 自動化處理擷取文件的隱私權管道:將新上傳檔案中的機密資料轉換至指定的輸出 bucket,不需修改來源檔案或中斷上游管道。
- 強制執行資料落地和區隔:將機密資產的去識別化鏡像副本,儲存在不同的 Cloud Storage bucket 中,並採用不同的 Identity and Access Management 存取控管機制。
去識別化程序
本節說明 Sensitive Data Protection 如何將 Cloud Storage 中的內容去識別化。
如要使用這項功能,請建立檢查工作 (DlpJob),並設定為建立 Cloud Storage 檔案的去識別化副本。Sensitive Data Protection 會掃描指定位置的檔案,並根據您的設定進行檢查。檢查每個檔案時,Sensitive Data Protection 會對符合機密資料條件的資料進行去識別化,然後將內容寫入新檔案。新檔案的檔案名稱一律與原始檔案相同。並將這個新檔案儲存在您指定的輸出目錄中。如果檔案包含在掃描範圍內,但沒有資料符合去識別化條件,且處理過程中未發生錯誤,系統會將檔案複製到輸出目錄,不會進行任何變更。
您設定的輸出目錄必須位於 Cloud Storage bucket,且該 bucket 與包含輸入檔案的 bucket 不同。Sensitive Data Protection 會在輸出目錄中,建立與輸入目錄相同的檔案結構。
舉例來說,假設您設定了下列輸入和輸出目錄:
- 輸入目錄:
gs://input-bucket/folder1/folder1a - 輸出目錄:
gs://output-bucket/output-directory
去識別化期間,Sensitive Data Protection 會將去識別化檔案儲存在 gs://output-bucket/output-directory/folder1/folder1a。
如果輸出目錄中已有檔案與去識別化檔案同名,系統會覆寫該檔案。如果不想覆寫現有檔案,請先變更輸出目錄,再執行這項作業。或者,您也可以考慮啟用輸出值區的物件版本管理功能。
無論是否找到機密資料並去識別化,原始檔案的檔案層級存取控制清單 (ACL) 都會複製到新檔案。不過,如果輸出 bucket 僅設定統一 bucket 層級權限,而非精細 (物件層級) 權限,則 ACL 不會複製到去識別化檔案。
下圖顯示 Cloud Storage bucket 中四個檔案的去識別化程序。無論 Sensitive Data Protection 是否偵測到任何機密資料,系統都會複製每個檔案。每個複製的檔案名稱都與原始檔案相同。
定價
如需定價資訊,請參閱「儲存空間中資料的檢查與轉換」。
支援的檔案類型
Sensitive Data Protection 可將下列檔案類型群組去識別化:
- CSV
- 圖片。如需支援的圖片類型清單,請參閱「支援的檔案類型」。
- 文字
- TSV
預設去識別化行為
如要定義 Sensitive Data Protection 轉換發現項目的方式,可以為下列類型的檔案提供去識別化範本:
- 非結構化檔案,例如含有任意形式文字的文字檔案
- 結構化檔案,例如 CSV 檔案
- 圖片
如未提供任何去識別化範本,Sensitive Data Protection 會按照下列方式轉換發現項目:
- 在非結構化和結構化檔案中,Sensitive Data Protection 會將所有發現項目替換為對應的 infoType,如「InfoType 替換」一節所述。
- 在圖片中,Sensitive Data Protection 會以黑色方塊遮蓋所有發現項目。
限制和注意事項
建立去識別化的 Cloud Storage 資料副本前,請考量下列事項。
磁碟空間
這項作業僅支援儲存在 Cloud Storage 的內容。
這項作業會在 Sensitive Data Protection 檢查檔案時,建立每個檔案的副本。不會修改或移除原始內容。複製的資料會占用與原始資料大致相同的額外磁碟空間。
儲存空間的寫入權限
由於 Sensitive Data Protection 會建立原始檔案的副本,因此專案的服務代理必須具備 Cloud Storage 輸出 bucket 的寫入權限。
取樣及設定發現限制
這項作業不支援取樣。具體來說,您無法限制 Sensitive Data Protection 掃描及去識別化每個檔案的數量。也就是說,如果您使用 Cloud Data Loss Prevention API,就無法在 DlpJob 的 CloudStorageOptions 物件中使用 bytesLimitPerFile 和 bytesLimitPerFilePercent。
此外,您無法控制要傳回的發現項目數量上限。如果您使用 DLP API,則無法在 DlpJob 中設定 FindingLimits 物件。
資料檢查規定
執行檢查工作時,Sensitive Data Protection 會先根據檢查設定檢查資料,再執行去識別化。無法略過檢測程序。
檔案副檔名使用規定
Sensitive Data Protection 會根據副檔名,識別輸入目錄中的檔案類型。即使檔案類型受支援,系統也可能不會對沒有副檔名的檔案進行去識別化。
略過的檔案
將儲存空間中的檔案去識別化時,Sensitive Data Protection 會略過下列檔案:
- 檔案大小超過 60,000 KB。如果檔案超過這個限制,建議您將檔案拆成較小的區塊。
- 本頁「支援的檔案類型」中未列出的檔案類型。
- 您刻意從去識別化設定中排除的檔案類型。如果您使用 DLP API,系統會略過您從
DlpJob的Deidentify動作file_types_to_transform欄位中排除的檔案類型。 - 發生轉換錯誤的檔案。
去識別化資料表中輸出資料列的順序
我們無法保證去識別化資料表中的資料列順序,會與原始資料表中的資料列順序一致。如要比較原始資料表和去識別化資料表,您無法依據資料列編號來識別對應的資料列。如要比較資料表的資料列,必須使用專屬 ID 識別每筆記錄。
暫時性金鑰
如果選擇加密方法做為轉換方法,則必須先使用 Cloud Key Management Service 建立包裝金鑰。然後在去識別化範本中提供該金鑰。不支援暫時性 (原始) 金鑰。