本頁面說明如何使用 Cloud Data Loss Prevention API 檢查 Cloud Storage 資源,並建立去識別化的資料副本。
這項作業有助於確保業務程序中使用的檔案不含敏感資料,例如個人識別資訊 (PII)。Sensitive Data Protection 可檢查 Cloud Storage bucket 中的檔案,找出機密資料,並在另一個 bucket 中建立這些檔案的去識別化副本。接著,您可以在業務流程中使用去識別化副本。
如要進一步瞭解這項功能,請參閱「將 Cloud Storage 中的機密資料去識別化」。
事前準備
本頁面假設:
您已啟用計費功能。
您已啟用 Sensitive Data Protection。
您有一個 Cloud Storage bucket,當中的資料需要去識別化。
您已瞭解如何將 HTTP 要求傳送至 DLP API。詳情請參閱「使用 DLP API 檢查機密文字」。
瞭解這項作業的限制和注意事項。
儲存空間檢查需要下列 OAuth 範圍:https://www.googleapis.com/auth/cloud-platform。詳情請參閱「向 DLP API 進行驗證」。
必要的 IAM 角色
如果這項作業的所有資源都位於同一個專案中,則服務代理的 DLP API 服務代理角色 (roles/dlp.serviceAgent) 就足夠。取得這個角色後,您就能:
- 建立檢查工作
- 讀取輸入目錄中的檔案
- 將去識別化檔案寫入輸出目錄
- 將轉換詳細資料寫入 BigQuery 資料表
相關資源包括檢查工作、去識別化範本、輸入 bucket、輸出 bucket 和轉換詳細資料表。
如果資源必須位於不同專案,請確認專案的服務代理也具備下列角色:
- 輸入 bucket 或包含該 bucket 的專案,具備 Storage 物件檢視者角色 (
roles/storage.objectViewer)。 - 輸出值區或其所在專案的 Storage 物件建立者角色 (
roles/storage.objectCreator)。 - 轉換詳細資料表或其所屬專案的 BigQuery 資料編輯者角色 (
roles/bigquery.dataEditor)。
如要將角色授予服務代理,請參閱「授予單一角色」。您也可以在下列層級控管存取權:
API 總覽
如要建立 Cloud Storage 中儲存內容的去識別化副本,請設定檢查工作,根據您指定的條件尋找機密資料。接著,在檢查工作中,以 Deidentify 動作的形式提供去識別化操作說明。
如果只想掃描 bucket 中的部分檔案,可以限制工作掃描的檔案。去識別化工作支援的選項包括依類型篩選檔案 (FileType) 和規則運算式 (FileSet)。
啟用 Deidentify 動作時,Sensitive Data Protection 預設會為掃描作業中所有支援的檔案類型,建立去識別化 (轉換) 副本。不過,您可以設定工作,只轉換支援檔案類型的子集。
選用:建立去識別化範本
如要控管發現項目的轉換方式,請建立下列範本。這些範本提供轉換結構化檔案、非結構化檔案和圖片中發現項目的操作說明。
去識別化範本:預設的
DeidentifyTemplate,用於非結構化檔案,例如自由格式文字檔。這類DeidentifyTemplate不得包含RecordTransformations物件,因為該物件僅支援結構化內容。如果沒有這個範本,Sensitive Data Protection 會使用ReplaceWithInfoTypeConfig方法轉換非結構化檔案。結構化去識別化範本:用於結構化檔案 (例如 CSV 檔案) 的
DeidentifyTemplate。這個DeidentifyTemplate可以包含RecordTransformations。如果沒有這個範本,Sensitive Data Protection 會使用您建立的預設去識別化範本。如果也沒有,Sensitive Data Protection 會使用ReplaceWithInfoTypeConfig方法轉換結構化檔案。圖片遮蓋範本:用於圖片的
DeidentifyTemplate。這個範本必須包含ImageTransformations物件。如果沒有這個範本,Sensitive Data Protection 會使用黑色方塊遮蓋圖片中的所有發現項目。
進一步瞭解如何建立去識別化範本。
建立含有去識別化動作的檢查工作
DlpJob 物件會指示要檢查的內容、要標記為機密的資料類型,以及如何處理發現項目。如要將 Cloud Storage 目錄中的機密資料去識別化,DlpJob 至少必須定義下列項目:
StorageConfig物件,指定要檢查的 Cloud Storage 目錄。InspectConfig物件,其中包含要尋找的資料類型,以及如何尋找機密資料的其他檢查指示。包含下列項目的
Deidentify動作:TransformationConfig物件,用於指定您建立的任何範本,以便對結構化和非結構化檔案中的資料進行去識別化。您也可以加入設定,遮蓋圖片中的機密資料。如未加入
TransformationConfig物件,Sensitive Data Protection 會將文字中的機密資料替換為其 infoType。在圖片上,系統會以黑色方塊遮蓋私密資料。TransformationDetailsStorageConfig物件,指定 Sensitive Data Protection 必須儲存每項轉換作業詳細資料的 BigQuery 資料表。每項轉換作業的詳細資料包括說明、成功或錯誤代碼、任何錯誤詳細資料、轉換的位元組數、轉換內容的位置,以及 Sensitive Data Protection 執行轉換作業的檢查工作名稱。這個資料表不會儲存實際去識別化的內容。
資料寫入 BigQuery 資料表時,費用和配額用量會計入目的地資料表所屬專案。
複製的內容去識別化後,去識別化工作就會完成。工作包含指定轉換套用次數的摘要,您可以使用 DlpJob 的 projects.dlpJobs.get 方法擷取。傳回的 DlpJob 同時包含 DeidentifyDataSourceDetails 物件和 InspectDataSourceDetails 物件。這些物件分別包含 Deidentify 動作和檢查工作的結果。
如果您在 DlpJob 中加入 TransformationDetailsStorageConfig 物件,系統會建立 BigQuery 資料表,其中包含轉換詳細資料的中繼資料。每進行一項轉換,Sensitive Data Protection 就會將一列中繼資料寫入資料表。如要進一步瞭解表格內容,請參閱「轉換詳細資料參考」。
程式碼範例
以下範例說明如何使用 DLP API 建立 Cloud Storage 檔案的去識別化副本。
HTTP 方法和網址
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs
C#
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
PHP
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
如要瞭解如何安裝及使用 Sensitive Data Protection 的用戶端程式庫,請參閱「Sensitive Data Protection 用戶端程式庫」。
如要向 Sensitive Data Protection 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
JSON 輸入{
"inspectJob": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
]
},
"actions": [
{
"deidentify": {
"cloudStorageOutput": "OUTPUT_DIRECTORY",
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"fileTypesToTransform": ["IMAGE", "CSV", "TEXT_FILE"]
}
}
]
}
}
更改下列內容:
PROJECT_ID:要儲存檢查工作的專案 ID。INPUT_DIRECTORY:要檢查的 Cloud Storage 目錄,例如gs://input-bucket/folder1/folder1a。如果網址結尾是斜線,系統不會掃描INPUT_DIRECTORY內的任何子目錄。OUTPUT_DIRECTORY:要儲存去識別化檔案的 Cloud Storage 目錄。這個目錄不得與INPUT_DIRECTORY位於同一個 Cloud Storage bucket。DEIDENTIFY_TEMPLATE_NAME:如果您已建立預設去識別化範本,則為非結構化和結構化檔案的預設去識別化範本完整資源名稱。這個值必須採用projects/projectName/(locations/locationId)/deidentifyTemplates/templateName格式。STRUCTURED_DEIDENTIFY_TEMPLATE_NAME:結構化檔案去識別化範本的完整資源名稱 (如有建立)。這個值必須採用projects/projectName/(locations/locationId)/deidentifyTemplates/templateName格式。IMAGE_REDACTION_TEMPLATE_NAME:圖片遮蓋範本的完整資源名稱 (如有建立)。這個值必須採用projects/projectName/(locations/locationId)/deidentifyTemplates/templateName格式。TRANSFORMATION_DETAILS_PROJECT_ID:要儲存轉換詳細資料的專案 ID。TRANSFORMATION_DETAILS_DATASET_ID:BigQuery 資料集的 ID,用於儲存轉換詳細資料。如未提供資料表 ID,系統會自動建立。TRANSFORMATION_DETAILS_TABLE_ID:要儲存轉換詳細資料的 BigQuery 資料表 ID。
請注意下列物件:
inspectJob:工作的設定物件 (DlpJob)。這個物件包含檢查和去識別化階段的設定。storageConfig:要檢查的內容位置 (StorageConfig)。這個範例指定 Cloud Storage bucketCloudStorageOptions。inspectConfig:要檢查的機密資料相關資訊 (InspectConfig)。這個範例會檢查與內建 infoTypePERSON_NAME相符的內容。actions:工作檢查部分完成後要採取的動作 (Action)。deidentify:指定這項動作,指示 Sensitive Data Protection 根據內部指定的設定 (Deidentify) 去識別化相符的機密資料。cloudStorageOutput:指定 Cloud Storage 目錄的網址,用於儲存去識別化檔案。transformationConfig:指定 Sensitive Data Protection 必須如何對結構化檔案、非結構化檔案和圖片 (TransformationConfig) 中的機密資料進行去識別化。如未加入
TransformationConfig物件,Sensitive Data Protection 會將文字中的機密資料替換為其 infoType。在圖片上,系統會以黑色方塊遮蓋私密資料。transformationDetailsStorageConfig:指定 Sensitive Data Protection 必須儲存這項工作執行的每項轉換作業中繼資料。此外,這項設定也會指定 Sensitive Data Protection 必須儲存中繼資料的資料表位置和名稱 (TransformationDetailsStorageConfig)。fileTypesToTransform:將去識別化作業限制為僅限您列出的檔案類型。如未設定這個欄位,檢查作業中包含的所有支援檔案類型,也會納入去識別化作業。在這個範例中,即使您將DlpJob設為檢查所有支援的檔案類型,Sensitive Data Protection 也只會對圖片、CSV 和文字檔案進行去識別化。
透過 REST API 建立檢查工作
如要建立檢查工作 (DlpJob),請傳送 projects.dlpJobs.create 要求。如要使用 cURL 傳送要求,請將先前的 REST 範例儲存為 JSON 檔案,然後執行下列指令:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs \
-d @PATH_TO_JSON_FILE
更改下列內容:
PROJECT_ID:您儲存DlpJob的專案 ID。PATH_TO_JSON_FILE:包含要求主體的 JSON 檔案路徑。
Sensitive Data Protection 會傳回新建立 DlpJob 的 ID、狀態,以及您設定的檢查設定快照。
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
...
}
擷取檢查工作的結果
如要擷取 DlpJob 的結果,請傳送 projects.dlpJobs.get 要求:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs/JOB_ID
更改下列內容:
PROJECT_ID:您儲存DlpJob的專案 ID。JOB_ID:建立DlpJob時傳回的工作 ID。
如果作業完成,您會收到類似以下的回覆:
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "DONE",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
],
"limits": {}
},
"actions": [
{
"deidentify": {
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"fileTypesToTransform": [
"IMAGE",
"CSV",
"TEXT_FILE"
],
"cloudStorageOutput": "OUTPUT_DIRECTORY"
}
}
]
}
},
"result": {
"processedBytes": "25242",
"totalEstimatedBytes": "25242",
"infoTypeStats": [
{
"infoType": {
"name": "PERSON_NAME"
},
"count": "114"
}
]
}
},
"createTime": "2022-06-09T23:00:53.380Z",
"startTime": "2022-06-09T23:01:27.986383Z",
"endTime": "2022-06-09T23:02:00.443536Z",
"actionDetails": [
{
"deidentifyDetails": {
"requestedOptions": {
"snapshotDeidentifyTemplate": {
"name": "DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T17:46:34.208923Z",
"updateTime": "2022-06-09T17:46:34.208923Z",
"deidentifyConfig": {
"infoTypeTransformations": {
"transformations": [
{
"primitiveTransformation": {
"characterMaskConfig": {
"maskingCharacter": "*",
"numberToMask": 25
}
}
}
]
}
}
},
"snapshotStructuredDeidentifyTemplate": {
"name": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T20:51:12.411456Z",
"updateTime": "2022-06-09T21:07:53.633149Z",
"deidentifyConfig": {
"recordTransformations": {
"fieldTransformations": [
{
"fields": [
{
"name": "Name"
}
],
"primitiveTransformation": {
"replaceConfig": {
"newValue": {
"stringValue": "[redacted]"
}
}
}
}
]
}
}
},
"snapshotImageRedactTemplate": {
"name": "IMAGE_REDACTION_TEMPLATE_NAME",
"createTime": "2022-06-09T20:52:25.453564Z",
"updateTime": "2022-06-09T20:52:25.453564Z",
"deidentifyConfig": {}
}
},
"deidentifyStats": {
"transformedBytes": "3972",
"transformationCount": "110"
}
}
}
]
}
後續步驟
- 進一步瞭解如何對儲存空間中的資料進行去識別化。
- 瞭解如何使用 Google Cloud 控制台去識別化儲存空間中的資料。
- 完成「在 Cloud Storage 建立去識別化的資料副本」程式碼實驗室。
- 進一步瞭解去識別化轉換。
- 瞭解如何檢查儲存空間中的機密資料。