本文說明 Sensitive Data Protection 的圖片檢查和遮蓋功能。
Sensitive Data Protection 會使用 infoType 偵測工具檢查 base64 編碼圖片,並偵測圖片中的機密資料。Sensitive Data Protection 接著會傳回圖片中機密資料的位置資訊,或以不透明矩形遮蓋機密資料。
檢查和遮蓋是兩項不同的作業:
- 檢查:Sensitive Data Protection 會檢查提交的 Base64 編碼圖片,找出指定的 infoType。這項作業會傳回偵測到的 InfoType,以及一或多組像素座標和維度。每組像素座標和維度值分別代表定界框的左下角和維度。每個定界框都對應到全部或部分 Sensitive Data Protection 發現項目。
- 遮蓋:Sensitive Data Protection 會檢查提交的 Base64 編碼圖片,找出指定的 infoType。Sensitive Data Protection 會使用不透明矩形遮蓋機密資料,藉此遮蓋任何機密資料發現項目。並以與原始圖片相同的圖片格式,傳回經過遮蓋的 Base64 編碼圖片。您也可以在要求中設定遮蓋方塊的顏色。
圖片檢查和遮蓋功能的使用時機
以下是一些常見用途:
- 模糊處理掃描文件中的機密資料:在下游工作流程中處理上傳的 PDF 或圖片附件前,先遮蓋駕照、國民身分證和信用卡號碼。
- 清理客戶服務上傳內容:在將票證轉送給客服專員之前,自動遮蓋使用者提交的螢幕截圖中的帳號和個人聯絡資料。
- 找出數位媒體中的敏感元素:檢查圖片,擷取偵測到的文字定界框像素座標,讓自訂應用程式審查或選擇性模糊處理指定區域。
- 準備機器學習用的視覺資料集:遮蓋訓練圖片語料庫中的敏感個人資料,在遵守隱私權指南的同時,保留周圍的視覺背景資訊。
支援的圖片類型
如需支援的圖片類型清單,請參閱「檢查和去識別化作業支援的檔案類型」。
關於圖片檢查
Sensitive Data Protection 檢查服務會接受 Base64 編碼圖片,然後在圖片中搜尋符合檢查條件的資料。Sensitive Data Protection 會傳回偵測到的任何機密資料位置。
請參考下圖。
圖片檢查程序如下:
- 您向 DLP API 傳送
content.inspect要求。要求包含 Base64 編碼圖片和檢查設定,其中包含偵測條件。 - Sensitive Data Protection 會使用檢查設定掃描圖片,並找出相符項目。
- Sensitive Data Protection 會根據您的偵測條件,傳回圖片中發現機密資料的區域座標和尺寸。
傳回的座標會指出機密資料的位置。請注意,Sensitive Data Protection 通常會使用多個方塊,指出圖片中單一機密資料的位置。
如果 Sensitive Data Protection 在圖片中找不到任何符合偵測條件的資料,則會傳回空白且成功的 HTTP 200 回應。
關於遮蓋圖片
圖片遮蓋與圖片檢查類似,但多了一個步驟。Sensitive Data Protection 找出圖片中的機密資料位置後,不會傳回包含資料的區域座標,而是在這些區域放置不透明矩形,並傳回經過遮蓋、以 Base64 編碼的圖片。
圖片遮蓋程序如下:
- 您向 DLP API 傳送
image.redact要求。要求包含 Base64 編碼圖片和圖片遮蓋設定,其中包含偵測條件。 - Sensitive Data Protection 會使用圖片遮蓋設定掃描圖片,並找出相符項目。
- Sensitive Data Protection 會以不透明矩形遮蓋所有偵測到的機密資料。接著,系統會以 base64 編碼圖片,並在要求回應中傳回遮蓋後的圖片。
如果 Sensitive Data Protection 在圖片中找不到任何符合偵測條件的資料,就會傳回未經變更、以 Base64 編碼的圖片。
圖片偵測功能
本節說明可套用至檢查和遮蓋作業的圖片偵測功能。如要使用上述所有功能,請務必在支援圖片掃描功能的地區執行掃描。
辨識圖片中的文字
Sensitive Data Protection 會使用光學字元辨識 (OCR) 偵測圖片中的文字。Sensitive Data Protection 分析偵測到的文字時,與分析文字主體的方式類似。
如要偵測圖片中的文字,請在檢查或遮蓋設定中指定任何文字型 infoType,例如 PERSON_NAME 和 CREDIT_CARD_NUMBER。
辨識圖片中的物件和主題
Sensitive Data Protection 可分析非以文字為主的圖片像素和特徵。Sensitive Data Protection 會將這項技術用於下列功能。
物件偵測
Sensitive Data Protection 可以分類及遮蓋圖片中的物件。舉例來說,您可以設定掃描作業,偵測圖片中的附相片身分證件、人物和車牌。
如要偵測圖片中的物件,請在檢查或遮蓋設定中指定物件 infoType。
如要瞭解詳情,請參考下列資源:
圖片安全性分類
Sensitive Data Protection 可根據主題內容分類及遮蓋圖片。這項功能可根據預先定義的安全類別,協助您找出含有敏感或有害主題的圖片。
Sensitive Data Protection 會分析圖片的整體背景資訊和含義,判斷是否屬於情色露骨或暴力內容等類別。您可以使用這項功能支援內容審核,並強制執行使用限制政策。
執行圖片安全性分類時,Sensitive Data Protection 會分析整張圖片。與物件偵測不同,這項功能會評估圖片的整體主題,而非識別圖片中的特定項目。如果根據圖片安全性設定遮蓋,這項功能會遮蓋整張圖片。
如要執行圖片安全性分類,請在檢查或遮蓋設定中指定圖片內容 infoType。
生成圖像的限制
Sensitive Data Protection 用於圖片安全分類的模型,主要以真實世界的圖片進行訓練和評估。雖然這些模型在分析 AI 生成圖像方面有一定價值,但能否有效偵測 AI 生成圖像中的所有違規內容,則不一定。
如果對 AI 生成圖像使用圖片背景資訊 infoType,可能無法偵測到下列內容:
- 細微或隱晦的內容
- 視情境而定的情況,例如私人設定
- 不血腥的敏感主題畫面
這些分類器在 AI 生成圖像上的效能,可能與在自然圖像上觀察到的效能不符。建議您針對特定生成式 AI 用途進行徹底測試,確保結果符合安全規定。在高風險的生成式 AI 應用程式中,請勿僅依賴這些分類器來確保安全性。