בעזרת "ניהול סיכונים במערכות AI" אתם יכולים לנהל את מצב האבטחה של עומסי העבודה ב-AI בסביבת Google Cloud . אתם יכולים להשתמש בו כדי לראות את מלאי ה-AI, לזהות איומים ולצמצם את הסיכונים למערכות ה-AI.
התכונה "ניהול סיכונים במערכות AI" זמינה כשמפעילים את Security Command Center ברמת הארגון וברמת הפרויקט. בהתאם להיקף ההפעלה, במרכז הבקרה של AI Security במסוף Google Cloud מוצגים נתונים נצברים מכל הפרויקטים והמשאבים, או נתונים מהפרויקט שנבחר.
היכולות של "ניהול סיכונים במערכות AI"
התכונה "ניהול סיכונים במערכות AI" עוזרת לכם לנהל איומים וסיכונים לרכיבים במערכות ה-AI שלכם. רמת השירות קובעת את היכולות הזמינות, שכוללות את האפשרויות הבאות:
- הערכת מלאי נכסי ה-AI: הבנת מערכות ונכסי ה-AI.
- זיהוי נקודות חולשה (רמות השירות Premium ו-Enterprise (הוצאה משימוש)): זיהוי נקודות חולשה בתוכנה (CVE) וסודות בטקסט פשוט בעומסי עבודה של סוכנים שנפרסו באמצעות Agent Runtime.
- זיהוי סיכונים (רמות השירות Premium ו-Enterprise (הוצאה משימוש)): זיהוי סיכונים וההשפעה שלהם על הסביבה על סמך סימולציה של מסלול התקפה וכללים מוגדרים מראש של Security Graph, עם סוכנים ושרתי MCP כמשאבים בעלי ערך גבוה.
- זיהוי סוכנים עם הרשאות יתר: זיהוי סוכני Agent Runtime שקיבלו הרשאות יתר.
- ניהול התאימות: מוודאים באופן יזום שנכסי ה-AI בפריסות עומדים בתקני האבטחה הרלוונטיים. רמת השירות Standard כוללת ממצאי אבטחה בסיסיים עם Security Essentials, ורמות השירות Premium ו-Enterprise כוללות תאימות מתקדמת למסגרת.
- זיהוי איומים וניהול שלהם: זיהוי איומים פוטנציאליים על מערכות ונכסי ה-AI ותגובה להם בזמן.
תרחישים לדוגמה לניהול סיכונים במערכות AI
התכונה "ניהול סיכונים במערכות AI" עוזרת לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולמידע רגיש. התרחישים הבאים לדוגמה ממחישים איך ארגונים שונים יכולים להשתמש ב-AI Protection:
מוסד לשירותים פיננסיים: נתונים פיננסיים של לקוחות
מוסד גדול לשירותים פיננסיים משתמש במודלי AI שמעבדים נתונים פיננסיים רגישים.
- האתגר: עיבוד של נתונים פיננסיים רגישים מאוד באמצעות מודלים של AI כרוך בכמה סיכונים, כולל הסיכון של פרצות באבטחת מידע, זליגת נתונים במהלך אימון או הסקת מסקנות, ונקודות חולשה בתשתית ה-AI הבסיסית.
- תרחיש לדוגמה: ניהול סיכונים במערכות AI עוקב באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, גישה לא מורשית לנתונים והתנהגות חריגה של מודלים. הוא גם מסווג נתונים רגישים ועוזר לכם לעמוד בתקנות כמו PCI DSS ו-GDPR.
ספק שירותי בריאות: פרטיות המטופלים ותאימות
ספק שירותים רפואיים גדול מנהל סיכומי מצב בריאותי אלקטרוניים ומשתמש ב-AI לאבחון ולתכנון טיפולים, תוך טיפול במידע רפואי מוגן (PHI).
- האתגר: מידע בריאותי אישי (PHI) שמנותח על ידי מודלי AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של מידע בריאותי אישי (PHI) בגלל הגדרות שגויות או התקפות זדוניות שמטרתן להשיג נתוני מטופלים ממערכות AI.
- תרחיש לדוגמה: המערכת מזהה הפרות פוטנציאליות של HIPAA ומתריעה עליהן, מזהה גישה לא מורשית של מודלים או משתמשים ל-PHI, מסמנת שירותי AI פגיעים או כאלה שעלולים להיות מוגדרים באופן שגוי, ועוקבת אחרי דליפת נתונים.
חברת ייצור ורובוטיקה: קניין רוחני קנייני
חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לשפר את קווי הייצור ואת הבקרה הרובוטית, עם קניין רוחני (IP) חיוני שמוטמע באלגוריתמים של ה-AI ובנתוני הייצור.
- האתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה על ידי גורמים עוינים פנימיים או חיצוניים, מה שעלול להוביל לפגיעה ביתרון התחרותי או לשיבוש תפעולי.
- תרחיש שימוש: ניהול סיכונים במערכות AI עוקב אחרי גישה לא מורשית למודלי AI ולמאגרי המקורות של הקוד, מזהה ניסיונות להוציא מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן נקודות חולשה בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני (IP).
שירותי זיהוי ב-AI Protection
בקטע הבא מתוארים הכללים ושירותי הזיהוי שיוצרים ממצאים כשמפעילים את "ניהול סיכונים במערכות AI". רמת השירות והיקף ההפעלה (ברמת הארגון או ברמת הפרויקט) של Security Command Center קובעים באילו שירותי זיהוי Security Command Center תומך ואילו ממצאים נוצרים. חלק משירותי הזיהוי מופעלים באופן אוטומטי ב-Security Command Center, אבל צריך להגדיר שירותים אחרים באופן ידני. מידע נוסף זמין במאמר הגדרת ניהול סיכונים במערכות AI.
שירות AI Discovery
זהו שירות מובנה שמשתמש בנתוני Cloud Monitoring כדי לגלות מודלים של AI ולקבוע אם Model Armor מגן על המודלים. ברמת השירות Standard, אי אפשר לזהות מודלים של Gemini באמצעות AI Discovery.
למידע על הממצאים שהשירות הזה יוצר, קראו את המאמר ממצאים של שירות AI Discovery.
מסגרות של Compliance Manager
התכונה "ניהול סיכונים במערכות AI" משתמשת במסגרות של Compliance Manager, ש-Security Command Center פורס באופן אוטומטי במצב זיהוי.
מסגרות מובנות ב-Compliance Manager
התכונה "ניהול סיכונים במערכות AI" כוללת את המסגרות הבאות. כשמפעילים את "ניהול סיכונים במערכות AI", המערכת של Security Command Center מפעילה באופן אוטומטי את המסגרות האלה בארגון או בפרויקט.
Security Essentials framework זמין ברמות השירות Standard, Premium ו-Enterprise.
Google Recommended AI Essentials – Gemini Enterprise Agent Platform זמין ברמות השירות Premium ו-Enterprise.
בהתאם לרמת השירות, אתם יכולים להגדיר מסגרות ואמצעי בקרה בענן נוספים ב-Compliance Manager. מידע נוסף על Compliance Manager
מסגרות בהתאמה אישית ב-Compliance Manager
אתם יכולים ליצור מסגרות בהתאמה אישית על ידי יצירת עותקים של מסגרות מובנות שזמינות ברמת השירות שלכם.
- התאמה אישית: אתם יכולים להוסיף או להסיר אמצעי בקרה בענן במסגרות בהתאמה אישית, כדי להתאים אותן למדיניות האבטחה שלכם.
- החלה ממוקדת: אתם יכולים להחיל מסגרות בהתאמה אישית על ארגונים, תיקיות או פרויקטים ספציפיים. לדוגמה, אתם יכולים להחיל אמצעי בקרה ספציפיים של סמכות שיפוט על תיקיות ספציפיות כדי לוודא שהנתונים נשארים באזור גיאוגרפי מסוים.
- מגבלה: אי אפשר להקצות לאפליקציות מסגרות של ניהול סיכונים במערכות AI.
כללי Event Threat Detection לנכסים ב-Gemini Enterprise Agent Platform
הכלי Event Threat Detection מזהה כמה איומים פוטנציאליים שקשורים לנכסים ב-Gemini Enterprise Agent Platform, כמו פעילות חריגה בחשבון שירות, שינויים בהרשאות גישה למידע רגיש וניצול לרעה של זהות הסוכן.
אלה קטגוריות הממצאים שרלוונטיות לנכסי AI:
-
Credential Access: AI Agent Anomalous Access to Metadata Service -
Defense Evasion: Folder Level TokenCreator Role Granted to AI Agent -
Defense Evasion: Organization Level TokenCreator Role Granted to AI Agent -
Defense Evasion: Project Level TokenCreator Role Granted to AI Agent -
Discovery: AI Agent Service Account Self-Investigation -
Discovery: AI Agent Unauthorized Service Account API Call -
Discovery: Evidence of Port Scanning from AI Agent -
Exfiltration: AI Agent Initiated BigQuery Data Exfiltration to External Table -
Exfiltration: AI Agent Initiated BigQuery Data Extraction -
Exfiltration: AI Agent Initiated BigQuery VPC Perimeter Violation -
Exfiltration: AI Agent Initiated CloudSQL Exfiltration to External Bucket -
Exfiltration: AI Agent Initiated CloudSQL Exfiltration to Public Bucket -
Impact: Gemini Discovery Engine API Document Import by External User -
Impact: Gemini Discovery Engine API Document Import from External Resource -
Impact: Gemini Discovery Engine API Document Import VPC Perimeter Violation -
Initial Access: AI Agent Identity Excessive Permission Denied Actions -
Initial Access: Dormant Service Account Activity in AI Service -
Persistence: External Access Granted to Gemini Discovery Engine API Apps -
Persistence: New AI API Method -
Persistence: New Geography for AI Service -
Persistence: Sensitive AI Permission Added to Custom Role -
Persistence: Sensitive Role Granted by AI Agent -
Persistence: Sensitive Role Granted to External AI Agent -
Privilege Escalation: AI Agent Cross-Project Access Token Generation -
Privilege Escalation: AI Agent Cross-Project OpenID Token Generation -
Privilege Escalation: AI Agent Token Generation Using Implicit Delegation -
Privilege Escalation: AI Agent Token Generation Using signJwt -
Privilege Escalation: Anomalous Impersonation of Service Account for AI Admin Activity -
Privilege Escalation: Anomalous Multistep Service Account Delegation for AI Admin Activity -
Privilege Escalation: Anomalous Multistep Service Account Delegation for AI Data Access -
Privilege Escalation: Anomalous Service Account Impersonator for AI Admin Activity -
Privilege Escalation: Anomalous Service Account Impersonator for AI Data Access
לרשימה המלאה של הממצאים של Event Threat Detection שרלוונטיים לנכסי AI, קראו את הסקירה הכללית של Event Threat Detection.
זיהוי איומים ב-Agent Platform ל-Agent Runtime
הכלי "זיהוי איומים בפלטפורמת הסוכנים" (גרסת טרום-השקה (Preview)) מזהה איומים בזמן ריצה בסוכנים שנפרסו ב-Agent Runtime. הוא עוקב אחרי סוכנים שפועלים כדי לזהות התקפות פוטנציאליות, ויוצר ממצאים ב-Security Command Center.
הכלי Agent Platform Threat Detection יוצר ממצאים ל-Agent Runtime, כולל הקטגוריות הבאות:
-
Command and Control: Steganography Tool Detected -
Credential Access: Find Google Cloud Credentials -
Credential Access: GPG Key Reconnaissance -
Credential Access: Search Private Keys or Passwords -
Defense Evasion: Base64 ELF File Command Line -
Defense Evasion: Base64 Encoded Python Script Executed -
Defense Evasion: Base64 Encoded Shell Script Executed -
Defense Evasion: Launch Code Compiler Tool In Container -
Execution: Added Malicious Binary Executed -
Execution: Added Malicious Library Loaded -
Execution: Added Malicious Skill Executed -
Execution: Added Malicious Skill Loaded -
Execution: Built in Malicious Binary Executed -
Execution: Container Escape -
Execution: Fileless Execution in /memfd: -
Execution: Kubernetes Attack Tool Execution -
Execution: Local Reconnaissance Tool Execution -
Execution: Malicious Python Executed -
Execution: Modified Malicious Binary Executed -
Execution: Modified Malicious Library Loaded -
Execution: Modified Malicious Skill Executed -
Execution: Modified Malicious Skill Loaded -
Execution: Netcat Remote Code Execution in Container -
Execution: Possible Arbitrary Command Execution through CUPS (CVE-2024-47177) -
Execution: Possible Remote Command Execution Detected -
Execution: Program Run with Disallowed HTTP Proxy Env -
Execution: Socat Reverse Shell Detected -
Execution: Suspicious OpenSSL Shared Object Loaded -
Exfiltration: Launch Remote File Copy Tools in Container -
Impact: Detect Malicious Cmdlines -
Impact: Remove Bulk Data from Disk -
Impact: Suspicious crypto mining activity using the Stratum Protocol -
Malicious Script Executed -
Malicious URL Observed -
Privilege Escalation: Attempt to Abuse Sudo For Privilege Escalation (CVE-2019-14287) -
Privilege Escalation: Polkit Local Privilege Escalation Vulnerability (CVE-2021-4034) -
Privilege Escalation: Sudo Potential Privilege Escalation (CVE-2021-3156) -
Reverse Shell -
Unexpected Child Shell
מידע נוסף על Agent Platform Threat Detection
הערכת נקודות חולשה ב-Agent Platform
הערכת נקודות החולשה ב-Agent Platform (גרסת טרום-השקה (Preview)) מזהה נקודות חולשה וסודות בטקסט פשוט, כמו פרטי כניסה, מפתחות, אסימוני גישה או אישורים, בקובצי אימג' של קונטיינרים ב-Gemini Enterprise Agent Platform.
מידע נוסף זמין בקטע הערכת נקודות חולשה בפלטפורמת הסוכן במאמר "שירותי זיהוי".
Notebook Security Scanner
Notebook Security Scanner (גרסת טרום-השקה (Preview)) סורק את קובצי ה-Notebook של Colab Enterprise כדי לזהות נקודות חולשה בחבילות Python.
למידע נוסף, קראו את הקטע Notebook Security Scanner במאמר "שירותי זיהוי".
Sensitive Data Protection
שירות הגילוי של Sensitive Data Protection הוא שירות מנוהל במלואו Google Cloudשעוזר לכם לגלות, לסווג ולהגן על המידע הרגיש שלכם. אתם יכולים להשתמש ב-Sensitive Data Protection כדי לבדוק אם אתם מאחסנים מידע רגיש או פרטים אישיים מזהים (PII).
מידע נוסף זמין בקטע ממצאים של Sensitive Data Protection במאמר "שירותי זיהוי".
Model Armor
אחרי שמפעילים את "הגנה מוגברת על המודל" ומגדירים את "הגנה מוגברת על המודל" לשילוב עם רכיב אחד או יותר שקשורים ל-AI, אפשר לחקור את הממצאים של "הגנה מוגברת על המודל" ב-Security Command Center.
ברמת השירות Security Command Center Standard, חבילת AI Protection לא תומכת במודלים של Gemini.
כדי להגדיר את Model Armor, קראו את המאמר יצירה וניהול של תבניות.
מנוע הסיכונים
מנגנון הסיכון הוא תכונה ב-Security Command Center שמעריכה את החשיפה לסיכון של הפריסות בענן, מקצה ציוני חשיפה להתקפה לממצאי נקודות חולשה ולמשאבים החשובים שלכם, ומשרטטת נתיבים שבהם תוקף פוטנציאלי יכול להגיע למשאבים החשובים שלכם.
מידע נוסף זמין בקטע מנוע הסיכונים במאמר "שירותי זיהוי".
משאבים נתמכים בניהול סיכונים במערכות AI
התכונה "ניהול סיכונים במערכות AI" מזהה נכסים באמצעות המנגנונים הבאים:
- נכסי AI דקלרטיביים: נכסים שכלים לניהול מחזור החיים של AI (כמו Gemini Enterprise Agent Platform) עוקבים אחריהם.
- נכסי AI מוסקים: נכסים למטרות כלליות (כמו נכסי מחשוב ואחסון) שמעבדים נתונים או עומסי עבודה של AI.
- מודל כשירות (API בלבד): נכסים שמבצעים קריאות פרוגרמטיות למודלי AI מאינטראקציה ישירה או של צד שלישי.
בקטע הזה מוגדרים המלאי והנכסים של AI שנתמכים, ושאפשר לאבטח באמצעות "ניהול סיכונים במערכות AI".
- אפליקציות Gemini Enterprise ו-Agent Search: אלה מערכות AI שיכולות לזהות את הסביבה שלהן, לקבל החלטות ולבצע פעולות כדי להשיג יעדים ספציפיים.
- נקודות קצה (endpoints): עומסי העבודה של אפליקציות AI נעים בין כלים פנימיים שנועדו לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ונועדו לשפר את חוויית המשתמש ולקדם את העסק. לדוגמה: סוכני AI, עוזרים וירטואליים, צ'אט בוטים של AI בממשק שיחה והמלצות בהתאמה אישית. ב-"ניהול סיכונים במערכות AI", הנכסים האלה מזוהים בתור נקודות קצה של Agent Platform בכרטיסייה משאבי AI בדף הנכסים.
- מקורות נתונים: מקורות הנתונים הנתמכים כוללים טבלאות ב-BigQuery, Cloud Storage, מערכי נתונים של Agent Platform ומאגרי נתונים של Gemini Enterprise.
- Models: ניהול סיכונים במערכות AI מזהה מודלים של AI כמודלים בסיסיים של AI, מודלים של AI שעברו כוונון, מודלים סטנדרטיים של AI מאינטראקציה ישירה ומודלים של AI בהתאמה אישית.
לדוגמה:
- Gemini (זמין ברמות השירות Premium ו-Enterprise (הוצאה משימוש))
- Llama
- מודלים של תרגום
- מודלים בהתאמה אישית למשימות ספציפיות
- נכסי AI: נכסי AI תורמים לתהליכי העבודה של למידת המכונה, ומשמשים לעומסי עבודה של AI. סוגי הנכסים שמבוססים על AI כוללים:
- שרתי Model Context Protocol (MCP): חבילת AI Protection מזהה שרתי MCP שמקוטלגים ב-Agent Registry. כדי להשתמש בתכונה הזו, צריך להגדיר את App Hub API בכל פרויקט שמארח שרת MCP.
ההשפעות של שינויים ברמת השירות
אם תשדרגו לאחור את רמת השירות מ-Premium או Enterprise ל-Standard, השדרוג לאחור ישפיע על היכולות של ניהול סיכונים במערכות AI באופן הבא:
- שירותי זיהוי: ב-Security Command Center מושבתים שירותי זיהוי ומסגרות של Compliance Manager שלא נתמכים ברמת Standard. מידע נוסף זמין במאמר ניהול רמות השירות ב-Compliance Manager.
- תכונות חקירה: לא תהיה לכם גישה לתכונות חקירה מתקדמות, כמו סימולציות של נתיבי תקיפה לנכסי AI, הערכת נקודות חולשה של סוכנים וזיהוי סוכנים עם הרשאות יתר.
- ממצאים הופכים ללא פעילים: ממצאים שנוצרו על ידי מסגרות של Compliance Manager שלא נתמכות ברמת Standard הופכים ללא פעילים. מידע נוסף זמין במאמר ניהול רמות השירות ב-Compliance Manager.
אם תשדרגו בחזרה לרמת Premium או Enterprise, Security Command Center ישחזר את התכונות המתקדמות, אבל לא ישחזר באופן אוטומטי את פריסות המסגרת שהוסרו במהלך השדרוג לאחור. צריך לפרוס מחדש את ה-frameworks באופן ידני.