שילוב של הגנה מוגברת על המודל עם Apigee

כדי לשפר את האבטחה של אפליקציות ה-AI, אפשר לשלב את Model Armor עם Apigee. אם משתמשים ב-Apigee כשער API לפני אפליקציות ה-AI, אפשר להשתמש ביכולות של Model Armor כדי לסנן ולנקות את הקלט שנשלח לאפליקציה ואת התשובות שמתקבלות.

סקירה כללית

אתם יכולים לשלב כללי מדיניות של Model Armor ב-API proxies של Apigee כדי לספק שליטה והגנה משופרות לאפליקציות ה-AI שלכם. לדוגמה, אפשר להשתמש ב-Apigee כדי לאכוף מכסות ברמת האסימון ולהגביל את מספר האסימונים המקסימלי שמשתמש או אפליקציה יכולים לקבל ביום. כדי לשלוט בצורה מדויקת בשימוש באסימונים, אפשר להשתמש ב-LLMTokenQuota וב-PromptTokenLimit. המדיניות הזו עוזרת לנהל את העלויות, למנוע שימוש לרעה ולייצב את התנועה על ידי מניעת עליות פתאומיות בצריכה.

מגבלות

כשמשלבים את הגנה מוגברת על המודל עם Apigee, חשוב להביא בחשבון את המגבלות הבאות:

  • זמינות אזורית: הגנה מוגברת על המודל לא זמינה בכל האזורים. חשוב לוודא ש-Apigee והגנה מוגברת על המודל מוגדרים באותו אזור. אפשר להגדיר את Apigee ואת הגנה מוגברת על המודל באזורים שונים, אבל שימוש באזורים שונים עלול להוביל לזמן טעינה נוסף בגלל מעבר ברשת בין אזורים. כדי להשיג ביצועים אופטימליים, צריך להגדיר אותם באותו אזור בדיוק.
  • Quota: תנועה בהיקף גדול עשויה לדרוש הגדלה של המכסה של Model Armor. במאמר איך שולחים בקשה לשינוי המכסות מוסבר איך לבקש שינוי. אם אתם צריכים מכסה גדולה יותר מהמכסה שמוגדרת כברירת מחדל, אתם יכולים לפנות אל Cloud Customer Care. מידע על מכסות שקשורות לשילובים של הגנה מוגברת על המודל עם שירותים אחרים זמין במאמר בנושא ניהול מכסות.
  • מגבלות על טוקנים: ל-הגנה מוגברת על המודל יש מגבלות על טוקנים לעיבוד פרומפטים ותשובות, והן משתנות בהתאם למסנן. יכול להיות שתוכן שחורג מהמגבלות האלה לא ייסרק באופן מלא.

לפני שמתחילים

איך זה עובד

השילוב משתמש בשני כללי מדיניות עיקריים של Apigee:

  • ‫SanitizeUserPrompt: מוסיפים את המדיניות הזו לזרימת הבקשות של proxy ל-API. הוא מיירט את כל הבקשות הנכנסות ושולח אותן ל-Model Armor לבדיקה לפני שהן מגיעות לאפליקציית ה-AI שלכם. מידע נוסף זמין במאמר בנושא מדיניות SanitizeUserPrompt.
  • ‫SanitizeModelResponse: הוספת המדיניות הזו לרצף הפעולות של התגובה. הוא מיירט את התגובה מאפליקציית ה-AI ושולח אותה ל-Model Armor לבדיקה לפני שהוא שולח את התגובה ללקוח. מידע נוסף זמין במאמר בנושא מדיניות SanitizeModelResponse.

‫הגנה מוגברת על המודל מעריכה את התוכן בהתאם לכללים שמוגדרים בתבנית הגנה מוגברת על המודל הפעילה. על סמך הממצאים וסוג האכיפה שהוגדר, Apigee מאפשרת, חוסמת או מצנזרת את הבקשה או התשובה. אם הבקשה או התשובה מצונזרות, צריך לחלץ את הנתונים המצונזרים באמצעות משתני זרימה ולהעביר אותם ל-LLM.

כדי להתחיל, משתמשים בתבנית ה-proxy המובנית Proxy with Model Armor במסוף Apigee. התבנית הזו מוסיפה באופן אוטומטי הגדרות אופציונליות של SanitizeUserPrompt ושל SanitizeModelResponse.

יצירת proxy ל-API של Apigee עם מדיניות של הגנה מוגברת על המודל

  1. יוצרים חשבון שירות כדי לפרוס את ה-proxy ל-API.
  2. יוצרים proxy ל-API ב-Apigee.
  3. עורכים את קובץ ה-SanitizeUserPrompt ואת קובץ ה-SanitizeModelResponse XML. כדי שהגנה מוגברת על המודל יפעל, צריך לערוך את קובץ ה-XML של כללי המדיניות האלה.
  4. הוספת אימות Google ל-proxy ל-API.
  5. פריסת proxy ל-API.
  6. בדיקת מדיניות Model Armor

פרטים נוספים על הגדרה ושימוש זמינים במאמר תחילת העבודה עם מדיניות Apigee Model Armor.