שמירת הקשר במטמון עוזרת להקטין את העלות ואת זמן האחזור של בקשות ל-Gemini שמכילות תוכן שחוזר על עצמו. Gemini Enterprise Agent Platform מציעה שני סוגים של שמירת נתונים במטמון:
- שמירה במטמון באופן מרומז: שמירה אוטומטית במטמון שמופעלת כברירת מחדל ומאפשרת לחסוך בעלויות כשמתרחשת פגיעה במטמון.
- שמירת תוכן במטמון באופן מפורש: שמירת תוכן במטמון באופן ידני באמצעות Gemini Enterprise API, שבו מציינים במפורש את התוכן שרוצים לשמור במטמון ואם ההנחיות צריכות להתייחס לתוכן שנשמר במטמון.
גם במקרים של שמירה במטמון באופן מרומז וגם במקרים של שמירה במטמון באופן מפורש, השדה cachedContentTokenCount במטא-נתונים של התגובה מציין את מספר הטוקנים בחלק של הקלט שנשמר במטמון.
עלויות אחסון במטמון
גם במקרים של שמירה במטמון באופן מרומז וגם במקרים של שמירה במטמון באופן מפורש, אתם מחויבים על טוקני הקלט ששימשו ליצירת המטמון במחיר הרגיל של טוקני קלט. במקרה של שמירה במטמון באופן מפורש, יש גם עלויות אחסון שמבוססות על משך הזמן שבו המטמון מאוחסן. אין עלויות אחסון עבור שמירה במטמון באופן מרומז. מידע נוסף על התמחור של Agent Platform
שמירה מרומזת במטמון
בכל Google Cloud הפרויקטים מופעלת כברירת מחדל שמירת נתונים במטמון באופן מרומז. שמירת נתונים במטמון באופן מרומז מספקת הנחה של 90% על טוקנים שנשמרו במטמון בהשוואה לטוקנים של קלט רגיל.
כשהאפשרות הזו מופעלת, החיסכון בעלויות כתוצאה מפגיעה במטמון מועבר אליכם באופן אוטומטי. כדי להגדיל את הסיכויים לפגיעה במטמון באופן מרומז:
- כדאי להציב תוכן גדול ונפוץ בתחילת ההנחיה.
- שליחת בקשות עם קידומת דומה בפרק זמן קצר.
מודלים נתמכים
אפשר להשתמש במטמון מרומז כשמשתמשים במודלים הבאים:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
- Gemini 3.8 Flash
- Gemini 3.7 Flash
- Gemini 3.6 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.5 Flash
- Gemini 3.1 Pro
- תמונה של Gemini 3.1 Flash-Lite (Nano Banana 2 Lite)
- Gemini 3.1 Flash-Lite
- Gemini 3.1 Flash Image
- Gemini 3 Pro Image
- Gemini 3 Flash
- Gemini 2.5 Pro
- Gemini 2.5 Flash-Lite
- Gemini 2.5 Flash
שמירה במטמון באופן מרומז תומכת גם במודלים פתוחים. מידע נוסף זמין במאמר בנושא מודלים פתוחים של Agent Platform ל-MaaS.
שמירה מפורשת במטמון
שמירה במטמון באופן מפורש מאפשרת יותר שליטה ומבטיחה הנחה על טוקנים של קלט שמפנים למטמון הקשר קיים. במודלים של Gemini 2.5 ואילך, ההנחה היא 90%. במודלים של Gemini 2.0, ההנחה היא 75%.
באמצעות Gemini Enterprise API, אתם יכולים:
- יצירת מטמוני הקשר ושליטה בהם בצורה יעילה יותר.
- משתמשים בשמירת הקשר במטמון על ידי הפניה לתוכן שלו בבקשת פרומפט עם שם המשאב שלו.
- עדכון של זמן התפוגה (אורך החיים, או TTL) של מטמון הקשר מעבר ל-60 דקות, שהוא ערך ברירת המחדל.
- למחוק מטמון של הקשר כשכבר לא צריך אותו.
אפשר גם להשתמש ב-Gemini Enterprise API כדי לאחזר מידע על מטמון הקשר.
מטמונים מפורשים פועלים באינטראקציה עם מטמונים מרומזים, וזה עלול להוביל ליצירת מטמון של תכנים נוספים מעבר לתכנים שצוינו. כדי למנוע שמירה של נתונים במטמון, משביתים את השמירה במטמון באופן מרומז ונמנעים מיצירת מטמונים מפורשים. מידע נוסף מופיע במאמר הפעלה והשבתה של שמירה במטמון.
מודלים נתמכים
אפשר להשתמש במודלים הבאים כדי להגדיר שמירה במטמון:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
מתי כדאי להשתמש בשמירת מטמון של ההקשר
שמירת ההקשר במטמון מתאימה במיוחד לתרחישים שבהם בקשות עוקבות מפנות שוב ושוב להקשר ראשוני משמעותי.
אפשר להשתמש בפריטי הקשר ששמורים במטמון, כמו כמות גדולה של טקסט, קובץ אודיו או קובץ וידאו, בבקשות להנחיות ל-Gemini API כדי ליצור פלט. בקשות שמשתמשות באותו מטמון בהנחיה כוללות גם טקסט ייחודי לכל הנחיה. לדוגמה, כל בקשת הנחיה שמרכיבה שיחה בצ'אט עשויה לכלול את אותו מטמון הקשר שמפנה לסרטון, יחד עם טקסט ייחודי שמרכיב כל תור בשיחה.
כדאי להשתמש בזיכרון מטמון של הקשר במקרים כמו:
- צ'אט בוטים עם הוראות מערכת נרחבות
- ניתוח חוזר של קובצי וידאו ארוכים
- שאילתות חוזרות על קבוצות גדולות של מסמכים
- ניתוח תכוף של מאגר קוד או תיקון באגים
יש תמיכה בשמירה במטמון באופן מרומז וגלוי עם הקצאת משאבים לפי התפוקה שנקבעה בתצוגה מקדימה. פרטים נוספים זמינים במדריך בנושא תפוקה שהוקצתה. מטמון פועל בכל סוגי התנועה. לדוגמה, מטמון שנוצר בזמן השימוש ב-Provisioned Throughput פועל גם עם PayGo.
זמינות
האפשרות של שמירת הקשר במטמון זמינה באזורים שבהם זמינה בינה מלאכותית גנרטיבית ב-Gemini Enterprise Agent Platform. מידע נוסף זמין במאמר בנושא מיקומים של AI גנרטיבי ב-Gemini Enterprise Agent Platform.
מגבלות
התוכן שאתם שומרים במטמון באופן מפורש חייב לעמוד במגבלות שמוצגות בטבלה הבאה:
| מגבלות על שמירת נתונים במטמון לפי הקשר | |
|---|---|
כמות טוקנים מינימלית במטמון עבור שמירה מרומזת ושמירה מפורשת במטמון |
|
הגודל המקסימלי של תוכן שאפשר לשמור במטמון באמצעות blob או טקסט |
10MB |
הזמן המינימלי לפני שפג תוקף של מטמון אחרי שהוא נוצר |
דקה אחת |
משך הזמן המקסימלי לפני שפג התוקף של מטמון אחרי שהוא נוצר |
אין משך מטמון מקסימלי |
תמיכה ב-VPC Service Controls
שמירת הקשר במטמון תומכת ב-VPC Service Controls, כלומר אי אפשר להעביר את המטמון שלכם אל מחוץ לגבולות גזרה לשירות. אם אתם משתמשים ב-Cloud Storage כדי ליצור את המטמון, כדאי לכלול את הקטגוריה שלכם גם בגבולות גזרה לשירות כדי להגן על תוכן המטמון.
מידע נוסף זמין במאמר VPC Service Controls עם פלטפורמת הסוכנים של Gemini Enterprise במסמכי התיעוד של פלטפורמת הסוכנים של Gemini Enterprise.