סקירה כללית על שמירת נתונים במטמון בהתאם להקשר

שמירת הקשר במטמון עוזרת להפחית את העלות ואת זמן האחזור של בקשות ל-Gemini שמכילות תוכן חוזר. בפלטפורמת הסוכנים של Gemini Enterprise יש שני סוגים של שמירה במטמון:

  • שמירה במטמון באופן משתמע: שמירה אוטומטית במטמון שמופעלת כברירת מחדל ומאפשרת לחסוך בעלויות כשמתרחשות מציאות במטמון (cache hit). שמירה במטמון באופן משתמע כוללת שמירה במטמון בזיכרון ושמירה במטמון עמיד.
  • שמירה מפורשת במטמון: שמירה ידנית במטמון שמופעלת באמצעות Gemini Enterprise API, שבה אתם מצהירים באופן מפורש על התוכן שאתם רוצים לשמור במטמון, ואם ההנחיות שלכם צריכות להתייחס לתוכן שנשמר במטמון או לא.

גם בשמירה מפורשת וגם בשמירה משתמעת במטמון, השדה cachedContentTokenCount במטא-נתונים של התשובה מציין את מספר הטוקנים בחלק של הקלט שנשמר במטמון.

עלויות האחסון במטמון

גם בשמירה מפורשת וגם בשמירה משתמעת במטמון, אתם מחויבים על הטוקנים של הקלט שמשמשים ליצירת המטמון לפי המחיר הרגיל של טוקן קלט. במטמון מפורש, יש גם עלויות אחסון שמבוססות על משך הזמן שבו המטמון מאוחסן. אין עלויות אחסון לשמירה במטמון משתמע. למחירון של Agent Platform

שמירה מרומזת במטמון

בכל הפרויקטים ב- Google Cloud , השמירה במטמון מופעלת באופן משתמע כברירת מחדל. שמירה במטמון באופן משתמע מספקת הנחה של 90% על טוקנים שנשמרו במטמון בהשוואה לטוקנים רגילים של קלט. כשמפעילים את האפשרות הזו, החיסכון בעלויות של מציאה במטמון (cache hit) מועבר אליכם באופן אוטומטי.

במטמון המשתמע, התחיליות מאוחסנות בשתי שכבות אחסון:

  • שמירה במטמון בזיכרון: התחיליות שנשמרו במטמון נשמרות בזיכרון. קיבולת הזיכרון מוגבלת, ולכן התחיליות נמחקות כשהקיבולת מתפנה.
  • שמירה במטמון עמיד: כשקידומת נמחקת מהאחסון בזיכרון, היא עוברת לאחסון עמיד במקום להימחק. בקשה מאוחרת יותר שעושה שימוש חוזר בקידומת עדיין יכולה לקבל מציאה במטמון, מה שמעלה את שיעורי המציאה במטמון לעומסי עבודה שעושים שימוש חוזר באותו הקשר במרווחים ארוכים יותר.

שתי הרמות מופעלות כברירת מחדל. התוקף של קידומת במטמון פג תוך 24 שעות לכל היותר מרגע היצירה שלה, ורוב הרשומות נמחקות מוקדם יותר. אתם יכולים להשבית את השמירה במטמון לטווח ארוך ולהשאיר את השמירה במטמון בזיכרון, או להשבית לגמרי את השמירה במטמון המשתמעת. אם יש לכם חששות לגבי שמירת נתונים, קראו את המאמר אפס שמירת נתונים, שבו מוסבר איך המערכת מטפלת בנתונים שנשמרו במטמון ואיך להשבית כל שכבה.

כדי להגדיל את הסיכוי למציאה במטמון (cache hit) משתמעת:

  • הציבו תוכן גדול ונפוץ בתחילת ההנחיה.
  • לשלוח בקשות עם קידומת דומה בפרק זמן קצר.

מודלים נתמכים

אפשר להשתמש בשמירה במטמון משתמע במודלים נתמכים של Gemini, ובשמירה במטמון עמיד בחלק מהמודלים האלה.

שמירה במטמון בזיכרון

אפשר להשתמש בשמירה במטמון בזיכרון במודלים הבאים:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

שמירה עמידה במטמון

אפשר להשתמש בשמירה במטמון לטווח ארוך במודלים הבאים:

שמירה במטמון באופן משתמע נתמכת גם במודלים פתוחים. מידע נוסף זמין במאמר מודלים פתוחים של Agent Platform ל-MaaS.

שמירה מפורשת במטמון

שמירה מפורשת במטמון נותנת יותר שליטה ומבטיחה הנחה על טוקנים של קלט שמפנים לשמירת הקשר קיימת במטמון. במודלים של Gemini 2.5 ואילך, ההנחה היא 90%. במודלים של Gemini 2.0, ההנחה היא 75%.

באמצעות Gemini Enterprise API, אתם יכולים לבצע את המשימות הבאות:

אתם יכולים גם להשתמש ב-Gemini Enterprise API כדי לאחזר מידע על מטמון הקשר.

מטמונים מפורשים פועלים עם מטמון משתמע, מה שעלול להוביל לשמירה נוספת במטמון מעבר לתוכן שצוין כשיוצרים מטמון. כדי למנוע שמירת נתונים במטמון, צריך להשבית את השמירה המשתמעת במטמון ולהימנע מיצירת מטמונים מפורשים. מידע נוסף זמין במאמר הפעלה והשבתה של שמירה במטמון.

מודלים נתמכים

אפשר להשתמש בשמירה מפורשת במטמון במודלים הבאים:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מתי כדאי להשתמש בשמירת הקשר במטמון

שמירת הקשר במטמון מתאימה במיוחד לתרחישים שבהם הקשר ראשוני משמעותי נשלף שוב ושוב על ידי בקשות עוקבות.

אפשר להשתמש בפריטי הקשר שנשמרו במטמון, כמו כמות גדולה של טקסט, קובץ אודיו או קובץ וידאו, בבקשות של הנחיות ל-Gemini API כדי ליצור פלט. בקשות שמשתמשות באותו מטמון בהנחיה כוללות גם טקסט ייחודי לכל הנחיה. לדוגמה, כל בקשה של הנחיה שמרכיבה שיחה בצ'אט יכולה לכלול את אותו מטמון הקשר שמפנה לסרטון, יחד עם טקסט ייחודי שמרכיב כל שלב בשיחה.

כדאי להשתמש בשמירת הקשר במטמון בתרחישים הבאים:

  • צ'אט בוטים עם הוראות מערכת נרחבות
  • ניתוח חוזר של קובצי וידאו ארוכים
  • שאילתות חוזרות על קבוצות גדולות של מסמכים
  • ניתוח תדיר של מאגר המקורות של הקוד או תיקון באגים

שמירה במטמון באופן מפורש ומשתמע נתמכת בהקצאת משאבים לפי התפוקה שנקבעה בגרסת טרום-השקה (Preview). פרטים נוספים זמינים במדריך להקצאת משאבים לפי התפוקה שנקבעה. מטמונים פועלים בסוגי תנועה שונים. לדוגמה, מטמון שנוצר בזמן השימוש ב"הקצאת משאבים לפי התפוקה שנקבעה" פועל גם עם PayGo.

זמינות

אפשר להשתמש בשמירת הקשר במטמון באזורים שבהם יש גישה ל-AI גנרטיבי ב-Agent Platform. מידע נוסף זמין במאמר מיקומים של Agent Platform ל-AI גנרטיבי.

מגבלות

שמירת ההקשר במטמון כפופה למגבלות שמפורטות בטבלה הבאה:

מגבלות על שמירת הקשר במטמון

מספר המינימום של טוקנים במטמון לשמירה מפורשת ומשתמעת במטמון
  • מודלים של Gemini 3 (עם חריגים) ו-Gemini 4:‏ 4,096 טוקנים
  • ‫Gemini 3.0 Flash Preview,‏ 3.1 Pro Preview,‏ 3.7 Flash ו-3.8 Flash (שמירה מרומזת במטמון בלבד): 6,144 טוקנים
  • מודלים ממשפחת Gemini 2:‏ 2,048 טוקנים

הגודל המקסימלי של תוכן שאפשר לשמור במטמון באמצעות blob או טקסט

 ‎10MB

הזמן המינימלי לפני שתוקף המטמון פג אחרי שהוא נוצר

 דקה אחת

משך הזמן המקסימלי עד שתוקף המטמון יפוג אחרי שהוא נוצר

 אין משך זמן מקסימלי לשמירה במטמון

משך החיים המקסימלי של תחילית שנשמרה במטמון באופן משתמע

 עד 24 שעות

בידוד ואבטחה של נתונים במטמון לעומסי עבודה של סוכנים

‫Google Cloud משתמש במספר הפרויקט כדי לבודד את הנתונים שנשמרו במטמון, והתוכן שנשמר במטמון אף פעם לא משותף בין פרויקטים.

כדי למנוע דליפת נתונים בין משתמשים בעומסי עבודה של סוכנים, צריך להגדיר את היקף הנתונים והפלט של ההנחיות שנשמרו במטמון לכל סשן של משתמש. כשמריצים סוכני רקע או שרתי proxy עם כמה דיירים, צריך להתאים את גבולות המטמון להרשאות של משתמשי הקצה, כדי שסוכן לא יוכל לעשות שימוש חוזר בפרטי כניסה או בנתונים שנשמרו במטמון של משתמשים שונים.

תמיכה ב-VPC Service Controls

שמירת הקשר במטמון תומכת ב-VPC Service Controls, כלומר אי אפשר להוציא את המטמון אל מחוץ לגבולות הגזרה לשירות. אם אתם משתמשים ב-Cloud Storage כדי ליצור את המטמון, כדאי לכלול את הקטגוריה בהיקף השירות כדי להגן על תוכן המטמון.

מידע נוסף זמין במאמר VPC Service Controls עם Agent Platform במסמכי התיעוד של Agent Platform.

המאמרים הבאים