סקירה כללית על שמירת נתונים במטמון בהתאם להקשר

שמירת הקשר במטמון עוזרת להפחית את העלות ואת זמן האחזור של בקשות ל-Gemini שמכילות תוכן שחוזר על עצמו. בפלטפורמת הסוכנים של Gemini Enterprise יש שני סוגים של שמירה במטמון:

  • שמירה במטמון באופן משתמע: שמירה אוטומטית במטמון שמופעלת כברירת מחדל ומאפשרת לחסוך בעלויות כשמתרחשות מציאות במטמון (cache hit). שמירה במטמון באופן משתמע כוללת שמירה במטמון בזיכרון ושמירה במטמון עמיד.
  • שמירה מפורשת במטמון: שמירה ידנית במטמון שמופעלת באמצעות Gemini Enterprise API, שבה אתם מצהירים באופן מפורש על התוכן שאתם רוצים לשמור במטמון, ואם ההנחיות שלכם צריכות להתייחס לתוכן שנשמר במטמון או לא.

בשמירה במטמון באופן משתמע ובאופן מפורש, השדה cachedContentTokenCount במטא-נתונים של התשובה מציין את מספר הטוקנים בחלק של הקלט שנשמר במטמון.

עלויות האחסון במטמון

גם בשמירה מפורשת וגם בשמירה משתמעת במטמון, אתם מחויבים על טוקנים של קלט שמשמשים ליצירת המטמון במחיר הרגיל של טוקנים של קלט. במטמון מפורש, יש גם עלויות אחסון שמבוססות על משך הזמן שבו המטמון מאוחסן. אין עלויות אחסון לשמירה במטמון משתמע. למחירון של Agent Platform

שמירה מרומזת במטמון

בכל הפרויקטים ב- Google Cloud , השמירה במטמון מופעלת באופן משתמע כברירת מחדל. שמירה במטמון משתמעת מספקת הנחה של 90% על טוקנים שנשמרו במטמון בהשוואה לטוקנים רגילים של קלט. כשהתכונה מופעלת, החיסכון בעלויות של מציאה במטמון (cache hit) מועבר אליכם באופן אוטומטי.

במטמון המשתמע, התחיליות מאוחסנות בשתי שכבות אחסון:

  • שמירה במטמון בזיכרון: התחיליות שנשמרו במטמון נשמרות בזיכרון. קיבולת הזיכרון מוגבלת, ולכן התחיליות נמחקות כשהקיבולת מתפנה.
  • שמירה במטמון עמיד: כשקידומת נמחקת מהאחסון בזיכרון, היא עוברת לאחסון עמיד במקום להימחק. בקשה מאוחרת יותר שמשתמשת שוב באותה תחילית עדיין יכולה לקבל מציאה במטמון, מה שמעלה את שיעורי המציאה במטמון לעומסי עבודה שמשתמשים שוב באותו הקשר במרווחי זמן ארוכים יותר.

שתי הרמות מופעלות כברירת מחדל. התוקף של תחילית במטמון פג תוך 24 שעות לכל היותר מרגע היצירה שלה, ורוב הרשומות נמחקות מוקדם יותר. אתם יכולים להשבית את השמירה במטמון לטווח ארוך ולהשאיר את השמירה במטמון בזיכרון, או להשבית לגמרי את השמירה המשתמעת במטמון. אם יש לכם חששות לגבי שמירת נתונים, קראו את המאמר אפס שמירת נתונים, שבו מתואר איך המערכת מטפלת בנתונים שנשמרו במטמון ואיך להשבית כל שכבה.

כדי להגדיל את הסיכוי למציאה במטמון (cache hit) באופן משתמע:

  • הציבו תוכן גדול ונפוץ בתחילת ההנחיה.
  • לשלוח בקשות עם קידומת דומה בפרק זמן קצר.

מודלים נתמכים

אפשר להשתמש בשמירה במטמון משתמע במודלים נתמכים של Gemini, ובשמירה במטמון עמיד בחלק מהמודלים האלה.

שמירה במטמון בזיכרון

אפשר להשתמש בשמירה במטמון בזיכרון במודלים הבאים:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

שמירה עמידה במטמון

אפשר להשתמש בשמירה במטמון לטווח ארוך במודלים הבאים:

שמירה במטמון באופן משתמע נתמכת גם במודלים פתוחים. מידע נוסף זמין במאמר מודלים פתוחים של Agent Platform ל-MaaS.

שמירה מפורשת במטמון

שמירה מפורשת במטמון מאפשרת יותר שליטה ומבטיחה הנחה על טוקנים של קלט שמפנים לשמירת הקשר קיימת במטמון. במודלים של Gemini 2.5 ואילך, ההנחה היא 90%. במודלים של Gemini 2.0, ההנחה היא 75%.

באמצעות Gemini Enterprise API, אתם יכולים לבצע את המשימות הבאות:

אתם יכולים גם להשתמש ב-Gemini Enterprise API כדי לאחזר מידע על שמירת הקשר במטמון.

שמירה מפורשת במטמון פועלת בשילוב עם שמירה משתמעת במטמון, ויכולה להוביל לשמירה נוספת במטמון מעבר לתוכן שצוין כשיוצרים מטמון. כדי למנוע שמירת נתונים במטמון, צריך להשבית את השמירה המשתמעת במטמון ולהימנע מיצירת מטמונים מפורשים. מידע נוסף זמין במאמר הפעלה והשבתה של שמירה במטמון.

מודלים נתמכים

אפשר להשתמש בשמירה מפורשת במטמון במודלים הבאים:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מתי כדאי להשתמש בשמירת הקשר במטמון

שמירת הקשר במטמון מתאימה במיוחד לתרחישים שבהם הקשר ראשוני משמעותי נכלל שוב ושוב בבקשות הבאות.

אפשר להשתמש בפריטי הקשר שנשמרו במטמון, כמו כמות גדולה של טקסט, קובץ אודיו או קובץ וידאו, בבקשות של הנחיות ל-Gemini API כדי ליצור פלט. בקשות שמשתמשות באותו מטמון בהנחיה כוללות גם טקסט ייחודי לכל הנחיה. לדוגמה, כל בקשת פרומפט שמרכיבה שיחת צ'אט יכולה לכלול את אותה שמירת הקשר במטמון שמפנה לסרטון, יחד עם טקסט ייחודי שמרכיב כל שלב בשיחה.

כדאי להשתמש בשמירת הקשר במטמון בתרחישים הבאים:

  • צ'אט בוטים עם הוראות מערכת נרחבות
  • ניתוח חוזר של קובצי וידאו ארוכים
  • שאילתות חוזרות על קבוצות גדולות של מסמכים
  • ניתוח תדיר של מאגר המקורות של הקוד או תיקון באגים

בגרסת טרום-השקה (Preview) של הקצאת משאבים לפי התפוקה שנקבעה, יש תמיכה בשמירה מרומזת ומפורשת במטמון. פרטים נוספים זמינים במדריך להקצאת משאבים לפי התפוקה שנקבעה. מטמונים פועלים בסוגי תנועה שונים. לדוגמה, מטמון שנוצר בזמן השימוש ב"הקצאת משאבים לפי התפוקה שנקבעה" פועל גם עם PayGo.

זמינות

אפשר להשתמש בשמירת הקשר במטמון באזורים שבהם יש גישה ל-AI גנרטיבי ב-Agent Platform. מידע נוסף זמין במאמר מיקומים של Agent Platform ל-AI גנרטיבי.

מגבלות

שמירת ההקשר במטמון כפופה למגבלות שמפורטות בטבלה הבאה:

מגבלות על שמירת הקשר במטמון

מספר המינימום של טוקנים במטמון לשמירה מפורשת ומשתמעת במטמון
  • מודלים של Gemini 3 (עם חריגים) ו-Gemini 4:‏ 4,096 טוקנים
  • ‫Gemini 3.0 Flash Preview,‏ 3.1 Pro Preview,‏ 3.7 Flash ו-3.8 Flash (שמירה מרומזת במטמון בלבד): 6,144 טוקנים
  • מודלים ממשפחת Gemini 2:‏ 2,048 טוקנים

הגודל המקסימלי של תוכן שאפשר לשמור במטמון באמצעות blob או טקסט

 ‎10MB

הזמן המינימלי לפני שתוקף המטמון פג אחרי שהוא נוצר

 דקה אחת

משך הזמן המקסימלי לפני שתוקף המטמון יפוג אחרי שהוא נוצר

 אין משך זמן מקסימלי לשמירה במטמון

משך החיים המקסימלי של תחילית ששמורה במטמון באופן משתמע

 עד 24 שעות

בידוד ואבטחה של נתונים במטמון לעומסי עבודה של סוכנים

‫Google Cloud משתמש במספר הפרויקט כדי לבודד את הנתונים שנשמרו במטמון, והתוכן שנשמר במטמון אף פעם לא משותף בין פרויקטים.

כדי למנוע דליפת נתונים בין משתמשים בעומסי עבודה של סוכנים, צריך להגדיר את היקף הנתונים והפלט של ההנחיות שנשמרו במטמון לכל סשן של משתמש. כשמריצים סוכני רקע או שרתי proxy עם כמה דיירים, צריך להתאים את גבולות המטמון להרשאות של משתמשי הקצה, כדי שסוכן לא יוכל לעשות שימוש חוזר בפרטי כניסה או בנתונים שנשמרו במטמון של משתמשים שונים.

תמיכה ב-VPC Service Controls

שמירת הקשר במטמון תומכת ב-VPC Service Controls, כלומר אי אפשר להוציא את המטמון אל מחוץ לגבולות הגזרה לשירות. אם אתם משתמשים ב-Cloud Storage כדי ליצור את המטמון, כדאי לכלול את הקטגוריה בגבולות גזרה לשירות גם כדי להגן על תוכן המטמון.

מידע נוסף זמין במאמר VPC Service Controls עם Agent Platform במסמכי התיעוד של Agent Platform.

המאמרים הבאים