הסקת מסקנות באצווה באמצעות Gemini

הסקה אסינכרונית, חסכונית ועם תפוקה גבוהה, שמתאימה לעיבוד נתונים בקנה מידה גדול באמצעות הסקה באצווה (לשעבר חיזוי באצווה) של Gemini. במדריך הזה נסביר מה היתרונות של הסקת מסקנות באצווה, איך היא פועלת, מהן המגבלות שלה ומהן השיטות המומלצות להשגת תוצאות אופטימליות.

למה כדאי להשתמש בהסקת אצווה?

בהרבה תרחישים בעולם האמיתי, לא צריך תשובה מיידית ממודל השפה. במקום זאת, יכול להיות שיש לכם קבוצת נתונים גדולה של פרומפטים שאתם צריכים לעבד בצורה יעילה ומשתלמת. כאן הסקת מסקנות באצווה נכנסת לתמונה.

בין היתרונות המרכזיים:

  • חיסכון בעלויות: עיבוד באצווה מוצע בתעריף מוזל של 50% בהשוואה להסקה בזמן אמת, ולכן הוא אידיאלי למשימות לא דחופות בקנה מידה גדול. שמירה במטמון באופן משתמע מופעלת כברירת מחדל במודלים של Gemini 2.5 ואילך, ומספקת הנחה של 90% על טוקנים של קלט שנשמרו במטמון בהשוואה לטוקנים של קלט רגיל:

    • ‫Gemini 3 ומודלים חדשים יותר: במודלים נתמכים, ההנחות על המטמון ועל עיבוד באצווה מצטברות, ומספקות הנחה כוללת של 95% על טוקנים של קלט במטמון בהשוואה לטוקנים של קלט רגיל.
    • מודלים של Gemini 2.5: ההנחות על מטמון ועל אצווה לא מצטברות. ההנחה של 90% על מציאה במטמון (cache hit) מקבלת עדיפות על פני ההנחה על אצווה.

    התעריפים הספציפיים לכל מודל מפורטים במחירון של Gemini Enterprise Agent Platform.

  • מגבלות קצב גבוהות: עיבוד של מאות אלפי בקשות באצווה אחת עם מגבלת קצב גבוהה יותר בהשוואה ל-Gemini API בזמן אמת.

  • תהליך עבודה פשוט יותר: במקום לנהל צינור עיבוד נתונים מורכב של בקשות נפרדות בזמן אמת, אתם יכולים לשלוח משימה באצווה אחת ולאחזר את התוצאות בסיום העיבוד. השירות מטפל באימות הפורמט, מפעיל בקשות במקביל לעיבוד בו-זמני ומנסה שוב באופן אוטומטי כדי להגיע לשיעור השלמה גבוה תוך 24 שעות.

הסקה באצווה מותאמת למשימות עיבוד בקנה מידה גדול, כמו:

  • יצירת תוכן: יצירת תיאורי מוצרים, פוסטים לרשתות החברתיות או טקסטים יצירתיים אחרים בכמות גדולה.
  • הוספת הערות וסיווג נתונים: סיווג ביקורות של משתמשים, חלוקת מסמכים לקטגוריות או ניתוח סנטימנטים בקורפוס גדול של טקסט.
  • ניתוח אופליין: סיכום מאמרים, חילוץ מידע חשוב מדוחות או תרגום מסמכים בקנה מידה נרחב.
  • יצירת הטמעות: יצירת הטמעות וקטורים לקורפוס גדול של מסמכים כדי להפעיל עומסי עבודה של חיפוש סמנטי, אחזור וקיבוץ.

מודלי Gemini שתומכים בהיקש באצווה

המודלים הבאים של Gemini, הבסיסיים והמכווננים, תומכים בהסקת אצווה:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מודלים של הטמעה שתומכים בהסקת מסקנות באצווה

הסקה באצווה זמינה גם למודלים של הטמעה:

  • מודלים של הטמעות ב-Gemini (תצוגה מקדימה): gemini-embedding-001 ו-gemini-embedding-2. כל משימה באצווה תומכת בעד 1,000,000 שורות, וכל פרויקט תומך בעד 10,000 משימות באצווה בו-זמנית בתור.
  • מודלים מדור קודם להטמעת טקסט: כל הגרסאות היציבות, כולל text-embedding-004,‏ text-embedding-005 ו-text-multilingual-embedding-002. כל בקשה יכולה לכלול עד 30,000 הנחיות.

במשימות אצווה להטמעה, סכימת הקלט והפלט שונה מזו של משימות אצווה ליצירת טקסט ב-Gemini, ומגבלות הבקשות שמפורטות בקטע מכסות ומגבלות לא חלות עליהן. במאמר קבלת הסקות של הטמעות באצווה מפורטים סכימת ה-JSONL הנדרשת, אפשרויות ההגדרה לכל מודל ודוגמאות.

תמיכה במודלים של נקודות קצה גלובליות

אפשר להשתמש בנקודת קצה גלובלית כדי להסיק מסקנות באצווה במודלי Gemini בסיסיים. הוא לא תומך בנקודת הקצה הגלובלית של מודלי Gemini מכווננים.

נקודת הקצה הגלובלית עוזרת לשפר את הזמינות הכוללת, כי היא משרתת את הבקשות מכל אזור שנתמך במודל שבו אתם משתמשים. חשוב לזכור שהיא לא תומכת בדרישות של מיקום אחסון הנתונים. אם יש לכם דרישות לגבי מיקום אחסון הנתונים, השתמשו בנקודות הקצה האזוריות.

מכסות ומגבלות

למרות שהסקה באצווה היא כלי יעיל, חשוב להיות מודעים למגבלות הבאות.

  • Quota: אין מגבלות מוגדרות מראש על השימוש. במקום זאת, שירות Batch מספק גישה למאגר גדול ומשותף של משאבים, שמוקצים באופן דינמי על סמך הזמינות של המשאבים והביקוש בזמן אמת בקרב כל הלקוחות של המודל הזה. כשיש יותר לקוחות פעילים והקיבולת שלנו מלאה, יכול להיות שבקשות ה-Batch שלכם ימתינו בתור עד שיתפנה מקום.
  • זמן המתנה בתור: כשיש עומס בשירות, המשימה באצווה תמתין בתור עד שיתפנה מקום. המשימה נשארת בתור עד 72 שעות לפני שהתוקף שלה פג.
  • מגבלות על בקשות: משימה באצווה יכולה לכלול עד 200,000 בקשות. אם אתם משתמשים ב-Cloud Storage כקלט, יש גם מגבלה של 1GB על גודל הקובץ. למודלים של הטמעה יש מגבלות שונות על מספר הבקשות. מידע נוסף זמין במאמר מודלים של הטמעה שתומכים בהסקת אצווה.
  • זמן עיבוד: משימות באצווה מעובדות באופן אסינכרוני ולא מיועדות לאפליקציות בזמן אמת. רוב המשימות מסתיימות תוך 24 שעות מרגע שהן מתחילות לפעול (לא כולל זמן ההמתנה בתור). אחרי 24 שעות, המשימות שלא הושלמו מבוטלות, ואתם מחויבים רק על הבקשות שהושלמו.
  • משימות שבוטלו: אתם יכולים לבטל משימות הסקה באצווה בכל שלב. כשמבטלים משימה, כל העבודה שנותרה מבוטלת וכל העבודה שכבר הושלמה מוחזרת. החיוב יהיה רק על העבודה שהושלמה.
  • תכונות שלא נתמכות: הסקת נתונים באצווה לא תומכת בהקצאת משאבים לפי התפוקה שנקבעה, בשמירה מפורשת במטמון או ב-RAG. שמירה במטמון משתמעת של הסקת אצווה לא נתמכת ב-Gemini 2.0 Flash או ב-Gemini 2.0 Flash-Lite.
  • פלט תמונה: הסקת מסקנות באצווה מוגבלת לרזולוציית ברירת המחדל של 1K. אין תמיכה בפלט של 2K ו-4K.

שיטות מומלצות

כדי להפיק את המרב מהסקה באצווה באמצעות Gemini, מומלץ לפעול לפי השיטות המומלצות הבאות:

  • שילוב משימות: כדי למקסם את התפוקה, שלבו משימות קטנות יותר למשימה אחת גדולה, במסגרת מגבלות המערכת. לדוגמה, שליחת משימה אחת באצווה עם 200,000 בקשות נותנת תפוקה טובה יותר מאשר 1,000 משימות עם 200 בקשות כל אחת. הימנעו ממשימות עם פחות מ-1,000 בקשות, כי התקורה הקבועה לכל משימה תופסת את רוב זמן הריצה שלהן.
  • תכנון זמן ההמתנה בתור: הוספת מספר גדול של משימות לתור לא גורמת למשימות בודדות לפעול לאט יותר, אבל היא מגדילה את הזמן הכולל שנדרש כדי לסיים את כולן. כדי לסיים את עומס העבודה מהר יותר, שלבו את הבקשות שלכם למספר קטן יותר של משימות אצווה גדולות יותר.
  • מעקב אחרי סטטוס המשימה: אפשר לעקוב אחרי התקדמות המשימה באמצעות ה-API, ה-SDK או ממשק המשתמש. למידע נוסף, ראו מעקב אחרי סטטוס המשימה. אם משימה נכשלת, בודקים את הודעות השגיאה כדי לאבחן ולפתור את הבעיה.
  • אופטימיזציה של עלויות: כדי לחסוך בעלויות, כדאי להשתמש בעיבוד באצווה לכל המשימות שלא דורשות תגובה מיידית.

המאמרים הבאים