סקירה כללית על שירות הערכה של AI גנרטיבי

שירות ההערכה ל-AI גנרטיבי מספק כלים ברמה שמתאימה לארגונים, שמאפשרים להעריך מודלים של AI גנרטיבי באופן אובייקטיבי ומבוסס-נתונים. הוא תומך במגוון משימות פיתוח כמו העברת מודלים, עריכת הנחיות וכוונון, ומספק מידע לגביהן.

תכונות של שירות הערכה ל-AI גנרטיבי

המאפיין העיקרי של שירות ההערכה ל-AI גנרטיבי הוא היכולת להשתמש בקריטריונים דינמיים, קבוצה של בדיקות מותאמות אישית של "עבר" או "נכשל" לכל הנחיה בנפרד. הערכת רובריקות דומה לבדיקות יחידה בפיתוח תוכנה, והמטרה שלה היא לשפר את ביצועי המודל במגוון משימות.

תכונות של שירות הערכה ל-AI גנרטיבי

שירות ההערכה ל-AI גנרטיבי תומך בשיטות ההערכה הנפוצות הבאות:

  • קריטריונים מותאמים (מומלץ): יוצר קבוצה ייחודית של קריטריונים להערכה של "עבר" או "נכשל" לכל הנחיה בקבוצת הנתונים.

  • קריטריונים סטטיים: החלת קבוצה קבועה של קריטריונים לניקוד בכל ההנחיות.

  • השוואות מבוססות-מחשוב: משתמשים באלגוריתמים דטרמיניסטיים כמו ROUGE או BLEU כשיש אמת קרקע (ground truth).

  • פונקציות בהתאמה אישית: הגדרת לוגיקת הערכה משלכם ב-Python לדרישות מיוחדות.

יצירת מערך נתונים להערכה

אפשר ליצור מערך נתונים להערכה בשיטות הבאות:

  • מעלים קובץ שמכיל מופעים מלאים של הנחיות, או מספקים תבנית להנחיה לצד קובץ תואם של ערכי משתנים כדי לאכלס את ההנחיות המלאות.

  • דגימה ישירות מיומני הייצור כדי להעריך את השימוש במודל בעולם האמיתי.

  • להשתמש ביצירת נתונים סינתטיים כדי ליצור מספר גדול של דוגמאות עקביות לכל תבנית לפרומפט.

ממשקים נתמכים

אתם יכולים להגדיר ולהריץ את ההערכות באמצעות הממשקים הבאים:

תרחישים לדוגמה

שירות ההערכה של AI גנרטיבי מאפשר לכם לראות את הביצועים של המודל במשימות הספציפיות שלכם ובהתאם לקריטריונים הייחודיים שלכם, ומספק תובנות חשובות שלא ניתן להפיק מטבלאות מובילים ציבוריות ומנקודות השוואה כלליות. הוא תומך במשימות פיתוח קריטיות, כולל:

  • העברת מודלים: השוואה בין גרסאות של מודלים כדי להבין את ההבדלים בהתנהגות ולשפר את ההנחיות וההגדרות בהתאם.

  • מציאת המודל הטוב ביותר: אתם יכולים להריץ השוואות בין מודלים של Google לבין מודלים של צד שלישי על הנתונים שלכם כדי לקבוע בסיס להשוואה ולזהות את המודל שהכי מתאים לתרחיש לדוגמה שלכם.

  • שיפור ההנחיות: השתמשו בתוצאות ההערכה כדי להנחות את מאמצי ההתאמה האישית. הפעלה מחדש של הערכה יוצרת לולאת משוב הדוקה, ומספקת משוב מיידי וניתן למדידה על השינויים שביצעתם.

  • כוונון מודל: הערכת האיכות של מודל מכוונן על ידי החלת קריטריונים עקביים להערכה בכל הרצה.

  • הערכת תפקוד הסוכנים: הערכת הביצועים של סוכן באמצעות מדדים ספציפיים לסוכן, כמו מעקב אחרי סוכנים ואיכות התשובות.

תהליך עבודה של הערכה

כדי להשלים את ההערכה, בדרך כלל צריך לבצע את השלבים הבאים:

  • יצירת מערך נתונים להערכה: אוספים מערך נתונים של מופעי הנחיות שמשקפים את התרחיש הספציפי לדוגמה. אם אתם מתכננים להשתמש בהשוואות מבוססות-מחשוב, אתם יכולים לכלול תשובות לדוגמה (אמת קרקע).

  • הגדרת מדדי הערכה: בוחרים את המדדים שבהם רוצים להשתמש כדי למדוד את ביצועי המודל.

  • יצירת תשובות ממודלים: בוחרים מודל אחד או יותר כדי ליצור תשובות למערך הנתונים. Agent Platform SDK תומך בכל מודל שאפשר להפעיל דרך LiteLLM, והמסוף תומך במודלים של Gemini.

  • מריצים את ההערכה: מריצים את משימת ההערכה, שבודקת את התשובות של כל מודל לפי המדדים שנבחרו.

  • לפרש את התוצאות: בודקים את הציונים המצטברים ואת התשובות הנפרדות כדי לנתח את ביצועי המודל.

מדדי הערכה

אלה המושגים העיקריים שקשורים למדדי הערכה:

  • קריטריונים: הקריטריונים לדירוג התשובה של מודל או אפליקציה של LLM.

  • מדדים: ציון שמשווה בין הפלט מהמודל לבין קריטריוני הדירוג.

שירות ההערכה ל-AI גנרטיבי מציע את הקטגוריות הבאות של מדדים:

  • מדדים מבוססי-רובריקה: שילוב של מודלי LLM בתהליכי עבודה של הערכה כדי לבדוק את איכות התשובות של המודל. הערכות שמבוססות על קריטריונים מתאימות למגוון משימות, במיוחד לאיכות הכתיבה, לבטיחות ולמילוי הוראות, שלעיתים קרובות קשה להעריך באמצעות אלגוריתמים דטרמיניסטיים.

    • קריטריונים דינמיים (מומלץ): הקריטריונים נוצרים באופן דינמי לכל הנחיה, כמו בדיקות יחידה. התגובות נבדקות באמצעות קבוצה ייחודית של בדיקות "עבר" או "נכשל" לכל הנחיה בקבוצת הנתונים. הקריטריונים האלה שומרים על הרלוונטיות של ההערכה למשימה המבוקשת, והמטרה שלהם היא לספק תוצאות אובייקטיביות, מוסברות ועקביות.

      בדרך כלל, קריטריונים דינמיים הם הדרך המהירה ביותר להתחיל בהערכות, והם מבטיחים שכל הערכה תהיה רלוונטית למשימה הספציפית שמוערכת.

    • קריטריונים סטטיים: הקריטריונים מוגדרים באופן מפורש, ואותם קריטריונים חלים על כל ההנחיות. התשובות נבדקות באמצעות אותה קבוצה של מעריכים מספריים שמבוססים על ניקוד. ציון מספרי אחד (למשל 1-5) לכל הנחיה. כדאי להשתמש בקריטריונים סטטיים כשנדרשת הערכה של מאפיין ספציפי מאוד, או כשנדרש אותו קריטריון בדיוק בכל ההנחיות.

  • השוואות מבוססות-מחשוב: הערכת התשובות באמצעות אלגוריתמים דטרמיניסטיים, בדרך כלל באמצעות אמת קרקע (ground truth). ציון מספרי (למשל 0.0-1.0) לכל הנחיה. כשאמת קרקע (ground truth) זמינה ואפשר להתאים אותה לשיטה דטרמיניסטית.

  • מדדים של פונקציות בהתאמה אישית (רק ב-Agent Platform SDK): אתם יכולים להגדיר מדד משלכם באמצעות פונקציית Python.

דוגמה לקריטריונים להערכה מותאמים אישית

תהליך ההערכה של כל הנחיה כולל מערכת דו-שלבית:

  1. יצירת קריטריונים: השירות מנתח קודם את ההנחיה ויוצר רשימה של בדיקות ספציפיות שניתנות לאימות (הקריטריונים) שתשובה טובה צריכה לעמוד בהן.

  2. אימות קריטריונים: אחרי שהמודל יוצר תשובה, השירות מעריך את התשובה לפי כל קריטריון, ומספק פסיקה ברורה של Pass או Fail והסבר.

התוצאה הסופית היא שיעור מעבר מצטבר ופירוט של הקריטריונים שבהם המודל עמד, מה שנותן לכם תובנות פרקטיות לאבחון בעיות ולמדידת שיפורים.

כשעוברים מציונים סובייקטיביים ברמה גבוהה לתוצאות בדיקה אובייקטיביות ומפורטות, אפשר לאמץ מחזור פיתוח מבוסס-הערכה ולהביא את השיטות המומלצות להנדסת תוכנה לתהליך של פיתוח אפליקציות מבוססות-AI גנרטיבי.

בדוגמה הבאה מוצגות קריטריונים להערכה שנוצרו עבור קבוצה של הנחיות:

הנחיה מהמשתמש: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

בהנחיה הזו, השלב של יצירת קריטריון הערכה יכול להפיק את קריטריוני ההערכה הבאים:

  • קריטריון 1: התשובה היא סיכום של המאמר שסופק.

  • קריטריון 2: התשובה מכילה בדיוק ארבעה משפטים.

  • קריטריון 3: התשובה שומרת על טון אופטימי.

המודל עשוי ליצור את התשובה הבאה: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

במהלך אימות קריטריון ההערכה, שירות ההערכה ל-AI גנרטיבי בודק את התשובה לפי כל קריטריון הערכה:

  • קריטריון 1: התשובה היא סיכום של המאמר שסופק.

    • החלטה: Pass

    • הסיבה: התשובה מסכמת בצורה מדויקת את הנקודות העיקריות.

  • קריטריון 2: התשובה מכילה בדיוק ארבעה משפטים.

    • החלטה: Pass

    • הסיבה: התשובה מורכבת מארבעה משפטים נפרדים

  • קריטריון 3: התשובה שומרת על טון אופטימי.

    • החלטה: Fail

    • הסיבה: המשפט האחרון מציג נקודה שלילית, שפוגעת בטון האופטימי.

שיעור המעבר הסופי של התשובה הזו הוא 66.7%. כדי להשוות בין שני מודלים, אתם יכולים להעריך את התשובות שלהם ביחס לאותה קבוצה של בדיקות שנוצרו, ולהשוות בין שיעורי המעבר הכוללים שלהם.

איך מתחילים להשתמש בהערכות

כדי להתחיל להשתמש בהערכות, אפשר להשתמש במסוף.

לחלופין, הקוד הבא מראה איך להשלים הערכה באמצעות לקוח GenAI ב-Agent Platform SDK:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

שירות ההערכה של AI גנרטיבי מציע שני ממשקי Agent Platform SDK:

  • ‫GenAI Client ב-Agent Platform SDK (מומלץ) (גרסת טרום-השקה)

    from vertexai import client

    ‫GenAI Client הוא הממשק החדש והמומלץ להערכה, שאפשר לגשת אליו דרך המחלקה המאוחדת Client. הוא תומך בכל שיטות ההערכה ומיועד לתהליכי עבודה שכוללים השוואה בין מודלים, תצוגה חזותית ב-Notebook ותובנות להתאמה אישית של המודל.

  • מודול הערכה ב-Agent Platform SDK (זמינות כללית)

    from vertexai.evaluation import EvalTask

    מודול ההערכה הוא הממשק הישן, שעדיין קיים כדי לשמור על תאימות לדורות קודמים עם תהליכי עבודה קיימים, אבל הוא כבר לא נמצא בפיתוח פעיל. אפשר לגשת אליו דרך הכיתה EvalTask. השיטה הזו תומכת במדדים סטנדרטיים של LLM כשופט והשוואות מבוססות-מחשוב, אבל לא תומכת בשיטות הערכה חדשות יותר כמו קריטריונים דינמיים.

אזורים נתמכים

אפשר להשתמש בשירות הערכת ה-AI הגנרטיבי באזורים הבאים:

  • איווה (us-central1)

  • קרוליינה הדרומית (us-east1)

  • צפון וירג'יניה (us-east4)

  • קולומבוס, אוהיו (us-east5)

  • דאלאס, טקסס (us-south1)

  • אורגון (us-west1)

  • לאס וגאס, נבדה (us-west4)

  • ורשה, פולין (europe-central2)

  • פינלנד (europe-north1)

  • מדריד, ספרד (europe-southwest1)

  • בלגיה (europe-west1)

  • הולנד (europe-west4)

  • מילאנו, איטליה (europe-west8)

  • פריז, צרפת (europe-west9)

  • גלובלי (global)

תיקיות Notebook זמינות

קישורים ל-Notebook תיאור
תחילת העבודה: הערכה מהירה של AI גנרטיבי מבוא לשירות ההערכה של AI גנרטיבי.
הערכת מודלים של צד שלישי באמצעות שירות ההערכה ל-AI גנרטיבי איך משתמשים ב-**Agent Platform SDK** כדי להעריך סוגים שונים של מודלים של צד שלישי, כולל מודלים שאפשר לגשת אליהם באמצעות API (כמו OpenAI ו-Anthropic), מודל כשירות (MaaS) מ-Gemini Enterprise Agent Platform Model Garden ונקודות קצה של Bring Your Own Model ‏(BYOM).
מיגרציית מודלים באמצעות שירות ההערכה של AI גנרטיבי איך משתמשים ב-**Agent Platform SDK** לשירות הערכת AI גנרטיבי כדי להשוות בין שני מודלים של צד ראשון (כמו Gemini 2.0 Flash ל-Gemini 2.5 Flash). הוא מדגיש את השימוש במדדים מוגדרים מראש שמבוססים על רובריקות דינמיות, ומסביר איך תוצאות ההערכה יכולות לעזור לשפר את ההנחיות. בנוסף, נסקור תכונות מרכזיות כמו הערכה של כמה מועמדים, ויזואליזציה ב-Notebook והערכה אסינכרונית של אצווה.
הערכת האיכות של יצירת תמונות לפי טקסט באמצעות שירות ההערכה ל-AI גנרטיבי איך משתמשים ב-Vertex AI SDK לשירות הערכה של AI גנרטיבי כדי להעריך את האיכות של תמונות שנוצרו על סמך הנחיות טקסט. הוא מדגים שימוש במדד Gecko המוגדר מראש, שמבוסס על קריטריונים דינמיים.
הערכת האיכות של המרה מטקסט לווידאו באמצעות שירות ההערכה של AI גנרטיבי איך משתמשים ב-**Agent Platform SDK** לשירות הערכת AI גנרטיבי כדי להעריך את האיכות של סרטונים שנוצרו על סמך פרומפטים טקסטואליים. הוא מדגים שימוש במדד Gecko המוגדר מראש, שמבוסס על קריטריונים דינמיים.

המאמרים הבאים