הערכת מודלים באמצעות Agent Platform

במאמר הזה נסביר איך להעריך מודלים באמצעות Gemini Enterprise Agent Platform. סקירה כללית זמינה במאמר הערכת מודלים ב-Agent Platform.

דרישות מוקדמות

  1. פועלים לפי השלבים במאמר הגדרת פרויקט וסביבת פיתוח. בנוסף, מפעילים את השירותים הבאים:

  2. Agent Platform יכולה להעריך מודלים שאומנו באמצעות AutoML או אימון מותאם אישית. כדי להשתמש במדריך Google Cloud למסוף, צריך לוודא שיש לכם מודל מאומן שייבאתם ל-Gemini Enterprise Agent Platform מרשם המודלים.

  3. מעלים את מערך הנתונים לבדיקה אל BigQuery או אל Cloud Storage. קבוצת הנתונים לבדיקה צריכה להכיל את האמת הבסיסית, שהיא התוצאה בפועל שצפויה מהסקת מסקנות. מקבלים את הקישור לקובץ או את המזהה של קבוצת הנתונים.

  4. יש לכם פלט של הסקת מסקנות באצווה בצורה של טבלה ב-BigQuery או URI של Cloud Storage.

  5. ודאו שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את הרשאות ה-IAM הבאות:

    • אדמין של Agent Platform (aiplatform.admin)
    • נציג שירות של Agent Platform‏ (aiplatform.serviceAgent)
    • אדמין של אובייקטים באחסון (storage.objectAdmin)
    • עובד ב-Dataflow‏ (dataflow.worker)
    • עריכה של נתוני BigQuery‏ (bigquery.dataEditor) (נדרש רק אם אתם מספקים נתונים בצורה של טבלאות BigQuery)

יצירת הערכה

המסוף

  1. במסוף Google Cloud , נכנסים לדף Gemini Enterprise Agent Platform Models.

    כניסה לדף Models

  2. לוחצים על שם המודל שרוצים להעריך.

  3. לוחצים על מספר הגרסה של המודל.

  4. בכרטיסייה הערכה, לוחצים על יצירת הערכה.

  5. מזינים שם של הערכה.

  6. בוחרים מטרה, כמו סיווג או רגרסיה.

  7. מזינים את שם העמודה של יעד ההערכה, שהיא העמודה מנתוני האימון שהמודל מאומן לחזות.

  8. בקטע בחירת מקור, בוחרים את המקור של מערך נתוני הבדיקה.

    1. בשדה טבלה ב-BigQuery, מזינים את נתיב BigQuery.

    2. בשדה קובץ ב-Cloud Storage, מזינים את הנתיב ב-Cloud Storage.

  9. בקטע Batch prediction output (פלט של חיזוי אצווה), בוחרים פורמט פלט.

    1. מזינים את הנתיב ב-BigQuery או את ה-URI של Cloud Storage.

  10. לוחצים על התחלת ההערכה.

Python

כדי לראות את זרימת העבודה של הערכת מודלים ב-Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform הוא בשלב הניסוי. כדי להירשם לגרסת הניסוי, צריך למלא את טופס ההצטרפות.

Agent Platform שולחת באופן אוטומטי התראה באימייל כשמשימת הערכת מודל מסתיימת.

הצגת מדדי ההערכה

המסוף

  1. במסוף Google Cloud , נכנסים לדף Gemini Enterprise Agent Platform Models.

    כניסה לדף Models

  2. עוברים לגרסת המודל.

  3. אפשר לצפות במדדים בכרטיסייה הערכה.

Python

כדי לראות את זרימת העבודה של הערכת מודלים ב-Agent Platform API ב-Gemini Enterprise Agent Platform Pipelines, אפשר לעיין במחברות לדוגמה של סוגי המודלים הבאים:

Python SDK

ה-SDK להערכת מודלים באמצעות Agent Platform הוא בשלב הניסוי. כדי להירשם לגרסת הניסוי, צריך למלא את טופס ההצטרפות.

השוואה בין מדדי הערכה

אפשר להשוות בין תוצאות ההערכה של מודלים שונים, גרסאות מודל שונות ומשימות הערכה שונות. מידע נוסף על ניהול גרסאות של מודלים זמין במאמר ניהול גרסאות ב-מרשם המודלים.

אפשר להשוות רק בין מודלים מאותו סוג, כמו סיווג, רגרסיה או חיזוי. כשמשווים בין מודלים שונים, כל גרסאות המודלים צריכות להיות מאותו הסוג.

אפשר להשוות בין 5 הערכות או פחות בכל פעם.

  1. עוברים אל מרשם המודלים של Gemini Enterprise Agent Platform במסוף Google Cloud :

    כניסה לדף Models

  2. עוברים למודל או לגרסת המודל:

    • כדי להשוות בין מודלים שונים בדף Models, מסמנים את התיבות לצד שמות המודלים שרוצים להשוות ביניהם.

    • כדי להשוות בין גרסאות שונות של מודלים:

      1. לוחצים על שם המודל בדף מודלים כדי לפתוח את רשימת גרסאות המודל.

      2. מסמנים את התיבות לצד הגרסאות שרוצים להשוות ביניהן.

    • כדי להשוות בין משימות הערכה של אותה גרסת מודל:

      1. לוחצים על שם המודל בדף מודלים כדי לפתוח את רשימת גרסאות המודל.

      2. לוחצים על מספר הגרסה.

      3. מסמנים את תיבות הסימון לצד משימות ההערכה שרוצים להשוות.

  3. לוחצים על השוואה.

המאמרים הבאים