רישום אוטומטי של נתונים לניסוי

רישום אוטומטי הוא תכונה ב-Vertex AI SDK שרושמת באופן אוטומטי פרמטרים ומדדים מהרצות של אימון מודלים ב-Vertex AI Experiments. כך אפשר לחסוך זמן ומאמץ כי לא צריך לרשום את הנתונים האלה באופן ידני. רישום אוטומטי ביומן תומך רק ברישום ביומן של פרמטרים ומדדים.

נתונים של כניסה אוטומטית

יש שתי אפשרויות לרישום אוטומטי של נתונים ב-Vertex AI Experiments.

  1. ‫Vertex AI SDK יכול ליצור באופן אוטומטי משאבי ExperimentRun בשבילכם.
  2. מציינים את משאב ExperimentRun שאליו רוצים לכתוב פרמטרים ומדדים שנרשמים באופן אוטומטי.

נוצר באופן אוטומטי

‫Agent Platform SDK for Python מטפל ביצירת משאבי ExperimentRun בשבילכם. למשאבי ExperimentRun שנוצרו באופן אוטומטי יהיה שם הפעלה בפורמט הבא: {ml-framework-name}-{timestamp}-{uid}, לדוגמה: tensorflow-2023-01-04-16-09-20-86a88.

בדוגמה הבאה נעשה שימוש בשיטה init, מתוך aiplatform הפונקציות של חבילת.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • ‫experiment_name: נותנים שם לניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות ניסויים בסרגל הניווט של הקטע במסוף Google Cloud .
  • ‫experiment_tensorboard: (אופציונלי) מציינים שם למופע של Vertex AI TensorBoard.
  • project: . אפשר למצוא את מזהי הפרויקטים האלה בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימת המיקומים הזמינים

בהגדרת משתמש

לספק שמות משלכם ל-ExperimentRun ולרשום ביומן מדדים ופרמטרים מכמה הפעלות של אימון מודלים באותו ExperimentRun. כל המדדים מהמודל עד להרצה הנוכחית שמוגדרת על ידי קריאה ל-aiplatform.start_run("your-run-name") עד שמתבצעת קריאה ל-aiplatform.end_run().

בדוגמה הבאה נעשה שימוש בשיטה init, מתוך aiplatform Package functions.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • ‫experiment_name: מציינים את שם הניסוי.
  • ‫run_name: נותנים שם להרצת הניסוי. אפשר לראות את רשימת הניסויים ב- Google Cloud Console. כדי לעשות את זה, בוחרים באפשרות Experiments בסרגל הניווט של הקטע.
  • project: . מזהי הפרויקטים האלה מופיעים בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימת המיקומים הזמינים
  • ‫experiment_tensorboard: (אופציונלי) מציינים שם למופע של Vertex AI TensorBoard.

הרישום האוטומטי ב-Vertex AI SDK מבוסס על הרישום האוטומטי של MLFlow. כשמפעילים רישום אוטומטי ביומן, מדדי הערכה ופרמטרים מהמסגרות הבאות נרשמים ביומן של ExperimentRun:

  • Fastai
  • גלואון
  • Keras
  • LightGBM
  • Pytorch Lightning
  • ‫Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

הצגת פרמטרים ומדדים שנרשמים אוטומטית ביומן

אפשר להשתמש ב-Agent Platform SDK for Python כדי להשוות בין הרצות ולקבל נתונים על הרצות. בGoogle Cloud מסוף קל להשוות בין ההרצות האלה.

דוגמה רלוונטית ל-notebook

פוסט בבלוג