מעקב אחרי כיתות

ה-SDK של Agent Platform ל-Python כולל מחלקות שעוזרות בתצוגה חזותית, במדידות ובמעקב. אפשר לחלק את המחלקות האלה לשלושה סוגים:

• מחלקות שמשתמשות במטא-נתונים כדי לעקוב אחרי משאבים בתהליך העבודה של למידת המכונה (ML)
• מחלקות שמשמשות לניסויים בפלטפורמת הסוכנים
• מחלקות שמשמשות ל-Vertex AI TensorBoard ב-Agent Platform

בנושאים הבאים מפורטות המחלקות שקשורות למעקב ולניטור של תהליך עבודה של ML ב-Agent Platform SDK ל-Python.

מחלקות של מטא-נתונים

אתם יכולים להשתמש ב-Agent Platform SDK ל-Python כדי ליצור מטא-נתונים של ML ב-Gemini Enterprise Agent Platform, שיעזרו לכם לעקוב אחרי המטא-נתונים בתהליך העבודה של ה-ML ולנתח אותם. מידע נוסף זמין במאמר מבוא למטא-נתונים של למידת מכונה ב-Gemini Enterprise Agent Platform.

Artifact {: id="artifact-class"}

הכיתה Artifact מייצגת את המטא-נתונים בפריט מידע שנוצר ב-Gemini Enterprise Agent Platform. ארטיפקט הוא ישות או פיסת נתונים נפרדת שנוצרת בתהליך עבודה של ML. דוגמאות לפריטי מידע: מערך נתונים או מודל. מידע נוסף זמין במאמר מעקב אחרי הפעלות ופריטי מידע שנוצרו באופן ידני.

כשיוצרים משאב Artifact, צריך לציין את הסכימה שלו. לכל סוג של פריט מידע שנוצר בתהליך הפיתוח יש סכימה ייחודית. לדוגמה, הסכימה system.Dataset מייצגת מערך נתונים והסכימה system.Metrics מייצגת מדדי הערכה. מידע נוסף מופיע במאמר איך משתמשים בסכימות מערכת.

הקוד לדוגמה הבא מראה איך ליצור משאב Artifact שמייצג מודל:

model_artifact = aiplatform.Artifact.create(
        schema_title="system.Model",
        display_name=PREPROCESSED_DATASET_NAME,
        uri=PREPROCESSED_DATASET_URI,
)

Execution

הכיתה Execution מייצגת את המטא-נתונים בהפעלה ב-Gemini Enterprise Agent Platform. הרצה היא שלב בתהליך העבודה של למידת המכונה. דוגמאות להפעלה הן עיבוד נתונים, אימון והערכת מודל. הרצה יכולה לצרוך פריטי מידע שנוצרו בתהליך הפיתוח, כמו קבוצת נתונים, וליצור פריט מידע שנוצר בתהליך הפיתוח, כמו מודל.

משתמשים ב-aiplatform.start_execution כדי ליצור משאב Execution. אחרי שיוצרים משאב Execution, משתמשים באותה שיטה aiplatform.start_execution עם הפרמטר resume שמוגדר ל-True כדי להמשיך אותו.

הקוד לדוגמה הבא מראה איך ליצור משאב Execution:

with aiplatform.start_execution(schema_title='system.ContainerExecution',
                                display_name='trainer') as execution:
    execution.assign_input_artifacts([my_artifact])
    model = aiplatform.Artifact.create(uri='gs://my-uri', schema_title='system.Model')
    execution.assign_output_artifacts([model])

מחלקות של Vertex AI Experiments

אתם יכולים להשתמש ב-SDK של Agent Platform ל-Python כדי ליצור ולהריץ ניסויים ב-Agent Platform. השתמשו ב-Experiments ב-Agent Platform כדי לעקוב אחרי מדדים מבוססי-יומן ופרמטרים שיעזרו לכם לנתח ולבצע אופטימיזציה לתהליך העבודה של ML. מידע נוסף זמין במאמר מבוא לניסויים בפלטפורמת Agent.

כדי ללמוד איך להשתמש במחלקות Experiment ו-ExperimentRun, נסו את אחד מהמדריכים הבאים:

• יצירת ניסויים ב-Agent Platform lineage לאימון בהתאמה אישית
• מעקב אחרי פרמטרים ומדדים של מודלים שאומנו באופן מקומי
• השוואה בין הרצות של צינורות עיבוד נתונים באמצעות ניסויים ב-Agent Platform
• איך מתחילים לעבוד עם ניסויים ב-Agent Platform

Experiment

הכיתה Experiment מייצגת ניסוי ב-Gemini Enterprise Agent Platform. אתם יכולים להשתמש בניסוי כדי לנתח את הרצות הניסוי ואת הרצות צינור עיבוד הנתונים עם הגדרות שונות, כמו כמה פריטי קלט והיפר-פרמטרים.

יש שתי דרכים ליצור משאב Experiment:

1. הדרך המועדפת ליצור Experiment היא לציין שם לניסוי כפרמטר כשמפעילים את aiplatform.init:

   # In a real world scenario it's likely you would specify more parameters
   # when you call aiplatform.init. This sample shows only how to use the
   # parameter used to create an Experiment.
   
   # Specify a name for the experiment
   EXPERIMENT_NAME = "your-experiment-name"
   
   # Create the experiment
   aiplatform.init(experiment=EXPERIMENT_NAME)
   

2. אפשר גם ליצור Experiment באמצעות שיחה למספר aiplatform.Experiment.create. הפקודה aiplatform.Experiment.create יוצרת את המשאב Experiment אבל לא מגדירה אותו לסביבה גלובלית. לכן אי אפשר להפעיל את הניסוי עם aiplatform.start_run. בדוגמת הקוד הבאה אפשר לראות איך משתמשים ב-aiplatform.Experiment.create כדי ליצור ניסוי ולהריץ אותו:

   # Specify a name for the experiment
   EXPERIMENT_NAME = "your-experiment-name"
   EXPERIMENT_RUN_NAME = "your-run"
   
   # Create the experiment
   experiment = aiplatform.Experiment.create(experiment_name=EXPERIMENT_NAME)
   experiment_run = aiplatform.ExperimentRun.create(EXPERIMENT_RUN_NAME, experiment=EXPERIMENT_NAME)
   

ExperimentRun

המחלקה ExperimentRun מייצגת הרצה של ניסוי.

בדוגמת הקוד הבאה אפשר לראות איך יוצרים ומפעילים ניסוי, ואז משתמשים בו כדי לקבל מידע על הניסוי. כדי למחוק את הרצת הניסוי, מקבלים הפניה למכונה ExperimentRun וקוראים ל-method‏ delete.

# Specify your project name, location, experiment name, and run name
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
EXPERIMENT_NAME = "experiment-1"
RUN_NAME = "run-1"

# Create the experiment to run
aiplatform.init(experiment=EXPERIMENT_NAME,
                project=PROJECT_NAME,
                location=LOCATION)

# Create and run an ExperimentRun resource. Next, you can use it to get
# information about your experiment. For example, you can log parameters and
# metrics with specified key-value pairs.
with aiplatform.start_run(RUN_NAME):
     aiplatform.log_params({'learning_rate': 0.1, 'dropout_rate': 0.2})
     aiplatform.log_metrics({'accuracy': 0.9, 'recall': 0.8})

# Get a reference to the ExperimentRun resource, get the parameters logged to
# the run, get the summary metrics logged to the run, then delete it.
with aiplatform.start_run(RUN_NAME, resume=True) as run:
     run.get_params()
     run.get_metrics()
     run.delete()

כיתות של Vertex AI TensorBoard

‫Agent Platform SDK ל-Python כולל מחלקות לעבודה עם גרסה מנוהלת של Vertex AI TensorBoard בקוד פתוח. ‫Vertex AI TensorBoard הוא כלי למעקב אחרי מדידות והמחשות חזותיות במהלך תהליך העבודה של למידת המכונה. מידע נוסף זמין במאמר תחילת העבודה עם Vertex AI TensorBoard.

כדי ללמוד איך להשתמש ב-Agent Platform SDK ל-Python כדי לעבוד עם Vertex AI TensorBoard, נסו את אחד מהמדריכים הבאים ל-Notebook:

• יצירת פרופיל של ביצועי אימון המודל באמצעות Cloud Profiler
• אימון בהתאמה אישית של Vertex AI TensorBoard באמצעות קונטיינר בהתאמה אישית.
• אימון בהתאמה אישית של Vertex AI TensorBoard עם קונטיינר מובנה
• כוונון היפר-פרמטרים של Vertex AI TensorBoard באמצעות מרכז הבקרה של HParams
• יצירת פרופיל של ביצועי אימון המודל באמצעות Cloud Profiler
• יצירת פרופיל של ביצועי אימון של מודל באמצעות Cloud Profiler באימון בהתאמה אישית עם קונטיינר מובנה מראש

Tensorboard

הכיתה Tensorboard מייצגת משאב מנוהל שבו מאוחסנים ניסויים של Vertex AI TensorBoard. כדי להציג את הניסויים, צריך ליצור מכונה של Tensorboard. אפשר ליצור יותר ממכונה אחת של Tensorboard בפרויקט ב- Google Cloud .

הקוד לדוגמה הבא מראה איך ליצור מופע של Tensorboard:

# Specify your project name, location, and the name of your Tensorboard
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
TENSORBOARD_NAME = "my-tensorboard"

aiplatform.init(project=PROJECT_NAME, location=LOCATION)

tensorboard = aiplatform.Tensorboard.create(
    display_name=TENSORBOARD_NAME,
    project=PROJECT_NAME,
    location=LOCATION,
)

TensorboardExperiment

ה-TensorboardExperiment מייצג קבוצה של אובייקטים מסוג TensorboardRun. מכונה של TensorboardRun מייצגת את התוצאות של משימת אימון שפועלת ב-Tensorboard.

TensorboardRun

מופע של המחלקה TensorboardRun ממפה למשימת אימון שפועלת ב-Tensorboard עם קבוצה מסוימת של היפר-פרמטרים, הגדרת מודל, מערך נתונים ועוד.

TensorboardTimeSeries

הכיתה TensorboardTimeSeries מייצגת סדרה שנוצרה בהרצות אימון.

המאמרים הבאים

• מידע על Agent Platform SDK