מודל נתונים ומשאבים

המשאבים ב-Vertex ML Metadata מאורגנים בהיררכיה, וכל משאב שייך ל-MetadataStore. כדי ליצור משאבי מטא-נתונים, קודם צריך ליצור MetadataStore.

הטרמינולוגיה של Vertex ML Metadata

כאן נסביר על מודל הנתונים ועל המונחים שמשמשים לתיאור המשאבים והרכיבים של Vertex ML Metadata.

MetadataStore
  • ‫MetadataStore הוא מאגר ברמה העליונה של משאבי מטא-נתונים. השירות MetadataStore הוא אזורי ומשויך לפרויקט ספציפי ב-Google Cloud. בדרך כלל, ארגון משתמש ב-MetadataStore משותף אחד למשאבי מטא-נתונים בכל פרויקט.
פריט מידע
  • פריט מידע שנוצר ונצרך על ידי תהליך עבודה של למידת מכונה. דוגמאות לאובייקטים: מערכי נתונים, מודלים, קובצי קלט ויומני אימון.
הקשר
  • הקשר משמש לקיבוץ פריטי מידע והפעלות בקטגוריה אחת, שאפשר להריץ עליה שאילתות ושיש לה סוג. אפשר להשתמש בהקשרים כדי לייצג קבוצות של מטא-נתונים. דוגמה להקשר היא הרצה של צינור עיבוד נתונים של למידת מכונה.
לדוגמה, אפשר להשתמש בהקשרים כדי לייצג קבוצות של מטא-נתונים כמו:

  • הרצת צינור עיבוד נתונים ב-Gemini Enterprise Agent Platform Pipelines. במקרה הזה, ההקשר מייצג הרצה אחת וכל ביצוע מייצג שלב בצינור עיבוד הנתונים של למידת המכונה. מראה איך פריטי מידע שנוצר, הפעלות והקשר משתלבים במודל הנתונים של תרשים Vertex ML Metadata.

  • ניסוי שמופעל מ-Notebook. במקרה הזה, ההקשר יכול לייצג את ה-notebook וכל הפעלה יכולה לייצג תא ב-notebook הזה.

    אירוע
    • אירוע מתאר את הקשר בין פריטי מידע שנוצר בתהליך הפיתוח לבין הפעלות. כל פריט מידע נוצר על ידי הפעלה, והפעלות אחרות יכולות להשתמש בו. אירועים עוזרים לכם לקבוע את המקור של פריטי המידע בתהליכי העבודה של למידת המכונה, על ידי שרשור של פריטי המידע וההפעלות.
    ביצוע
    • הפעלה היא תיעוד של שלב ספציפי בתהליך העבודה של למידת המכונה, שבדרך כלל כולל הערות עם הפרמטרים של זמן הריצה. דוגמאות להפעלות כוללות הטמעת נתונים, אימות נתונים, אימון מודלים, הערכת מודלים ופריסת מודלים.
    MetadataSchema
    • ‫MetadataSchema מתאר את הסכימה של סוגים מסוימים של פריטי מידע שנוצר, הפעלות או הקשרים. הסכימות של המטא-נתונים משמשות לאימות של צמדי המפתח/ערך במהלך היצירה של משאבי המטא-נתונים התואמים. אימות הסכימה מתבצע רק בשדות תואמים בין המשאב לבין MetadataSchema. סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימות OpenAPI, שצריך לתאר באמצעות YAML.

דוגמה ל-MetadataSchema

סכימות של סוגים מיוצגות באמצעות אובייקטים של סכימות OpenAPI, שצריך לתאר באמצעות YAML.

הדוגמה הבאה ממחישה איך לציין את סוג המערכת המוגדר מראש Model בפורמט YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

הכותרת של הסכימה צריכה להיות בפורמט <namespace>.<type name>. ב-Vertex ML Metadata מתפרסמות ומתוחזקות סכימות שמוגדרות על ידי המערכת, כדי לייצג סוגים נפוצים שנמצאים בשימוש נרחב בתהליכי עבודה של למידת מכונה. הסכימות האלה נמצאות במרחב השמות system, ואפשר לגשת אליהן כמשאבי MetadataSchema ב-API. לסכימות תמיד יש גרסאות.

מידע נוסף על סכימות זמין במאמר סכימות מערכת. בנוסף, בעזרת Vertex ML Metadata אתם יכולים ליצור סכימות בהתאמה אישית שמוגדרות על ידי המשתמש. מידע נוסף על סכימות מערכת זמין במאמר איך רושמים סכימות בהתאמה אישית.

משאבי המטא-נתונים שחשופים דומים מאוד לאלה של הטמעת הקוד הפתוח של מטא-נתונים של למידת מכונה (MLMD).

המאמרים הבאים