יצירת מודל למידת מכונה ב-BigQuery ML באמצעות מסוף Google Cloud

במאמר הזה נסביר איך משתמשים במסוף Google Cloud כדי ליצור מודל BigQuery ML.

התפקידים הנדרשים

• כדי ליצור מודל ולהריץ הסקה, צריך לקבל את התפקידים הבאים:

  • עריכה של נתוני BigQuery‏ (roles/bigquery.dataEditor)
  • משתמש BigQuery‏ (roles/bigquery.user)

לפני שמתחילים

1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

   התפקידים שנדרשים כדי לבחור או ליצור פרויקט

   • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
   • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?
   הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שקשורים אליו.

   כניסה לדף לבחירת הפרויקט

2. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

3. מפעילים את BigQuery API ואת BigQuery Connection API, אם הם עדיין לא מופעלים.

   התפקידים שנדרשים כדי להפעיל ממשקי API

   כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים?

   הפעלת ממשקי ה-API

דרישות מוקדמות ספציפיות למודל

לפני שיוצרים מודל, חשוב לוודא שביצעתם את כל הדרישות המוקדמות לסוג המודל שאתם יוצרים:

• אם אתם רוצים להשתמש בשאילתה כדי לבחור נתוני אימון למודל, אתם צריכים שהשאילתה תהיה זמינה כשאילתה שמורה.

• כדי להשתמש במודלים של פירוק לגורמים של מטריצה, צריך להזמין מקום. למידע נוסף, קראו את המאמר תמחור.

• המודלים המרוחקים הבאים דורשים קישור למשאבים ב-Cloud:

  • מודלים מרוחקים ב-Gemini Enterprise Agent Platform ומודלים של שותפים
  • מודלים מרוחקים לעומת מודלים פתוחים
  • מודלים מרוחקים בשירותי AI ב-Cloud
  • מודלים מרוחקים לעומת מודלים בהתאמה אישית ב-Gemini Enterprise Agent Platform

  בנוסף, צריך להקצות לחשבון השירות של החיבור תפקידים מסוימים, בהתאם לסוג המודל המרוחק.

• כדי לייבא מודל, צריך להעלות אותו לקטגוריה של Cloud Storage.

יצירת קבוצת נתונים

יוצרים מערך נתונים ב-BigQuery שיכיל את המשאבים:

המסוף

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על שם הפרויקט.

4. לוחצים על View actions > Create dataset.

5. בדף Create dataset, מבצעים את הפעולות הבאות:

   1. בשדה Dataset ID, מקלידים שם למערך הנתונים.

   2. בקטע Location type, בוחרים באפשרות Region או Multi-region.

      • אם בחרתם באפשרות Region, בוחרים מיקום מהרשימה Region.
      • אם בחרתם באפשרות מספר אזורים, בחרו באפשרות US או Europe מהרשימה מספר אזורים.

   3. לוחצים על Create dataset.

BQ

1. כדי ליצור קבוצת נתונים חדשה, משתמשים בפקודה bq mk עם הדגל --location:

   bq --location=LOCATION mk -d DATASET_ID

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: המיקום של מערך הנתונים.
   • ‫DATASET_ID: המזהה של קבוצת הנתונים שאתם יוצרים.

2. מוודאים שמערך הנתונים נוצר:

   bq ls

יצירת מודל שאומן באופן פנימי או חיצוני

כך יוצרים את סוגי המודלים הבאים:

• מודלים של פעולות על ציר הזמן:

  • ARIMA_PLUS
  • ARIMA_PLUS_XREG

• ניתוח מדדים עיקריים: ניתוח מדדים עיקריים

• סיווג:

  • רגרסיה לוגיסטית
  • סיווג של עץ מוגבר
  • סיווג של יער אקראי
  • סיווג של רשת עצבית עמוקה (DNN)
  • סיווג רחב ועמוק
  • סיווג AutoML

• רגרסיה:

  • רגרסיה לינארית
  • רגרסיה של עץ מוגבר
  • רגרסיה של יער אקראי
  • רגרסיה של רשת עצבית עמוקה (DNN)
  • רגרסיה רחבה ועמוקה
  • רגרסיה של AutoML

• סוג הקיבוץ: K-means

• המלצה: פירוק לגורמים של מטריצה

• הורדת ממד:

  • ניתוח רכיבים עיקריים (PCA)
  • מקודד אוטומטי

למודלים האלה יש קבוצות שונות של אפשרויות בהתאם לסוג שלהם. הכוונון האוטומטי של BigQuery ML פועל היטב ברוב המקרים, אבל אתם יכולים לבחור לכוונן את המודל באופן ידני כחלק מהתהליך. אם אתם רוצים לעשות זאת, עיינו בתיעוד של סוג המודל הנתון כדי לקבל מידע נוסף על אפשרויות המודל.

כדי ליצור מודל:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לוחצים על View actions ליד מערך הנתונים, ואז על Create BQML Model.

   החלונית Create new model נפתחת.

5. בשדה Model name, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, לוחצים על Save Query.

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method, בוחרים באפשרות Train a Model in BigQuery.

9. בקטע Modeling objective, בוחרים את יעד המודל.

10. לוחצים על Continue.

11. בדף Model options, בוחרים סוג מודל. סוג המודל שאפשר לבחור משתנה בהתאם ליעד המודל שבחרתם.

12. בקטע נתוני אימון, מבצעים אחת מהפעולות הבאות:

    • בוחרים באפשרות Table/View כדי לקבל נתוני אימון מטבלה או מתצוגה, ואז בוחרים את הפרויקט, מערך הנתונים והשם של התצוגה או הטבלה.
    • בוחרים באפשרות Query כדי לקבל נתוני אימון משאילתה שמורה, ואז בוחרים את השאילתה השמורה.

13. בקטע Selected input label columns, בוחרים את העמודות מהטבלה, מהתצוגה או מהשאילתה שרוצים להשתמש בהן כקלט למודל.

14. אם יש קטע של Required options, מציינים את פרטי העמודה המבוקשים:

    • במודלים של סיווג ורגרסיה, בוחרים בעמודה שמכילה את נתוני התווית בשדה INPUT_LABEL_COLS.

    • במודלים של פירוק מטריצות, בוחרים את האפשרויות הבאות:

      • ב-RATING_COL, בוחרים את העמודה שמכילה את נתוני הדירוג.
      • ב-USER_COL, בוחרים את העמודה שמכילה את נתוני המשתמשים.
      • בשדה ITEM_COL, בוחרים את העמודה שמכילה את נתוני הפריטים.

    • במודלים של חיזוי סדרות עתידיות, בוחרים את האפשרויות הבאות:

      • בעמודה TIME_SERIES_TIMESTAMP_COL, בוחרים את העמודה שמכילה את נקודות הזמן שבהן רוצים להשתמש כשמאמנים את המודל.
      • בשדה TIME_SERIES_DATA_COL, בוחרים את העמודה שמכילה את הנתונים לחיזוי.

15. אופציונלי: בקטע Optional, מציינים ערכים לארגומנטים נוספים של כוונון המודל. הארגומנטים הזמינים משתנים בהתאם לסוג המודל שאתם יוצרים.

16. אופציונלי: אם יש קטע של Hyperparameter tuning, אתם יכולים לציין את האפשרות NUM_TRIALS כדי להפעיל [כוונון היפר-פרמטרים](/bigquery/docs/hyperparameter-tuning-tutorial) במודל. הארגומנטים שזמינים לכוונון של היפר-פרמטרים משתנים בהתאם לסוג המודל שאתם יוצרים.

17. לוחצים על יצירת מודל.

18. בסיום יצירת המודל, לוחצים על Go to model כדי לראות את פרטי המודל.

יצירת מודל מרוחק על סמך מודל שעבר אימון מראש

כך יוצרים את הסוגים הבאים של מודלים מרוחקים:

• מודלים ב-Agent Platform או מודלים של שותפים
• מודלים לעומת מודלים פתוחים

כדי ליצור מודל:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לוחצים על View actions ליד מערך הנתונים, ואז על Create BQML Model.

   החלונית Create new model נפתחת.

5. בשדה Model name, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, לוחצים על Save Query.

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method, בוחרים באפשרות Connect to Vertex AI LLM service and AI ב-Cloud services.

9. בדף Model options, בוחרים באפשרות Google and Partner Models או באפשרות Open Models בהתאם לסוג המודל שמתאים לתרחיש לדוגמה שלכם.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור כברירת מחדל, או אם יש לכם את התפקידים "אדמין ב-BigQuery" ו"אדמין של IAM בפרויקט", בחרו באפשרות Default connection.

    • אם לא הגדרתם חיבור כברירת מחדל, או אם אין לכם את התפקידים המתאימים, בחרו באפשרות קישור למשאבים ב-Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שבו רוצים להשתמש.
      2. בקטע Location, בוחרים את המיקום שבו משתמשים בחיבור.

      3. בשדה Connection, בוחרים את החיבור שבו רוצים להשתמש למודל המרוחק, או בוחרים באפשרות Create new connection כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. למידע נוסף על התפקידים שצריך להקצות, עיינו במאמרי העזרה של סוג המודל המרוחק שאתם יוצרים.

11. בקטע Required options, מבצעים אחת מהפעולות הבאות:

    • במודלים מרוחקים שמבוססים על מודלים של Google ושל שותפים, צריך לציין את נקודת הקצה שבה רוצים להשתמש. זהו שם המודל, לדוגמה gemini-3.5-flash. מידע נוסף על המודלים הנתמכים זמין במאמר ENDPOINT.
    • במודלים מרוחקים שמבוססים על מודלים פתוחים, מעתיקים ומדביקים את נקודת הקצה שבה רוצים להשתמש. זו נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Agent Platform, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

12. לוחצים על יצירת מודל.

13. בסיום יצירת המודל, לוחצים על Go to model כדי לראות את פרטי המודל.

יצירת מודל מרוחק על סמך מודל בהתאמה אישית

אתם יכולים להשתמש בתהליך הזה כדי ליצור מודלים מרוחקים על בסיס מודלים בהתאמה אישית שנפרסו ב-Gemini Enterprise Agent Platform.

כדי ליצור מודל:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לוחצים על View actions ליד מערך הנתונים, ואז על Create BQML Model.

   החלונית Create new model נפתחת.

5. בשדה Model name, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, לוחצים על Save Query.

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method, בוחרים באפשרות Connect to user managed Vertex AI endpoints.

9. בקטע Remote connection בדף Model options, מבצעים אחת מהפעולות הבאות:

   • אם הגדרתם חיבור כברירת מחדל, או אם יש לכם את התפקידים "אדמין ב-BigQuery" ו"אדמין של IAM בפרויקט", בחרו באפשרות Default connection.

   • אם לא הגדרתם חיבור כברירת מחדל, או אם אין לכם את התפקידים המתאימים, בחרו באפשרות קישור למשאבים ב-Cloud.

     1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שבו רוצים להשתמש.
     2. בקטע Location, בוחרים את המיקום שבו משתמשים בחיבור.

     3. בשדה Connection, בוחרים את החיבור שבו רוצים להשתמש למודל המרוחק, או בוחרים באפשרות Create new connection כדי ליצור חיבור חדש.

        חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. למידע נוסף על התפקידים שצריך להקצות, עיינו במאמרי העזרה של סוג המודל המרוחק שאתם יוצרים.

10. בקטע Required options, מציינים את נקודת הקצה שבה רוצים להשתמש. זו נקודת הקצה הציבורית המשותפת של מודל שנפרס ב-Agent Platform, בפורמט https://location-aiplatform.googleapis.com/v1/projects/project/locations/location/endpoints/endpoint_id. מידע נוסף זמין במאמר ENDPOINT.

11. לוחצים על יצירת מודל.

12. בסיום יצירת המודל, לוחצים על Go to model כדי לראות את פרטי המודל.

יצירת מודל מרוחק בשירות AI ב-Cloud

כך יוצרים מודלים מרוחקים בשירותי AI ב-Cloud.

כדי ליצור מודל:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לוחצים על View actions ליד מערך הנתונים, ואז על Create BQML Model.

   החלונית Create new model נפתחת.

5. בשדה Model name, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, לוחצים על Save Query.

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method, בוחרים באפשרות Connect to Vertex AI LLM service and AI ב-Cloud services.

9. בדף Model options, בוחרים באפשרות Cloud AI Services.

10. בקטע Remote connection, מבצעים אחת מהפעולות הבאות:

    • אם הגדרתם חיבור כברירת מחדל, או אם יש לכם את התפקידים "אדמין ב-BigQuery" ו"אדמין של IAM בפרויקט", בחרו באפשרות Default connection.

    • אם לא הגדרתם חיבור כברירת מחדל, או אם אין לכם את התפקידים המתאימים, בחרו באפשרות קישור למשאבים ב-Cloud.

      1. בשדה Project, בוחרים את הפרויקט שמכיל את החיבור שבו רוצים להשתמש.
      2. בקטע Location, בוחרים את המיקום שבו משתמשים בחיבור.

      3. בשדה Connection, בוחרים את החיבור שבו רוצים להשתמש למודל המרוחק, או בוחרים באפשרות Create new connection כדי ליצור חיבור חדש.

         חשוב: אם יוצרים חיבור חדש, צריך להקצות תפקידים מתאימים לחשבון השירות של החיבור לפני שממשיכים. למידע נוסף על התפקידים שצריך להקצות, עיינו במאמרי העזרה של סוג המודל המרוחק שאתם יוצרים.

11. בקטע Required options, בוחרים את סוג השירות של AI ב-Cloud שבו רוצים להשתמש.

12. בקטע Optional, מציינים את פרטי מעבד המסמכים אם משתמשים בשירות CLOUD_AI_DOCUMENT_V1. אם אתם משתמשים בשירות CLOUD_AI_SPEECH_TO_TEXT_V2, אתם יכולים לציין את פרטי זיהוי הדיבור.

13. לוחצים על יצירת מודל.

14. בסיום יצירת המודל, לוחצים על Go to model כדי לראות את פרטי המודל.

יצירת מודל מיובא

כדי ליצור מודלים של BigQuery ML, אתם יכולים לייבא את סוגי המודלים הבאים:

• ONNX
• TensorFlow
• TensorFlow Lite
• XGBoost

כדי ליצור מודל:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Explorer:

   

3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים שיצרתם.

4. לוחצים על View actions ליד מערך הנתונים, ואז על Create BQML Model.

   החלונית Create new model נפתחת.

5. בשדה Model name, מקלידים שם למודל.

6. אם רוצים ליצור שאילתה שמורה שמכילה את ההצהרה CREATE MODEL של המודל, לוחצים על Save Query.

   1. בשדה Query name, מקלידים שם לשאילתה השמורה.
   2. בשדה Region, בוחרים אזור לשאילתה השמורה.

7. לוחצים על Continue.

8. בקטע Creation method, בוחרים באפשרות Import model.

9. בדף Model options, בוחרים את סוג המודל שרוצים לייבא.

10. בשדה GCS path, מחפשים את ה-URI של הקטגוריה ב-Cloud Storage שמכילה את המודל, או מדביקים אותו.

11. לוחצים על יצירת מודל.

12. בסיום יצירת המודל, לוחצים על Go to model כדי לראות את פרטי המודל.