יצירת צינורות עיבוד נתונים

אתם יכולים ליצור צינורות עיבוד נתונים ב-BigQuery, שמאפשרים לתזמן ולהפוך לאוטומטיים תהליכי עבודה כמו תזמון שאילתות SQL, מסמכי Notebook ומשימות הכנת נתונים להרצה ברצף.

לפני שמתחילים

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery, Dataform, and Vertex AI APIs, if any are not already enabled.

   Roles required to enable APIs

   To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

   Enable the APIs

דרישות של VPC Service Controls

אם אתם משתמשים ב-VPC Service Controls כדי להגן על צינורות עיבוד הנתונים, חשוב לדעת שהפעלות של צינורות עיבוד נתונים מופעלות על ידי Dataform. כשמגדירים את VPC Service Controls להרצות מתוזמנות, צריך לוודא שהדרישות הבאות מתקיימות:

• צריך להגדיר את שירות מדיניות הארגון של dataform.restrictGitRemotes.
• צריך להגביל את Dataform ואת BigQuery באמצעות אותם גבולות גזרה לשירות של VPC Service Controls.
• כדי לאפשר למשתמשים לבצע אימות באמצעות פרטי הכניסה של חשבון Google שלהם כשמתזמנים או מפעילים הפעלות באופן ידני, צריך להוסיף את זהויות המשתמשים לכללי ה-ingress. למידע נוסף, קראו את המאמרים עדכון כללי הכניסה והיציאה של גבולות גזרה לשירות והפניה לכללי כניסה.

במאמר הגדרת VPC Service Controls ל-Dataform מפורטים שלבי ההגדרה ושיקולי האבטחה.

התפקידים הנדרשים לצינורות עיבוד נתונים

כדי לקבל את ההרשאות שדרושות ליצירת צינורות עיבוד נתונים, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:

• כדי ליצור צינורות עיבוד נתונים: יוצר קוד (roles/dataform.codeCreator) בפרויקט
• כדי לערוך ולהריץ צינורות עיבוד נתונים: עריכה ב-Dataform (roles/dataform.editor) בפרויקט
• כדי ליצור צינורות עיבוד נתונים בתיקיות של משתמשים:
  • יצירת קוד (roles/dataform.codeCreator) בפרויקט
  • בעלי הקוד (roles/dataform.codeOwner) בתיקייה
  • עריכת קוד (roles/dataform.codeEditor) בתיקייה
• כדי ליצור צינורות נתונים בתיקיות של צוותים:
  • בעל הרשאת עריכה בתיקיית צוות (roles/dataform.teamFolderContributor) בתיקיית הצוות
  • בעלים של תיקיית צוות (roles/dataform.teamFolderOwner) בתיקיית הצוות
• כדי לקשר מאגר Git לתיקיות Git: משתמש OAuth של Developer Connect (roles/developerconnect.oauthUser) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

למידע נוסף על IAM ב-Dataform, קראו את המאמר בקרת גישה באמצעות IAM.

איך יוצרים ומנהלים תיקיות?

מידע נוסף על תפקידים במאגרי Git זמין במאמר ניהול קוד באמצעות מאגרי Git ב-BigQuery Studio.

הערה: כשיוצרים צינור עיבוד נתונים, BigQuery נותן לכם את התפקיד אדמין ב-Dataform (roles/dataform.admin) בצינור עיבוד הנתונים הזה. לכל המשתמשים עם התפקיד "אדמין ב-Dataform" בפרויקט Google Cloud יש גישת בעלים לכל צינורות עיבוד הנתונים שנוצרו בפרויקט. כדי לשנות את ההתנהגות הזו, קראו את המאמר הקצאת תפקיד ספציפי בזמן יצירת המשאב.

התפקידים הנדרשים לאפשרויות של Notebook

כדי לקבל את ההרשאות שנדרשות לבחירת תבנית של סביבת זמן ריצה באפשרויות של ה-Notebook, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד משתמש בסביבת זמן ריצה של Notebook (roles/aiplatform.notebookRuntimeUser) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

אם אין לכם את התפקיד הזה, אתם יכולים לבחור את מפרט סביבת זמן הריצה של Notebook שמוגדר כברירת מחדל.

שיקולי אבטחה בצינורות עיבוד נתונים

נכסי הקוד ב-BigQuery מופעלים על ידי Dataform, לכן חשוב להביא בחשבון את ההשלכות הבאות על האבטחה של משתמשים שיש להם גישה לנכסים האלה:

• ההרשאות של Dataform ברמת הפרויקט קובעות את הרשאות הצפייה בנכסי הקוד. משתמשים עם ההרשאה dataform.repositories.list – שכלולה בתפקידים הרגילים של BigQuery כמו BigQuery Job User,‏ BigQuery Studio User ו-BigQuery User – יכולים לראות את כל נכסי הקוד בחלונית Explorer של הפרויקט ב- Google Cloud , גם אם הם לא יצרו את הנכסים האלה או שהנכסים האלה לא שותפו איתם. כדי להגביל את החשיפה, אתם יכולים ליצור תפקידים בהתאמה אישית שלא כוללים את ההרשאה dataform.repositories.list.
• משתמשים שיכולים לערוך את הנכסים האלה יכולים לגשת לכל הסודות ששותפו עם סוכן השירות של Dataform. כדי לאבטח את פרטי הכניסה, הגבילו את הגישה ליצירה ולעריכה למשתמשים מהימנים, והגבילו את הגישה של סוכן השירות של Dataform לסודות. מידע נוסף זמין במאמר גישה לסודות במהלך התקנת חבילה.

מידע נוסף זמין במאמר שיקולי אבטחה להרשאות ב-Dataform.

הגדרת אזור ברירת המחדל לנכסי קוד

כל נכסי הקוד החדשים בפרויקט Google Cloud משתמשים באזור ברירת המחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.

חשוב: אם משנים את האזור בזמן שיוצרים נכס קוד, האזור הזה הופך לברירת המחדל של כל נכסי הקוד הבאים. נכסי הקוד הקיימים לא מושפעים.

כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Files כדי לפתוח את דפדפן הקבצים:

   

3. ליד שם הפרויקט, לוחצים על View files panel actions > Switch code region.

4. בוחרים את אזור הקוד שרוצים להשתמש בו כברירת מחדל.

5. לוחצים על Save.

רשימת האזורים הנתמכים ב-BigQuery Studio

יצירת פייפליין

אפשר ליצור ולשמור צינורות עיבוד נתונים בדרכים הבאות:

• בתיקיות: ארגון צינורות עיבוד נתונים בתוך תיקיות אישיות או תיקיות של צוותים בחלונית Files ב-BigQuery Studio.
• בתיקיות Git ב-BigQuery Studio (גרסת טרום-השקה (Preview)): מארחים, מנהלים גרסאות ומנהלים כמה צינורות עיבוד נתונים עצמאיים או צינורות עיבוד נתונים ברמת הבסיס בתוך תיקייה עם מאגר Git שמחובר באמצעות Developer Connect.
• מסרגל הכרטיסיות של עורך השאילתות: יוצרים צינור עיבוד נתונים מהתפריט + בעורך השאילתות.
• מהדף Pipelines & Connections (גרסת טרום-השקה (Preview)): יוצרים צינור עיבוד נתונים באמצעות תהליך עבודה יעיל וספציפי ל-BigQuery.

יצירת צינור עיבוד נתונים בתיקייה

אתם יכולים ליצור ולארגן צינורות עיבוד נתונים ישירות בתיקיות המשתמשים האישיות או בתיקיות הצוות המשותפות ב-BigQuery Studio. איך מארגנים נכסי קוד בתיקיות

כדי ליצור צינור עיבוד נתונים בתיקייה:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Files כדי לפתוח את דפדפן הקבצים.

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. כדי ליצור צינור עיבוד נתונים, מבצעים אחת מהפעולות הבאות:

   • בוחרים את תיקיית המשתמש או את תיקיית הצוות שבה רוצים למקם את צינור עיבוד הנתונים, לוחצים על הכפתור + (יצירה) בסרגל הכלים ובוחרים באפשרות Pipeline.
   • בעץ הקבצים, לוחצים על הצגת פעולות לצד שם התיקייה, ובוחרים באפשרות יצירה > צינור עיבוד נתונים.
   • פותחים תיקייה כדי להציג את התוכן שלה בחלונית הראשית, ולוחצים על Create Pipeline.

4. בתיבת הדו-שיח ליצירת צינור עיבוד נתונים, נותנים לו שם.

5. לוחצים על יצירה. תיקיית צינור עיבוד נתונים חדשה מופיעה בעץ הקבצים עם הסמל Pipeline.

6. לוחצים על תיקיית הצינור כדי לפתוח את Pipeline Viewer, ואז קובעים את הגדרות הצינור.

יצירת צינור עיבוד נתונים במאגר Git

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, אפשר לשלוח אימייל לכתובת [e-mail].

אתם יכולים ליצור ולנהל צינורות עיבוד נתונים ישירות בתיקיות שמשולבות ב-Git ב-BigQuery Studio. תיקיית Git מייצגת מאגר מרוחק של GitHub או GitLab שמחובר ל-BigQuery Studio באמצעות Developer Connect. אתם יכולים לארח ולארגן כמה צינורות עיבוד נתונים נפרדים במאגר Git אחד. צינורות עיבוד נתונים של מאגר Git תומכים בפריסות של Dataform לתזמון, להגדרות של גרסאות ולתזמור של כמה סביבות.

כדי ליצור צינור עיבוד נתונים בתיקיית Git:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. אם עדיין לא קישרתם את מאגר ה-Git, צרו וקשרו מאגר Git ב-BigQuery Studio.

3. בחלונית השמאלית, לוחצים על Files כדי לפתוח את דפדפן הקבצים.

4. בעץ הקבצים, מאתרים את התיקייה של מאגר Git המקושר או ספרייה בתוך התיקייה.

5. לוחצים על הצגת פעולות לצד שם התיקייה, ובוחרים באפשרות יצירה > צינור עיבוד נתונים.

6. בתיבת הדו-שיח, מזינים את שם צינור עיבוד הנתונים ולוחצים על Save.

   נוצרת ספריית צינור עיבוד נתונים חדשה, שמאותחלת עם קובצי ברירת המחדל:

   • ‫workflow_settings.yaml: הגדרת צינור עיבוד הנתונים.
   • ‫definitions/actions.yaml: הגדרות ריקות של משימות.

7. לוחצים על ספריית צינור עיבוד הנתונים בדפדפן הקבצים כדי לפתוח את Pipeline Viewer.

הערה: אם מאגר Git המרוחק מכיל את הגדרת צינור עיבוד הנתונים (workflow_settings.yaml) בתיקיית השורש של המאגר, BigQuery Studio מזהה באופן אוטומטי את המאגר כצינור עיבוד נתונים ברמת השורש.בתיקיית מאגר Git עצמה מוצג הסמל צינור עיבוד נתונים. כשלוחצים על התיקייה של מאגר Git, נפתח Pipeline Viewer ומוצג ה-DAG שעבר הידור לכל המאגר. אין צורך ליצור ספריית צינור עיבוד נתונים בתצוגת עץ.

יצירת צינור עיבוד נתונים מסרגל הכרטיסיות של העורך

כדי ליצור צינור עיבוד נתונים מסרגל הכרטיסיות של הכלי לעריכה, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ לצד הסימן + ואז על Pipeline.

3. אופציונלי: כדי לשנות את שם הצינור, לוחצים על שם הצינור ומקלידים שם חדש.

4. קובעים את הגדרות צינור עיבוד הנתונים.

יצירת פייפליין מהדף "חיבורים וצינורות עיבוד נתונים"

אתם יכולים להשתמש בדף Pipelines & Connections של BigQuery במסוף Google Cloud כדי ליצור צינור עיבוד נתונים ב-Dataform שמשתמש בתהליך עבודה יעיל וספציפי ל-BigQuery. התכונה הזו נמצאת בגרסת טרום-השקה (Preview).

הוראות ליצירת צינור עיבוד נתונים מהדף Pipelines & Connections ב-BigQuery מפורטות במאמר יצירת נכס של שילוב נתונים.

קביעת הגדרות של צינור עיבוד נתונים

כדי לקבוע את ההגדרות של צינור עיבוד הנתונים, פותחים את צינור עיבוד הנתונים ב-Pipeline Viewer, לוחצים על הכרטיסייה Settings וקובעים את ההגדרות בקטעים הבאים:

1. בקטע Authentication, בוחרים אם לאשר את צינור עיבוד הנתונים באמצעות פרטי הכניסה של המשתמש לחשבון Google או באמצעות חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Run with my user credentials.

     אופציונלי: בקטע Extended access options, בוחרים את השירותים הנוספים שנדרשים לצינור עיבוד הנתונים:

     • ‫Knowledge Catalog: מאפשר עדכוני מטא-נתונים של Google Cloud Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקריאה בלבד לקבצים ב-Google Drive.

     • ‫Bigtable: הרשאת קריאה בלבד לנתונים ב-Google Bigtable.

       הערה: אי אפשר לאמת הפעלות מבוססות-API באמצעות פרטי כניסה של משתמשים. כדי להריץ את כל המשימות בצינור עיבוד נתונים באמצעות Dataform API, צריך להגדיר את צינור עיבוד הנתונים כך שישתמש בחשבון שירות.

   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Run with selected service account ואז בוחרים חשבון שירות. אם אתם צריכים ליצור חשבון שירות, לחצו על New service account.

2. בקטע Processing location, בוחרים מיקום לעיבוד של צינור עיבוד הנתונים.

   • כדי להפעיל את הבחירה האוטומטית של מיקום, בוחרים באפשרות המיקום ייבחר אוטומטית. האפשרות הזו בוחרת מיקום על סמך מערכי הנתונים שאליהם מפנה הבקשה. תהליך הבחירה הוא:

     • אם השאילתה מפנה למערכי נתונים מאותו מיקום, BigQuery משתמש במיקום הזה.
     • אם השאילתה מפנה למערכי נתונים משני מיקומים שונים או יותר, תתרחש שגיאה. לפרטים נוספים על המגבלה הזו, קראו את המאמר שכפול של מערכי נתונים באזורים שונים.
     • אם השאילתה לא מפנה למערכי נתונים, BigQuery משתמש כברירת מחדל במיקום במספר אזורים US.

   • כדי לבחור אזור ספציפי, בוחרים באפשרות Region ואז בוחרים אזור בתפריט Region. לחלופין, אתם יכולים להשתמש במשתנה המערכת @@location בשאילתה. מידע נוסף זמין במאמר ציון מיקומים.

   • כדי לבחור מספר אזורים, לוחצים על Multi-region ובוחרים מספר אזורים בתפריט Multi-region.

   מיקום העיבוד של צינור עיבוד הנתונים לא חייב להיות זהה למיקום האחסון שמוגדר כברירת מחדל לנכסי הקוד.

אפשרויות SQLX

כדי לקבוע את הגדרות ה-SQLX של צינור עיבוד הנתונים, בקטע SQLX options:

1. בשדה Default project, מזינים את השם של פרויקט קיים ב-Google Cloud . הערך הזה משמש ל-defaultProject בקובץ workflow_settings.yaml ול-defaultDatabase בקובץ dataform.json. פרויקט ברירת המחדל משמש את המשימות בצינור עיבוד הנתונים במהלך ההפעלה שלהן.

   הערה: שם הפרויקט לא מאומת, כך שאפשר להזין כל מחרוזת לא ריקה. אבל אם הפרויקט לא קיים, הפעלת הצינור תיכשל.

2. אופציונלי: בשדה Default dataset, מחפשים ובוחרים מערך נתונים קיים. רשימת מערכי הנתונים הזמינים מסוננת לפי הפרויקט ומיקום העיבוד שנבחרו. הערך הזה משמש ל-defaultDataset בקובץ workflow_settings.yaml. משימות בצינור עיבוד הנתונים משתמשות במערך הנתונים שמוגדר כברירת מחדל במהלך ההפעלה שלהן.

   הערה: אם מגדירים את מערך הנתונים שמוגדר כברירת מחדל ואז משנים את האזור של צינור עיבוד הנתונים, הבחירה במערך הנתונים מתבטלת. שינוי הפרויקט יכול גם לגרום לכך שקבוצת הנתונים שנבחרה לא תהיה תקינה. אם מערך נתונים מסוים לא קיים בפרויקט שנבחר, הוא נוצר.

אפשרויות של Notebook

כדי להוסיף Notebook לצינור עיבוד הנתונים, מבצעים את הפעולות הבאות בקטע Notebook options:

1. בשדה Runtime template, מאשרים את סביבת זמן הריצה שמוגדרת כברירת מחדל ל-Notebook, או מחפשים ובוחרים סביבת זמן ריצה קיימת.

   • כדי להציג את המפרט של סביבת זמן הריצה שמוגדרת כברירת מחדל, לוחצים על החץ שליד.
   • כדי ליצור סביבת זמן ריצה חדשה, קראו את המאמר יצירת תבנית של סביבת זמן ריצה.
   הערה: תבנית זמן הריצה של ה-Notebook צריכה להיות באותו אזור של הצינור שבו היא צוינה.
   הערה: אם משתמשים בזמן הריצה שמוגדר כברירת מחדל ל-Notebook בצינור BigQuery, אי אפשר לשנות את הרשת של מכונת זמן הריצה של Gemini Enterprise Agent Platform. סביבת זמן הריצה מוגבלת לרשת ברירת המחדל, ואי אפשר לבחור רשת אחרת. אם משתמשים בתבנית של סביבת זמן ריצה בהתאמה אישית, סביבת זמן הריצה משתמשת ברשת וברשת המשנה שהוגדרו בתבנית. אם בפרויקט שלכם נאכפת מדיניות הארגון compute.requireShieldedVm, ודאו שבתבנית של סביבת זמן הריצה בהתאמה אישית מופעל האתחול המאובטח כדי למנוע כשלים ביצירת מכונות וירטואליות.

2. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage לאחסון הפלט של ה-notebooks ב-pipeline.

3. פועלים לפי השלבים שמפורטים במאמר הוספת חשבון משתמש למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות המותאם אישית של Dataform כחשבון משתמש לקטגוריה של Cloud Storage שבה אתם מתכננים להשתמש לאחסון הפלט של הפעלות מתוזמנות של צינורות עיבוד נתונים, ומעניקים לחשבון המשתמש הזה את התפקיד אדמין של Storage (roles/storage.admin).

   לחשבון השירות המותאם אישית של Dataform שנבחר צריך להיות תפקיד האדמין של Storage ב-IAM בקטגוריה שנבחרה.

הוספת משימה לצינור עיבוד נתונים

אפשר להוסיף כמה משימות לצינור עיבוד נתונים שמריץ נכסי קוד ברצף מסוים.

נכסי הקוד שנתמכים בצינורות עיבוד נתונים כוללים:

• שאילתות SQL
• קובצי Notebook
• תהליכי הכנת נתונים
• טבלאות ותצוגות (משימות SQLX)

מוסכמות למתן שמות למשימות

כשנותנים שם למשימה בצינור עיבוד נתונים, צריך לפעול לפי המוסכמות הבאות למתן שמות:

• שמות של משימות יכולים להכיל רק אותיות (a-z,‏ A-Z), מספרים (0-9), קווים תחתונים (_) ומקפים (-).
• שמות של משימות חייבים להתחיל באות, במספר או בקו תחתון.
• אסור להשתמש בנקודות (.) בשמות של משימות. כשנותנים שם למשימה או משנים את השם שלה, לא כוללים סיומות קבצים כמו .sql או .py. אם שם המשימה מכיל נקודה, הלחצן Run מושבת.
• שמות של משימות יכולים להכיל תווים באורך כולל של עד 1,024 בייטים בקידוד UTF-8.
• שמות המשימות חייבים להיות ייחודיים בתוך מאגר הצינור.
• שמות המשימות תלויי אותיות רישיות.

הוספת משימה

כדי להוסיף משימה לצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. כדי להוסיף נכס קוד, בוחרים באחת מהאפשרויות הבאות:

שאילתת SQL

אתם יכולים ליצור שאילתה חדשה או לייבא שאילתה קיימת.

1. מבצעים אחת מהפעולות הבאות:

   • לוחצים על Add task ובוחרים באפשרות Query. אתם יכולים ליצור שאילתה חדשה או לייבא שאילתה קיימת.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים לחיצה ימנית על תיקיית צינור עיבוד הנתונים בחלונית Files ובוחרים באפשרות Create Query.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים על הכפתור Add task ב-Pipeline Viewer.

2. אופציונלי: בחלונית Query task details, בתפריט Run after, בוחרים משימה שתתבצע לפני השאילתה.

יצירת שאילתה חדשה

1. לוחצים על תפריט החץ לצד Edit Query ובוחרים באפשרות In context או In new tab.

2. מחפשים שאילתה קיימת.

3. בוחרים שם של שאילתה ולוחצים על Enter.

4. לוחצים על Save.

5. אופציונלי: כדי לשנות את שם השאילתה, לוחצים על שם השאילתה בחלונית צינור עיבוד הנתונים, לוחצים על Edit Query, לוחצים על שם השאילתה הקיים בחלק העליון של המסך ומקלידים שם חדש.

ייבוא של שאילתה קיימת

1. לוחצים על תפריט החץ לצד Edit Query ואז על Import a copy.

2. מחפשים שאילתה קיימת לייבוא או בוחרים שאילתה קיימת מחלונית החיפוש. כשמייבאים שאילתה, המקור לא משתנה כי קובץ המקור של השאילתה מועתק לצינור עיבוד הנתונים.

3. לוחצים על עריכה כדי לפתוח את השאילתה המיובאת.

4. לוחצים על Save.

Notebook

אתם יכולים ליצור תיקיית Notebook חדשה או לייבא תיקייה קיימת. כדי לשנות את ההגדרות של תבניות זמן הריצה של Notebook, קראו את המאמר אפשרויות Notebook.

1. מבצעים אחת מהפעולות הבאות:

   • לוחצים על הוספת משימה ובוחרים באפשרות Notebook.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים לחיצה ימנית על תיקיית צינור עיבוד הנתונים בחלונית Files ובוחרים באפשרות Create Notebook.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים על הכפתור Add task ב-Pipeline Viewer.

   1. אופציונלי: בחלונית Notebook task details, בתפריט Run after, בוחרים משימה שתתבצע לפני ה-Notebook.

   יצירת תיקיית Notebook חדשה

2. לוחצים על תפריט החץ לצד עריכת Notebook ובוחרים באפשרות בהקשר או בכרטיסייה חדשה.

3. מחפשים תיקייה קיימת.

4. בוחרים שם של תיקיית Notebook ולוחצים על Enter.

5. לוחצים על Save.

6. אופציונלי: כדי לשנות את שם ה-notebook, לוחצים על שם ה-notebook בחלונית הצינור, לוחצים על Edit Notebook, לוחצים על שם ה-notebook הקיים בחלק העליון של המסך ומקלידים שם חדש.

ייבוא של תיקיית Notebook קיימת

1. לוחצים על תפריט החץ לצד Edit Notebook ואז על Import a copy.

2. מחפשים תיקיית Notebook קיימת לייבוא או בוחרים תיקיית Notebook קיימת מחלונית החיפוש. כשמייבאים קובץ notebook, הקובץ המקורי לא משתנה כי קובץ המקור של ה-notebook מועתק ל-pipeline.

3. כדי לפתוח את ה-notebook המיובא, לוחצים על Edit.

4. לוחצים על Save.

תהליך הכנת נתונים

אתם יכולים ליצור הכנת נתונים חדשה או לייבא הכנת נתונים קיימת.

1. מבצעים אחת מהפעולות הבאות:

   • לוחצים על Add task ובוחרים באפשרות Data preparation.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים לחיצה ימנית על תיקיית צינור עיבוד הנתונים בחלונית Files ובוחרים באפשרות Create Data preparation.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים על הכפתור Add task ב-Pipeline Viewer.

2. אופציונלי: בחלונית Data preparation task details, בתפריט Run after, בוחרים משימה שתתבצע לפני הכנת הנתונים.

יצירת הכנת נתונים חדשה

1. לוחצים על תפריט החץ ליד Edit Data preparation ובוחרים באפשרות In context או In new tab.

2. מחפשים תהליך קיים להכנת נתונים.

3. בוחרים שם להכנת הנתונים ולוחצים על Enter.

4. לוחצים על Save.

5. אופציונלי: כדי לשנות את השם של הכנת הנתונים, לוחצים על השם של הכנת הנתונים בחלונית צינור עיבוד הנתונים, לוחצים על Edit Data preparation, לוחצים על השם בחלק העליון של המסך ומזינים שם חדש.

ייבוא של הכנת נתונים קיימת

1. לוחצים על החץ של התפריט הנפתח ליד Edit Data preparation ואז על Import a copy.

2. מחפשים הכנת נתונים קיימת לייבוא או בוחרים הכנת נתונים קיימת מחלונית החיפוש. כשמייבאים הכנת נתונים, המקור נשאר ללא שינוי כי קובץ המקור של הכנת הנתונים מועתק לצינור עיבוד הנתונים.

3. כדי לפתוח את הכנת הנתונים המיובאים, לוחצים על עריכה.

4. לוחצים על Save.

טבלה

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לבקש תמיכה, אפשר לפנות לכתובת [e-mail].

1. מבצעים אחת מהפעולות הבאות:

• לוחצים על הוספת משימה ובוחרים באפשרות טבלה.

• כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים לחיצה ימנית על תיקיית צינור עיבוד הנתונים בחלונית Files ובוחרים באפשרות Create Table.

• כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים על הכפתור Add task ב-Pipeline Viewer.

1. בחלונית Create new, בוחרים באפשרות Table או Incremental table.

2. מוודאים שפרויקט ברירת המחדל של הטבלה נכון, או בוחרים פרויקט חדש.

3. בודקים את קבוצת הנתונים שמוגדרת כברירת מחדל לטבלה, או בוחרים קבוצת נתונים חדשה.

4. נותנים שם לטבלה.

5. בחלונית פרטי המשימה בטבלה, לוחצים על פתיחה כדי לפתוח את המשימה.

6. מגדירים את המשימה באמצעות ההגדרות בקטע Details > Configuration או בבלוק config של עורך הקוד של הטבלה.

כדי לשנות מטא-נתונים, משתמשים בכרטיסייה הגדרה. בכרטיסייה הזו אפשר לערוך ערך ספציפי בבלוק config מעורך הקוד, כמו מחרוזת או מערך, בפורמט של אובייקט ב-JavaScript. השימוש בכרטיסייה הזו עוזר למנוע שגיאות תחביר ולוודא שההגדרות נכונות.

אופציונלי: בתפריט Run after, בוחרים משימה שתתבצע לפני הטבלה.

אפשר גם להגדיר את המטא-נתונים של משימת הצינור בבלוק config בעורך. מידע נוסף זמין במאמר יצירת טבלאות.

העורך מאמת את הקוד ומציג את סטטוס האימות.

הערה: כשמשתמשים בפונקציות JavaScript כערכים בבלוק config, אי אפשר לערוך את פונקציות ה-JavaScript בכרטיסייה Configuration.

1. משתמשים במפתח metadata כדי לציין מידע ל-Knowledge Catalog. תהליך ההעשרה הזה תומך במבני המטא-נתונים הבאים:

• סקירה כללית: מסמכי תיעוד וטקסט סיכום של הרשומה.
• היבטים גנריים: פרטים סמנטיים כמו מערכת הטבלאות ומידע על הסוג.

בדוגמה הבאה מוצג איך להוסיף סקירה כללית והיבטים גנריים של מטא-נתונים להגדרת טבלה ב-Knowledge Catalog:

       ```javascript
       config {
       type: "table",
       metadata: {
          overview: "This table provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "fact table"
             }
             }
       }
       }
       ```

1. בקטע Details > Compiled queries, בודקים את ה-SQL שעבר הידור מקוד ה-SQLX.

2. לוחצים על Run כדי להריץ את ה-SQL בצינור עיבוד הנתונים.

3. בקטע Query results, בודקים את התצוגה המקדימה של הנתונים.

הצגה

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לשלוח משוב או לבקש תמיכה, אפשר לפנות לכתובת [e-mail].

1. מבצעים אחת מהפעולות הבאות:

   • לוחצים על הוספת משימה ואז על הצגה.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים לחיצה ימנית על תיקיית צינור עיבוד הנתונים בחלונית Files ובוחרים באפשרות Create View.

   • כשעובדים עם צינורות עיבוד נתונים בתיקיות או בתיקיות Git, לוחצים על הכפתור Add task ב-Pipeline Viewer.

2. בחלונית Create new, בוחרים באפשרות View או Materialized view.

3. מוודאים שזה פרויקט ברירת המחדל של התצוגה, או בוחרים פרויקט חדש.

4. בודקים את קבוצת הנתונים שמוגדרת כברירת מחדל לתצוגה, או בוחרים קבוצת נתונים חדשה.

5. נותנים שם לתצוגה.

6. בחלונית פרטי המשימה, לוחצים על פתיחה כדי לפתוח את המשימה.

7. מגדירים את המשימה באמצעות ההגדרות בקטע Details > Configuration או בבלוק config של עורך הקוד של התצוגה.

כדי לשנות מטא-נתונים, משתמשים בכרטיסייה הגדרה. בכרטיסייה הזו אפשר לערוך ערך ספציפי בבלוק config מעורך הקוד, כמו מחרוזת או מערך, בפורמט של אובייקט ב-JavaScript. השימוש בכרטיסייה הזו עוזר למנוע שגיאות תחביר ולוודא שההגדרות נכונות.

אופציונלי: בתפריט Run after, בוחרים משימה שתתבצע לפני התצוגה.

אפשר גם להגדיר את המטא-נתונים של משימת הצינור בבלוק config בעורך. מידע נוסף זמין במאמר יצירת תצוגה באמצעות ליבת Dataform.

העורך מאמת את הקוד ומציג את סטטוס האימות.

הערה: כשמשתמשים בפונקציות JavaScript כערכים בבלוק config, אי אפשר לערוך את פונקציות ה-JavaScript בכרטיסייה Configuration.

1. משתמשים במפתח metadata כדי לציין מידע ל-Knowledge Catalog. תהליך ההעשרה הזה תומך במבני המטא-נתונים הבאים:

• סקירה כללית: מסמכי תיעוד וטקסט סיכום של הרשומה.
• היבטים גנריים: פרטים סמנטיים כמו מערכת הטבלאות ומידע על הסוג.

בדוגמה הבאה מוצג איך להוסיף סקירה כללית והיבטים גנריים של מטא-נתונים להגדרת טבלה ב-Knowledge Catalog:

       ```javascript
       config {
       type: "view",
       metadata: {
          overview: "This view provides standardized trip data.",
          extraProperties: {
             generic: {
                   system: "BigQuery",
                   type: "view"
             }
             }
       }
       }
       ```

1. בקטע Details > Compiled queries, בודקים את ה-SQL שעבר הידור מקוד ה-SQLX.

2. לוחצים על Run כדי להריץ את ה-SQL בצינור עיבוד הנתונים.

3. בקטע Query results, בודקים את התצוגה המקדימה של הנתונים.

הצהרה על המקור

1. לוחצים על הוספת משימה ובוחרים באפשרות הצהרה על מקור.

2. בחלונית Declare source, מוודאים שפרויקט ברירת המחדל הוא הפרויקט שבו נמצא מקור הנתונים, או בוחרים פרויקט חדש.

3. מוודאים שמערך הנתונים שמוגדר כברירת מחדל למקור הנתונים הוא הנכון, או בוחרים מערך נתונים חדש.

4. בשדה Table / View, בוחרים את הטבלה או התצוגה שבה רוצים להשתמש כמקור נתונים.

5. לוחצים על יצירה.

6. בחלונית הפרטים של המשימה "הצהרה על מקור", לוחצים על פתיחה כדי לפתוח את המשימה.

7. מגדירים את מקור הנתונים באמצעות ההגדרות בקטע Details > Configuration או בבלוק config של עורך הקוד.

   מידע נוסף על הגדרת מקור נתונים זמין במאמר הצהרה על מקור נתונים.

   העורך מאמת את הקוד ומציג את סטטוס האימות.

בדיקת נתוני טענת נכוֹנוּת (assertion)

1. לוחצים על הוספת משימה ובוחרים באפשרות בדיקת איכות הנתונים.

2. בחלונית Create new, מוודאים שזה הפרויקט שרוצים להריץ בו את בדיקת איכות הנתונים, או בוחרים פרויקט אחר.

3. מאמתים את מערך הנתונים שמוגדר כברירת מחדל לבדיקת איכות הנתונים, או בוחרים מערך נתונים חדש.

4. בשדה Table, מזינים שם לבדיקת איכות הנתונים.

5. לוחצים על יצירה.

6. בחלונית הפרטים של משימת בדיקת איכות הנתונים, לוחצים על Open כדי לפתוח את המשימה.

7. מגדירים טענות נכונות (assertions) לבדיקה באמצעות ההגדרות בקטע Details> Configuration או בבלוק config של עורך הקוד.

   מידע נוסף על הגדרת טענות נכונות (assertions) זמין במאמר בדיקת איכות הנתונים.

   אופציונלי: בתפריט Run after, בוחרים משימה שתתבצע לפני בדיקת איכות הנתונים ברצף של צינור עיבוד הנתונים.

   העורך מאמת את הקוד ומציג את סטטוס האימות.

8. לוחצים על Run כדי להריץ את בדיקת איכות הנתונים כחלק מרצף הצינור.

בדיקת יחידה

1. לוחצים על Add task ובוחרים באפשרות Unit test.

2. בשדה Action to test, בוחרים את הטבלה או התצוגה שרוצים לבדוק.

3. בשדה BigQuery Unit test, מזינים שם לבדיקת היחידה.

4. לוחצים על יצירה.

5. בחלונית פרטי המשימה, לוחצים על Open כדי לפתוח את בדיקת היחידה.

6. מגדירים את מקורות הקלט ואת שורות הפלט הצפויות לבדיקת היחידה.

   מידע נוסף על הגדרת בדיקות יחידה זמין במאמר בדיקת איכות הנתונים.

7. אופציונלי: כדי לוודא שהקלט והפלט הם מה שציפיתם, לוחצים על Run task ובוחרים הצהרות צפויות או בפועל.

8. לוחצים על Run כדי להריץ את בדיקת איכות הנתונים כחלק מרצף הצינור.

עריכת משימה ב-pipeline

כדי לערוך משימה בצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על המשימה שנבחרה.

5. כדי לשנות את המשימה הקודמת, בתפריט Run after בוחרים משימה שתתבצע לפני המשימה שלכם.

6. כדי לערוך את התוכן של המשימה שנבחרה, לוחצים על עריכה.

7. בכרטיסייה החדשה שנפתחת, עורכים את תוכן המשימה ושומרים את השינויים.

מחיקת משימה בצינור עיבוד נתונים

כדי למחוק משימה מצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על המשימה שנבחרה.

5. בחלונית Task details, לוחצים על Delete Delete.

שיתוף של פייפליין

חשוב: אם משפרים את האבטחה על ידי הגדרת השדה enable_private_workspace (גרסת טרום-השקה (Preview)) לערך true בשיטה projects.locations.updateConfig של Dataform API, רק יוצר צינור עיבוד הנתונים יכול לקרוא ולכתוב קוד בצינור עיבוד הנתונים הזה. מידע נוסף זמין במאמר הפעלת סביבות עבודה פרטיות.

הערה: אפשר לשתף צינור עיבוד נתונים, אבל לא משימה בתוך צינור עיבוד הנתונים.

כדי לשתף צינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על שיתוף ואז על ניהול הרשאות.

5. לוחצים על הוספת משתמש/קבוצה.

6. בשדה New principals, מזינים את השם של משתמש או קבוצה אחת לפחות.

7. בקטע Assign Roles, בוחרים תפקיד.

8. לוחצים על Save.

שיתוף קישור לצינור עיבוד נתונים

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על שיתוף ואז על שיתוף הקישור. כתובת ה-URL של צינור עיבוד הנתונים מועתקת ללוח של המחשב.

הפעלת צינור עיבוד נתונים

כשמריצים צינור עיבוד נתונים, אפשר לבחור להריץ את כל המשימות בצינור עיבוד הנתונים, לבחור ידנית משימות ספציפיות להרצה, להריץ משימות עם תגים נבחרים או להריץ בדיקות יחידה.

הרצת כל המשימות בצינור עיבוד נתונים

כדי להריץ ידנית את הגרסה הנוכחית של צינור עיבוד נתונים, בוחרים באחת מהאפשרויות הבאות:

המסוף

כדי להריץ את כל המשימות בצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על  הפעלה > הפעלת כל המשימות. אם בחרתם באפשרות Run with my user credentials בשביל האימות, אתם צריכים לאשר את חשבון Google.

5. אופציונלי: כדי לבדוק את ההרצה, צופים בהרצות ידניות קודמות.

API

הערה: ב-Dataform API אי אפשר להשתמש בפרטי כניסה של משתמשים כדי להריץ צינורות עיבוד נתונים. כדי להשתמש ב-API, צריך לבחור חשבון שירות בקטע Authentication בהגדרות של צינור עיבוד הנתונים.

כדי להריץ צינור עיבוד נתונים באופן ידני, צריך להדר את סביבת העבודה שמוגדרת כברירת מחדל ולהשתמש בתוצאת ההידור כדי ליצור הפעלה של תהליך עבודה.

1. כדי ליצור תוצאת הידור לסביבת העבודה שמוגדרת כברירת מחדל, משתמשים בשיטה projects.locations.repositories.compilationResults.create.

   מריצים את בקשת ה-API עם הפרטים הבאים:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/default"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫LOCATION: האזור של המאגר ב- Google Cloud , לדוגמה us-central1. כדי למצוא את מיקום המאגר במסוף Google Cloud , עוברים לחלונית Explorer, בוחרים את צינור עיבוד הנתונים, פותחים את הכרטיסייה Settings ולוחצים על Open pipeline in Dataform. המיקום מופיע בכתובת ה-URL בפורמט /locations/LOCATION/.
   • ‫PROJECT_ID: המזהה הייחודי של הפרויקט ב-Google Cloud .
   • ‫REPOSITORY_ID: המזהה הייחודי של מאגר Dataform, לדוגמה my-secure-repo. כדי למצוא את מזהה המאגר במסוף Google Cloud , נכנסים לחלונית Explorer, בוחרים את צינור עיבוד הנתונים, פותחים את הכרטיסייה Settings ומעיינים בשדה Dataform repository ID.

2. בגוף התגובה, מאתרים את השדה name ומעתיקים את הערך שלו, לדוגמה projects/my-project/locations/us-central1/repositories/my-repo/compilationResults/12345-67890.

3. מפעילים את הרצת צינור עיבוד הנתונים באמצעות השיטה projects.locations.repositories.workflowInvocations.create.

   מריצים את בקשת ה-API עם הפרטים הבאים:

   curl -X POST \
      -H "Authorization: Bearer $(gcloud auth print-access-token)" \
      -H "Content-Type: application/json" \
      -d '{
         "compilationResult": "COMPILATION_RESULT"
      }' \
      "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫COMPILATION_RESULT: שם המשאב המלא של תוצאת ה-compilation שהעתקתם בשלב הקודם.
   • ‫LOCATION: האזור של המאגר ב- Google Cloud , לדוגמה us-central1.
   • ‫PROJECT_ID: המזהה הייחודי של הפרויקט ב-Google Cloud .
   • ‫REPOSITORY_ID: המזהה הייחודי של מאגר Dataform, לדוגמה my-secure-repo.

הרצת משימות נבחרות בצינור עיבוד נתונים

כדי להריץ משימות נבחרות בצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על  הפעלה > בחירת משימות להפעלה.

5. בחלונית Run, בקטע Authentication, מאשרים את ההרצה באמצעות פרטי הכניסה של המשתמש לחשבון Google או לחשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש לחשבון Google, בוחרים באפשרות Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Run with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט, שזמינה בתפקיד "צפייה בחשבונות שירות" (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, אתם יכולים לבחור את חשבון השירות על ידי לחיצה על Enter manually והזנת מזהה חשבון השירות.

     אם אתם צריכים ליצור חשבון שירות, לחצו על New service account.

6. מוודאים שהאפשרות בחירת משימות מסומנת.

7. בתפריט Select tasks to run, מחפשים משימות ספציפיות ובוחרים את המשימות שרוצים להריץ.

   בטבלה Tasks מפורטות המשימות שבחרתם. לוחצים על שם המשימה כדי לפתוח אותה ישירות בעורך ה-SQL.

8. אופציונלי: מגדירים את אפשרויות ההפעלה הבאות:

   • Include dependencies: בוחרים באפשרות הזו כדי להריץ את המשימות שנבחרו ואת יחסי התלות שלהן.
   • ‫Include dependents: בוחרים באפשרות הזו כדי להריץ את המשימות שנבחרו ואת המשימות התלויות בהן במורד הזרם.
   • Run with full refresh: בוחרים באפשרות הזו כדי לבנות מחדש את כל הטבלאות.
   • Run as interactive job with high priority (default): בוחרים באפשרות הזו כדי להגדיר את העדיפות של משימת השאילתה ב-BigQuery. כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שנועדו להתחיל לפעול במהירות האפשרית. אם לא בוחרים באפשרות הזו, השאילתות מופעלות כמשימות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

9. לוחצים על Run. אם בחרתם באפשרות Run with user credentials כשיטת האימות, אתם צריכים לאשר את חשבון Google (גרסת טרום-השקה (Preview)).

10. אופציונלי: כדי לבדוק את ההרצה, צופים בהרצות ידניות קודמות.

הרצת משימות עם תגים נבחרים בצינור עיבוד נתונים

כדי להריץ משימות עם תגים נבחרים בצינור עיבוד נתונים, מבצעים את הפעולות הבאות:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על  Run > Run by tag, ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על התג שרוצים להפעיל.
   • לוחצים על  בחירת תגים להפעלה.

5. בחלונית Run, בקטע Authentication, מאשרים את ההפעלה באמצעות פרטי הכניסה של המשתמש לחשבון Google או לחשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש לחשבון Google, בוחרים באפשרות Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Run with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט, שזמינה בתפקיד "צפייה בחשבונות שירות" (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, אתם יכולים לבחור את חשבון השירות על ידי לחיצה על Enter manually והזנת מזהה חשבון השירות.

     אם אתם צריכים ליצור חשבון שירות, לחצו על New service account.

6. מוודאים שהאפשרות בחירת תגים מסומנת.

7. בתפריט Select tags to run, מחפשים תגים ספציפיים ובוחרים את התגים שרוצים להפעיל.

   בטבלה Tasks מפורטות המשימות שבחרתם. לוחצים על שם המשימה כדי לפתוח אותה ישירות בעורך ה-SQL.

8. אופציונלי: מגדירים את אפשרויות ההפעלה הבאות:

   • Include dependencies: בוחרים באפשרות הזו כדי להריץ את המשימות שנבחרו ואת יחסי התלות שלהן.
   • ‫Include dependents: בוחרים באפשרות הזו כדי להריץ את המשימות שנבחרו ואת המשימות התלויות בהן במורד הזרם.
   • Run with full refresh: בוחרים באפשרות הזו כדי לבנות מחדש את כל הטבלאות.
   • Run as interactive job with high priority (default): בוחרים באפשרות הזו כדי להגדיר את העדיפות של משימת השאילתה ב-BigQuery. כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שנועדו להתחיל לפעול במהירות האפשרית. אם לא בוחרים באפשרות הזו, השאילתות מופעלות כמשימות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

9. לוחצים על Run. אם בחרתם באפשרות Run with user credentials כשיטת האימות, אתם צריכים לאשר את חשבון Google (גרסת טרום-השקה (Preview)).

10. אופציונלי: כדי לבדוק את ההרצה, צופים בהרצות ידניות קודמות.

הרצת בדיקות יחידה בצינור עיבוד נתונים

כדי להגדיר בדיקות יחידה ב-Dataform, יוצרים קובצי בדיקה מסוג .sqlx בספרייה definitions/ של המאגר. אחרי שיוצרים בדיקות יחידה ב-Dataform, אפשר להריץ אותן ישירות בצינור עיבוד הנתונים של BigQuery כדי לאמת את הלוגיקה של טרנספורמציית ה-SQL מול מערכי נתונים מדומים.

כדי להריץ בדיקות יחידה בצינור עיבוד נתונים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על  Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על  Expand left pane כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור עיבוד נתונים.

4. לוחצים על  הפעלה.

5. בחלונית Run, בקטע Authentication, מאשרים את ההרצה באמצעות פרטי הכניסה של המשתמש לחשבון Google או לחשבון שירות:

   • כדי להשתמש בפרטי הכניסה של המשתמש לחשבון Google (גרסת טרום-השקה (Preview)), בוחרים באפשרות Run with user credentials.

     Optional: In the **Extended access options** section, select the
     additional services that your pipeline requires:
     
     - **Knowledge Catalog**: Allows Google Cloud Knowledge Catalog metadata updates.
     - **Google Drive**: Allows read-only access to Google Drive files.
     - **Bigtable**: Allows read-only access to Google
       Bigtable data.
     

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Run with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט, שזמינה בתפקיד "הצגת חשבונות שירות" (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, אתם יכולים לבחור את חשבון השירות על ידי לחיצה על Enter manually והזנת מזהה חשבון השירות.

     אם אתם צריכים ליצור חשבון שירות, לחצו על New service account.

6. בקטע Execution mode, בוחרים באפשרות Unit tests.

7. בוחרים אחת מהאפשרויות הבאות להיקף ההרצה:

   • בחירת בדיקות יחידה: מחפשים ובוחרים בדיקות יחידה ספציפיות מהצינור שלכם.
   • בחירת תגי בדיקת יחידה: סינון והרצה של בדיקות יחידה שהוקצו להן תגים ספציפיים.
   • ‫All Unit Tests: הרצת כל בדיקות היחידה שהוגדרו בצינור עיבוד הנתונים.

8. אופציונלי: בקטע Execution options, מסמנים את התיבה Execute as interactive job with high priority כדי להריץ בדיקות יחידה באופן מיידי, תוך מתן עדיפות למהירות ההרצה.

   אם לא מסמנים את התיבה Execute as interactive job with high priority, כברירת מחדל Dataform מריץ בדיקות יחידה באמצעות משאבים באצווה, ונותן עדיפות לחיסכון בעלויות המחשוב.

9. לוחצים על Run. אם בחרתם באפשרות Run with user credentials כשיטת האימות, אתם צריכים לאשר את חשבון Google (גרסת טרום-השקה (Preview)).

10. אופציונלי: כדי לבדוק את ההרצה, צופים בהרצות ידניות קודמות.

אישור של חשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של חשבון Google, צריך לתת באופן ידני הרשאה לצינורות עיבוד הנתונים של BigQuery לקבל את אסימון הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לאשר ידנית באמצעות ממשק תיבת הדו-שיח של OAuth. אם בוחרים באחת מאפשרויות הגישה המורחבת, צריך לתת גישה לשירותים האלה, למשל Google Drive או Knowledge Catalog.

הערה: כללי מדיניות של בקרת גישה מבוססת-הקשר (CAA) – כולל כללי מדיניות שמבוססים על כתובת IP, על מיקום גיאוגרפי ועל תאימות מכשירים – לא נתמכים כשמפעילים או מתזמנים צינורות עיבוד נתונים של BigQuery עם פרטי כניסה של משתמש לחשבון Google, כי הבקשות לאסימונים מגיעות מהתשתית של Google. כללי המדיניות של CAA חוסמים את ההפעלות האלה, אלא אם מזהה הלקוח של Dataform ב-OAuth פטור מכללי המדיניות.

צריך לתת הרשאה לצינורות עיבוד הנתונים של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם, פועלים לפי השלבים הבאים:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה מונע הפעלות עתידיות של צינורות עיבוד נתונים שבבעלות חשבון Google הזה בכל האזורים.

אם צינור עיבוד הנתונים מכיל קובץ Notebook, צריך גם לתת באופן ידני הרשאה ל-Colab Enterprise לקבל את אסימון הגישה לחשבון Google שלכם ולגשת לנתוני המקור בשמכם. צריך לתת הרשאה רק פעם אחת. אתם יכולים לבטל את ההרשאה הזו בדף של חשבון Google.

המאמרים הבאים

• מידע נוסף על צינורות עיבוד נתונים ב-BigQuery
• איך מנהלים צינורות עיבוד נתונים
• איך מתזמנים צינורות עיבוד נתונים
• איך מנהלים קוד באמצעות מאגרי Git ב-BigQuery Studio
• איך מארגנים נכסי קוד בתיקיות
• איך בודקים את איכות הנתונים באמצעות בדיקות יחידה