שגרות מורשות

שגרות מורשות מאפשרות לכם לשתף תוצאות של שאילתות עם משתמשים או קבוצות ספציפיים, בלי לתת גישה ישירה לטבלאות הבסיסיות. לדוגמה, שגרה יכולה לחשב צבירות או לחפש ערך בטבלה ולהשתמש בערך הזה בחישוב.

כברירת מחדל, כדי להריץ שגרה, למשתמשים צריכה להיות גישת קריאה לנתונים שאליהם היא מפנה. לחלופין, אתם יכולים לאשר לשגרה לגשת ישירות לקבוצת הנתונים שמכילה אותה, וכך לאפשר למשתמשים להריץ את השגרה בלי הרשאות ברמת הטבלה. אתם יכולים לתת הרשאה לפונקציות טבלה, לפונקציות בהגדרת המשתמש (UDF) ולפרוצדורות מאוחסנות.

אישור תרחישים

כדי לאשר שגרה, משתמשים במסוף Google Cloud , בכלי שורת הפקודה של BigQuery או ב-API בארכיטקטורת REST:

המסוף

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בחלונית השמאלית, לוחצים על Explorer:

    כפתור מודגש לחלונית Explorer.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים קבוצת נתונים.

  4. בחלונית הפרטים, לוחצים על שיתוף > הרשאת שגרות.

  5. בדף Authorized routines, בקטע Authorize routine, בוחרים את Project,‏ Dataset ו-Routine של השגרה שרוצים להעניק לה הרשאה.

  6. לוחצים על הוספת הרשאה.

BQ

  1. משתמשים בפקודה bq show כדי לקבל את הייצוג ב-JSON של קבוצת הנתונים שאליה רוצים שהשגרה תיגש. הפלט של הפקודה הוא ייצוג JSON של המשאב Dataset. שומרים את התוצאה בקובץ מקומי.

    bq show --format=prettyjson TARGET_DATASET > dataset.json

    מחליפים את TARGET_DATASET בשם של מערך הנתונים שהשגרה יכולה לגשת אליו.

  2. עורכים את הקובץ כדי להוסיף את אובייקט ה-JSON הבא למערך access במשאב Dataset:

    {
 "routine": {
   "datasetId": "DATASET_NAME",
   "projectId": "PROJECT_ID",
   "routineId": "ROUTINE_NAME"
 }
}

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: שם קבוצת הנתונים שמכילה את התרחיש.
    • ‫PROJECT_ID: מזהה הפרויקט שמכיל את השגרה.
    • ‫ROUTINE_NAME: שם התרחיש.

  3. אופציונלי: אם אתם מאשרים פרוצדורה מאוחסנת, צריך לצרף תפקיד IAM. התפקיד הזה מגביל את הגישה לפרוצדורה המורשית על סמך ההרשאות שלו. כדי לעשות את זה, מוסיפים את "role" לאובייקט ה-JSON:

    {
 "role": "ROLE_NAME",
 "routine": {
   "datasetId": "DATASET_NAME",
   "projectId": "PROJECT_ID",
   "routineId": "ROUTINE_NAME"
 }
}

    מחליפים את ROLE_NAME בשם התפקיד שרוצים לצרף. אפשר להקצות את התפקידים הבאים לפרוצדורה מאוחסנת:

  4. משתמשים בפקודה bq update כדי לעדכן את מערך הנתונים:

    bq update --source dataset.json TARGET_DATASET

API

  1. מפעילים את ה-method‏ datasets.get כדי לאחזר את קבוצת הנתונים שאליה רוצים שהתרחיש ייגש. גוף התשובה מכיל ייצוג של המשאב Dataset.

  2. מוסיפים את אובייקט ה-JSON הבא למערך access במשאב Dataset:

    {
 "routine": {
   "datasetId": "DATASET_NAME",
   "projectId": "PROJECT_ID",
   "routineId": "ROUTINE_NAME"
 }
}

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫DATASET_NAME: שם קבוצת הנתונים שמכילה את ה-UDF.
    • ‫PROJECT_ID: מזהה הפרויקט שמכיל את הפונקציה המוגדרת על ידי המשתמש.
    • ‫ROUTINE_NAME: שם התרחיש.

  3. אופציונלי: אם אתם מאשרים פרוצדורה מאוחסנת, צרפו תפקיד IAM. התפקיד הזה מגביל את הגישה לפרוצדורה המורשית על סמך ההרשאות שלו. כדי לעשות את זה, מוסיפים את "role" לאובייקט ה-JSON:

    {
 "role": "ROLE_NAME",
 "routine": {
   "datasetId": "DATASET_NAME",
   "projectId": "PROJECT_ID",
   "routineId": "ROUTINE_NAME"
 }
}

    מחליפים את ROLE_NAME בשם התפקיד שרוצים לצרף. אפשר להקצות את התפקידים הבאים לפרוצדורה מאוחסנת:

  4. מפעילים את ה-method‏ dataset.update עם הייצוג של Dataset ששונה.

מכסות ומגבלות

שגרות מורשות כפופות למגבלות של מערך הנתונים. מידע נוסף זמין במאמר מגבלות של מערכי נתונים.

אם מעדכנים שגרה, פג התוקף של ההרשאה הקיימת שלה לשגרות מורשות. ‫BigQuery מסיר באופן אוטומטי רשומות הרשאה של שגרות מורשות לא עדכניות תוך 24 שעות. כדי לעדכן את הרשומות באופן מיידי, צריך למחוק אותן באופן ידני מהרשימה "Currently authorized routines" לפני שנותנים להן הרשאה מחדש.

מגבלות

אי אפשר ליצור שגרה מורשית ברפליקה משנית. מידע נוסף זמין במאמר התנהגות המשאבים ברפליקציה של מערכי נתונים.

דוגמה לשגרה מורשית

הדוגמה הבאה היא מקצה לקצה, ומראה איך יוצרים UDF מורשית ואיך משתמשים בה.

  1. יוצרים שני מערכי נתונים בשמות private_dataset ו-public_dataset. מידע נוסף על יצירת מערך נתונים זמין במאמר יצירת מערך נתונים.

  2. מריצים את ההצהרה הבאה כדי ליצור טבלה בשם private_table ב-private_dataset:

    CREATE OR REPLACE TABLE private_dataset.private_table
AS SELECT key FROM UNNEST(['key1', 'key1','key2','key3']) key;

  3. מריצים את ההצהרה הבאה כדי ליצור פונקציה מוגדרת-משתמש בשם count_key ב-public_dataset. ה-UDF כולל הצהרת SELECT ב-private_table.

    CREATE OR REPLACE FUNCTION public_dataset.count_key(input_key STRING)
RETURNS INT64
AS
((SELECT COUNT(1) FROM private_dataset.private_table t WHERE t.key = input_key));

  4. מקצים את התפקיד bigquery.dataViewer למשתמש במערך הנתונים public_dataset. התפקיד הזה כולל את ההרשאה bigquery.routines.get, שמאפשרת למשתמש להפעיל את השגרה. במאמר עבודה עם אמצעי בקרת גישה למערכי נתונים מוסבר איך להקצות אמצעי בקרת גישה למערך נתונים.

  5. בשלב הזה, למשתמש יש הרשאה להפעיל את השגרה count_key אבל אין לו גישה לטבלה ב-private_dataset. אם המשתמש ינסה להפעיל את השגרה, תופיע הודעת שגיאה דומה לזו:

    Access Denied: Table myproject:private_dataset.private_table: User does
not have permission to query table myproject:private_dataset.private_table.

  6. מריצים את הפקודה show באמצעות כלי שורת הפקודה של BigQuery, באופן הבא:

    bq show --format=prettyjson private_dataset > dataset.json

    הפלט נשמר בקובץ מקומי בשם dataset.json.

  7. עורכים את dataset.json כדי להוסיף את אובייקט ה-JSON הבא למערך access:

    {
 "routine": {
   "datasetId": "public_dataset",
   "projectId": "PROJECT_ID",
   "routineId": "count_key"
 }
}

    מחליפים את PROJECT_ID במזהה הפרויקט של public_dataset.

  8. מריצים את הפקודה update באמצעות כלי שורת הפקודה של BigQuery, באופן הבא:

    bq update --source dataset.json private_dataset

  9. כדי לוודא של-UDF יש גישה אל private_dataset, המשתמש יכול להריץ את השאילתה הבאה:

    SELECT public_dataset.count_key('key1');