הגדרת מערך נתונים ב-BigQuery

ב-Application Design Center אתם יכולים ליצור ולהגדיר מערכי נתונים ב-BigQuery לניתוח נתונים ארגוניים. הרכיבים והפרמטרים של מערך הנתונים מבוססים על המודול terraform-google-bigquery של Terraform ב-GitHub.

חיבורים של רכיבים

בטבלה הבאה מפורטים הרכיבים שאפשר לחבר למערך נתונים ב-BigQuery, והעדכונים שנובעים מכך באפליקציה ובקוד Terraform שנוצר.

רכיב מחובר עדכונים לאפליקציות מידע רקע

תבנית של הגדרות מכונה ב-Compute Engine

  • המכונות של Compute Engine יכולות לקרוא נתונים ממערך הנתונים ב-BigQuery ולכתוב אליו נתונים.
  • המטא-נתונים של המשאב ב-BigQuery נוספים לתבנית של הגדרות המכונה ב-Compute Engine.
  • התפקיד roles/bigquery.dataEditor מוקצה לחשבון השירות של תבנית של הגדרות מכונה ב-Compute Engine.
תבניות של הגדרות מכונה
חשבון שירות
  • שירותים כמו Cloud Run יכולים להשתמש בחשבון השירות כדי לקרוא ולשנות נתונים במערך הנתונים של BigQuery.
  • התפקיד roles/bigquery.dataEditor מוקצה לחשבון השירות.
תפקידים והרשאות של ניהול זהויות והרשאות גישה (IAM) ב-BigQuery
Cloud Run
  • שירות Cloud Run יכול לקיים אינטראקציה עם מערך הנתונים ב-BigQuery.
  • המטא-נתונים של המשאב ב-BigQuery נוספים למשתני הסביבה של Cloud Run.
  • התפקיד roles/bigquery.dataEditor מוקצה לחשבון השירות של Cloud Run.
מה זה Cloud Run

Pub/Sub

  • המינוי ל-Pub/Sub יכול לכתוב הודעות בטבלה במערך הנתונים של BigQuery.
  • פרטי מערך הנתונים והטבלה ב-BigQuery נוספים לשדות של המינוי ל-Pub/Sub.
מינויים ל-BigQuery

פרמטרים נדרשים להגדרה

אם התבנית כוללת רכיב BigQuery, צריך להגדיר את הפרמטרים הבאים לפני הפריסה.

שם הפרמטר תיאור ומגבלות מידע רקע

מזהה מערך הנתונים

id מבוא למערכי נתונים

מזהה פרויקט

הפרויקט שבו רוצים לפרוס את מערך הנתונים והטבלה של BigQuery.

הגדרת רכיבים

פרמטרים אופציונליים להגדרה

הפרמטרים הבאים הם אופציונליים. כדי להציג פרמטרים מתקדמים, באזור Configuration בוחרים באפשרות Show advanced fields.

תכונה שם הפרמטר תיאור ומידע על המגבלה מידע רקע
Tables

מזהה הטבלה

id מבוא לטבלאות
Tables

תיאור

description מבוא לטבלאות
Tables

שם הטבלה

friendlyName מתן שמות לטבלאות
Tables

סכימה

סכימה הגדרת סכימה
Tables

אשכולות

clustering מבוא לטבלאות מסודרות באשכולות
Tables

דרישת מסנן מחיצה

requirePartitionFilter הגדרת דרישות למסנן מחיצות
טבלאות: חלוקה למחיצות לפי זמן

תפוגה באלפיות השנייה

expirationMs הגדרת תפוגת המחיצה
טבלאות: חלוקה למחיצות לפי זמן

שדה

field יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן
טבלאות: חלוקה למחיצות לפי זמן

סוג

type יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן
טבלאות: חלוקה למחיצות לפי טווחים

שדה

field הגדרת דרישות למסנן מחיצות
טבלאות: חלוקה למחיצות לפי טווחים

תחילת הטווח

range.start חלוקה למחיצות לפי טווח של מספרים שלמים
טבלאות: חלוקה למחיצות לפי טווחים

סוף הטווח

range.end חלוקה למחיצות לפי טווח של מספרים שלמים
טבלאות: חלוקה למחיצות לפי טווחים

מרווח טווח

range.interval חלוקה למחיצות לפי טווח של מספרים שלמים
Tables

מועד תפוגה

expirationTime עדכון זמן התפוגה של טבלה
Tables

הגנה מפני מחיקה

מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב.

deletion_protection
טבלאות: תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות
טבלאות: תוויות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות

שם מערך הנתונים

friendlyName מתן שמות למערכי נתונים

תיאור

description עדכון תיאור קבוצת הנתונים

אזור

מיקום מיקומים ב-BigQuery

מחיקת התוכן בזמן ההשמדה

צריך לבחור באפשרות למחוק את כל הטבלאות במערך הנתונים כשמשמידים את המשאב. אם לא בוחרים באפשרות הזו, השמדת המשאב נכשלת אם יש טבלאות.

delete_contents_on_destroy

הגנה מפני מחיקה

כשבוחרים באפשרות הזו, פעולת terraform apply או terraform destroy שמוחקת טבלאות נכשלת. אם לא בוחרים באפשרות הזו, אפשר למחוק טבלאות. אפשר לשנות את ההגדרה הזו באמצעות הגדרת ההגנה מפני מחיקה של כל טבלה.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs עדכון זמני התפוגה שמוגדרים כברירת מחדל לטבלאות

Default Partition Expiration MS

defaultPartitionExpirationMs עדכון זמני התפוגה שמוגדרים כברירת מחדל למחיצות

מספר שעות מקסימלי לנסיעה בזמן

maxTimeTravelHours עדכון חלונות הזמן של Time Travel

מודל החיוב על אחסון

StorageBillingModel מודלים של חיוב על אחסון

מפתח הצפנה

kmsKeyName הצפנה במנוחה
תוויות של קבוצות נתונים

מפתח

תוויות הוספת תוויות למערכי נתונים
תוויות של קבוצות נתונים

ערך

ערך הוספת תוויות למערכי נתונים
תגי משאבים

מפתח

resourceTags הגדרות ומזהי תגים
תגי משאבים

ערך

resourceTags הגדרות ומזהי תגים
תצוגות

מזהה תצוגה מפורטת

id מתן שמות לתצוגות
תצוגות

תיאור

description מבוא לתצוגות
תצוגות

שאילתה

query עדכון של שאילתת SQL בתצוגה
תצוגות

שימוש ב-SQL מדור קודם

useLegacySql מעבר ל-GoogleSQL
תצוגות: תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות
תצוגות: תוויות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
תצוגות מהותיות

מזהה תצוגה מפורטת

id מתן שמות לתצוגות
תצוגות מהותיות

תיאור

description מבוא לתצוגות מהותיות
תצוגות מהותיות

שאילתה

query תמיכה בשאילתות של תצוגות מהותיות
תצוגות מהותיות

הפעלת הרענון

enableRefresh רענון תצוגות מהותיות
תצוגות מהותיות

מרווח הזמן לרענון באלפיות השנייה

refreshIntervalMs הגדרת מכסת תדירות לרענון
תצוגות מהותיות

אשכולות

fields[]‎ תצוגות מהותיות באשכולות
תצוגות מהותיות: חלוקה למחיצות לפי זמן

תפוגה באלפיות השנייה

expirationMs הגדרת תפוגת המחיצה
תצוגות מהותיות: חלוקה למחיצות לפי זמן

שדה

field יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן
תצוגות מהותיות: חלוקה למחיצות לפי זמן

סוג

type יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן
תצוגות מהותיות: חלוקה למחיצות לפי זמן

דרישת מסנן מחיצה

requirePartitionFilter הגדרת דרישות למסנן מחיצות
תצוגות מהותיות: חלוקה לפי טווחים

שדה

field תצוגות מהותיות מחולקות למחיצות
תצוגות מהותיות: חלוקה לפי טווחים

תחילת הטווח

range.start חלוקה למחיצות לפי טווח של מספרים שלמים
תצוגות מהותיות: חלוקה לפי טווחים

סוף הטווח

range.end חלוקה למחיצות לפי טווח של מספרים שלמים
תצוגות מהותיות: חלוקה לפי טווחים

מרווח טווח

range.interval חלוקה למחיצות לפי טווח של מספרים שלמים
תצוגות מהותיות

מועד תפוגה

expirationTime עדכון זמן התפוגה של תצוגה
תצוגות מהותיות

Max Staleness

maxStaleness שימוש בתצוגות מהותיות עם האפשרות max_staleness
תצוגות מהותיות: תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות
תצוגות מהותיות: תוויות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
טבלאות חיצוניות

מזהה הטבלה

id מבוא לטבלאות חיצוניות
טבלאות חיצוניות

תיאור

תיאור של הטבלה החיצונית. description
טבלאות חיצוניות

זיהוי אוטומטי

autodetect שימוש בדגל הזיהוי האוטומטי
טבלאות חיצוניות

דחיסה

compression טעינת נתונים דחוסים ולא דחוסים
טבלאות חיצוניות

התעלמות מערכים לא ידועים

ignoreUnknownValues יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
טבלאות חיצוניות

מספר מקסימלי של רשומות לא תקינות

maxBadRecords יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
טבלאות חיצוניות

סכימה

סכימה יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
טבלאות חיצוניות

פורמט המקור

sourceFormat יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
טבלאות חיצוניות

מזהי URI במקור

sourceUris יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
טבלאות חיצוניות: אפשרויות CSV

ציטוט

quote טעינת נתוני CSV מ-Cloud Storage
טבלאות חיצוניות: אפשרויות CSV

אישור שורות משוננות

allowJaggedRows טעינת נתוני CSV מ-Cloud Storage
טבלאות חיצוניות: אפשרויות CSV

Allow Quoted Newlines

allowQuotedNewlines טעינת נתוני CSV מ-Cloud Storage
טבלאות חיצוניות: אפשרויות CSV

קידוד

קידוד קידוד
טבלאות חיצוניות: אפשרויות CSV

תו מפריד בין שדות

FieldDelimiter תווי הפרדה בין שדות
טבלאות חיצוניות: אפשרויות CSV

דילוג על שורות פתיחה

skipLeadingRows אפשרויות של קובצי CSV
טבלאות חיצוניות: אפשרויות ב-Google Sheets

טווח

range יצירת טבלאות חיצוניות ב-Google Drive
טבלאות חיצוניות: אפשרויות ב-Google Sheets

דילוג על שורות פתיחה

skipLeadingRows יצירת טבלאות חיצוניות ב-Google Drive
טבלאות חיצוניות: אפשרויות חלוקה למחיצות ב-Hive

מצב

mode מצבי זיהוי
טבלאות חיצוניות: אפשרויות חלוקה למחיצות ב-Hive

Source URI Prefix

sourceUriPrefix שימוש בנתונים שחולקו למחיצות באופן חיצוני
טבלאות חיצוניות

מועד תפוגה

expirationTime עדכון זמן התפוגה של טבלה
טבלאות חיצוניות

Max Staleness

maxStaleness ניהול טבלאות לא עדכניות
טבלאות חיצוניות

הגנה מפני מחיקה

מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב.

deletion_protection
טבלאות חיצוניות: תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות
טבלאות חיצוניות: תוויות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
תרחישים

מזהה שגרה

routineId ניהול תרחישים
תרחישים

סוג התרחיש

routineType RoutineType
תרחישים

שפה

language שפה
תרחישים

Definition Body

definitionBody הצגת גוף הפונקציה של שגרה
תרחישים

סוג החזרה

returnType StandardSqlDataType
תרחישים

תיאור

תיאור של התרחיש. description
תרחישים: ארגומנטים

שם

שם הארגומנט. name
תרחישים: ארגומנטים

סוג הנתונים

dataType StandardSqlDataType
תרחישים: ארגומנטים

סוג הארגומנט

argumentKind ArgumentKind
תרחישים: ארגומנטים

מצב

mode מצב