הגדרת מערך נתונים ב-BigQuery

ב-Application Design Center אתם יכולים ליצור ולהגדיר מערכי נתונים ב-BigQuery לניתוח נתונים בארגון. הרכיבים והפרמטרים של מערך הנתונים מבוססים על המודול terraform-google-bigquery של Terraform.

חיבורים של רכיבים

בטבלה הבאה מפורטים הרכיבים שאפשר לחבר למערך נתונים ב-BigQuery, והעדכונים שנובעים מכך באפליקציה ובקוד Terraform שנוצר.

רכיב מחובר

עדכונים לאפליקציות

מידע רקע

תבנית של הגדרות מכונה ב-Compute Engine

  • המכונות של Compute Engine יכולות לקרוא נתונים ממערך הנתונים ב-BigQuery ולכתוב אליו נתונים.
  • המטא-נתונים של המשאב ב-BigQuery נוספים לתבנית של הגדרות המכונה ב-Compute Engine.
  • התפקיד roles/bigquery.dataEditor נוסף לחשבון השירות של תבנית של הגדרות מכונה ב-Compute Engine.
תבניות של הגדרות מכונה
חשבון שירות
  • שירותים כמו Cloud Run יכולים להשתמש בחשבון השירות כדי לקרוא ולשנות נתונים במערך הנתונים של BigQuery.
  • התפקיד roles/bigquery.dataEditor ב-BigQuery נוסף לחשבון השירות.
תפקידים והרשאות של IAM ב-BigQuery
Cloud Run
  • שירות Cloud Run יכול לקיים אינטראקציה עם מערך הנתונים ב-BigQuery.
  • המטא-נתונים של המשאב ב-BigQuery נוספים למשתני הסביבה של Cloud Run.
  • התפקיד roles/bigquery.dataEditor ב-BigQuery נוסף לחשבון השירות של Cloud Run.
מה זה Cloud Run

Pub/Sub

  • המינוי ל-Pub/Sub יכול לכתוב הודעות למערך הנתונים ב-BigQuery.
  • המידע על מערך הנתונים ב-BigQuery נוסף לשדות המינוי ל-BigQuery.
מינויים ל-BigQuery

פרמטרים נדרשים להגדרה

אם התבנית כוללת רכיב BigQuery, צריך להגדיר את הפרמטרים הבאים לפני הפריסה.

שם הפרמטר

תיאור ומגבלות

מידע רקע

מזהה קבוצת נתונים

id מבוא למערכי נתונים

מזהה פרויקט

הפרויקט שבו רוצים לפרוס את מערך הנתונים והטבלה של BigQuery.

הגדרת רכיבים

פרמטרים אופציונליים להגדרה

הפרמטרים הבאים הם אופציונליים. כדי להציג פרמטרים מתקדמים, באזור Configuration בוחרים באפשרות Show advanced fields.

תכונה

תכונת משנה

שם הפרמטר

תיאור ומידע על המגבלה

מידע רקע

Tables

מזהה הטבלה

id מבוא לטבלאות

תיאור

description מבוא לטבלאות

שם הטבלה

friendlyName מתן שמות לטבלאות

סכימה

סכימה הגדרת סכימה

Clustering

clustering מבוא לטבלאות מקובצות באשכולות

דרישה למסנן מחיצות

requirePartitionFilter הגדרת דרישות למסנן מחיצה
חלוקה למחיצות לפי זמן

תפוגה באלפיות השנייה

expirationMs הגדרת תפוגה למחיצה

שדה

field יצירת טבלה שמחולקת לפי עמודת יחידת זמן

סוג

type יצירת טבלה שמחולקת לפי עמודת יחידת זמן
חלוקה למחיצות לפי טווחים

שדה

field הגדרת דרישות למסנן מחיצות

תחילת הטווח

range.start חלוקה למחיצות לפי טווח של מספרים שלמים

סוף הטווח

range.end חלוקה למחיצות לפי טווח של מספרים שלמים

אינטרוול טווח

range.interval חלוקה למחיצות לפי טווח של מספרים שלמים

מועד תפוגה

expirationTime עדכון זמן התפוגה של טבלה

הגנה מפני מחיקה

מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרה "הגנה מפני מחיקה" ברמת הרכיב.

deletion_protection
תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות

שם קבוצת הנתונים

friendlyName מתן שמות לקבוצות נתונים

תיאור

description עדכון התיאור של מערך הנתונים

אזור

מיקום מיקומים ב-BigQuery

מחיקת התוכן בזמן ההשמדה

צריך לבחור באפשרות למחוק את כל הטבלאות במערך הנתונים כשמשמידים את המשאב. אם לא בוחרים באפשרות הזו, השמדת המשאב נכשלת אם יש טבלאות.

delete_contents_on_destroy

הגנה מפני מחיקה

אם בוחרים באפשרות הזו, הפקודות terraform apply או terraform destroy שמוחקות טבלאות ייכשלו. אם לא בוחרים באפשרות הזו, אפשר למחוק טבלאות. אפשר לשנות את ההגדרה הזו באמצעות הגדרת ההגנה מפני מחיקה של כל טבלה.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs עדכון זמני התפוגה שמוגדרים כברירת מחדל לטבלאות

Default Partition Expiration MS

defaultPartitionExpirationMs עדכון זמני התפוגה שמוגדרים כברירת מחדל למחיצות

מספר השעות המקסימלי לנסיעה בזמן

maxTimeTravelHours עדכון חלונות הזמן של Time Travel

מודל החיוב על אחסון

StorageBillingModel מודלים של חיוב על אחסון

מפתח הצפנה

kmsKeyName הצפנה במנוחה
תוויות של קבוצות נתונים

מפתח

תוויות הוספת תוויות למערכי נתונים

ערך

ערך הוספת תוויות למערכי נתונים
תגי משאבים

מפתח

resourceTags הגדרות ומזהי תגים

ערך

resourceTags הגדרות ומזהי תגים
תצוגות

מזהה תצוגה מפורטת

id הצגת השמות

תיאור

description מבוא לתצוגות מפורטות

שאילתה

query עדכון שאילתת ה-SQL של תצוגה

שימוש ב-SQL מדור קודם

useLegacySql מעבר ל-GoogleSQL
תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
תצוגות מהותיות

מזהה תצוגה מפורטת

id הצגת השמות

תיאור

description מבוא לתצוגות מהותיות

שאילתה

query תמיכה בשאילתות של תצוגות מהותיות

הפעלת הרענון

enableRefresh רענון תצוגות מהותיות

מרווח הזמן לרענון באלפיות השנייה

refreshIntervalMs הגדרת מכסת תדירות לרענון

Clustering

fields[]‎ תצוגות מהותיות באשכולות
חלוקה למחיצות לפי זמן

תפוגה באלפיות השנייה

expirationMs הגדרת תפוגה למחיצה

שדה

field יצירת טבלה שמחולקת לפי עמודת יחידת זמן

סוג

type יצירת טבלה שמחולקת לפי עמודת יחידת זמן

דרישה למסנן מחיצות

requirePartitionFilter הגדרת דרישות למסנן מחיצות
חלוקה למחיצות לפי טווחים

שדה

field תצוגות מהותיות מחולקות למחיצות

תחילת הטווח

range.start חלוקה למחיצות לפי טווח של מספרים שלמים

סוף הטווח

range.end חלוקה למחיצות לפי טווח של מספרים שלמים

אינטרוול טווח

range.interval חלוקה למחיצות לפי טווח של מספרים שלמים

מועד תפוגה

expirationTime עדכון זמן התפוגה של תצוגה

Max Staleness

maxStaleness שימוש בתצוגות מהותיות עם האפשרות max_staleness
תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
טבלאות חיצוניות

מזהה הטבלה

id מבוא לטבלאות חיצוניות

תיאור

תיאור של הטבלה החיצונית. description

זיהוי אוטומטי

autodetect שימוש בדגל autodetect

דחיסה

compression טעינת נתונים דחוסים ולא דחוסים

התעלמות מערכים לא ידועים

ignoreUnknownValues יצירת קובץ הגדרת טבלה למקור נתונים חיצוני

מספר מקסימלי של רשומות לא תקינות

maxBadRecords יצירת קובץ הגדרת טבלה למקור נתונים חיצוני

סכימה

סכימה יצירת קובץ הגדרת טבלה למקור נתונים חיצוני

פורמט המקור

sourceFormat יצירת קובץ הגדרת טבלה למקור נתונים חיצוני

מזהי URI במקור

sourceUris יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
אפשרויות CSV

ציטוט

quote טעינת נתוני CSV מ-Cloud Storage

אישור שורות משוננות

allowJaggedRows טעינת נתוני CSV מ-Cloud Storage

Allow Quoted Newlines

allowQuotedNewlines טעינת נתוני CSV מ-Cloud Storage

קידוד

קידוד קידוד

תו מפריד בין שדות

FieldDelimiter תווי הפרדה בין שדות

דילוג על שורות מובילות

skipLeadingRows אפשרויות של קובצי CSV
אפשרויות ב-Google Sheets

טווח

range יצירת טבלאות חיצוניות ב-Google Drive

דילוג על שורות מובילות

skipLeadingRows יצירת טבלאות חיצוניות ב-Google Drive
אפשרויות חלוקה למחיצות ב-Hive

מצב

mode מצבי זיהוי

קידומת ה-URI של המקור

sourceUriPrefix שימוש בנתונים שחולקו למחיצות באופן חיצוני

מועד תפוגה

expirationTime עדכון זמן התפוגה של טבלה

Max Staleness

maxStaleness ניהול טבלאות לא עדכניות

הגנה מפני מחיקה

מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרה "הגנה מפני מחיקה" ברמת הרכיב.

deletion_protection
תוויות

מפתח

תוויות הוספת תוויות לטבלאות ולתצוגות

ערך

תוויות הוספת תוויות לטבלאות ולתצוגות
תרחישים

מזהה שגרה

routineId ניהול תרחישים

סוג התרחיש

routineType RoutineType

שפה

language שפה

Definition Body

definitionBody הצגת גוף הפונקציה של שגרה

סוג החזרה

returnType StandardSqlDataType

תיאור

תיאור של התרחיש. description
ארגומנטים

שם

שם הארגומנט. name

סוג הנתונים

dataType StandardSqlDataType

סוג הארגומנט

argumentKind ArgumentKind

מצב

mode מצב