ב-Application Design Center אתם יכולים ליצור ולהגדיר מערכי נתונים ב-BigQuery לניתוח נתונים ארגוניים. הרכיבים והפרמטרים של מערך הנתונים מבוססים על המודול terraform-google-bigquery של Terraform ב-GitHub.
חיבורים של רכיבים
בטבלה הבאה מפורטים הרכיבים שאפשר לחבר למערך נתונים ב-BigQuery, והעדכונים שנובעים מכך באפליקציה ובקוד Terraform שנוצר.
| רכיב מחובר | עדכונים לאפליקציות | מידע רקע |
|---|---|---|
|
תבניות של הגדרות מכונה | |
| חשבון שירות |
|
תפקידים והרשאות של ניהול זהויות והרשאות גישה (IAM) ב-BigQuery |
| Cloud Run |
|
מה זה Cloud Run |
|
מינויים ל-BigQuery |
פרמטרים נדרשים להגדרה
אם התבנית כוללת רכיב BigQuery, צריך להגדיר את הפרמטרים הבאים לפני הפריסה.
| שם הפרמטר | תיאור ומגבלות | מידע רקע |
|---|---|---|
מזהה מערך הנתונים |
id | מבוא למערכי נתונים |
מזהה פרויקט |
הפרויקט שבו רוצים לפרוס את מערך הנתונים והטבלה של BigQuery. |
הגדרת רכיבים |
פרמטרים אופציונליים להגדרה
הפרמטרים הבאים הם אופציונליים. כדי להציג פרמטרים מתקדמים, באזור Configuration בוחרים באפשרות Show advanced fields.
| תכונה | שם הפרמטר | תיאור ומידע על המגבלה | מידע רקע |
|---|---|---|---|
| Tables | מזהה הטבלה |
id | מבוא לטבלאות |
| Tables | תיאור |
description | מבוא לטבלאות |
| Tables | שם הטבלה |
friendlyName | מתן שמות לטבלאות |
| Tables | סכימה |
סכימה | הגדרת סכימה |
| Tables | אשכולות |
clustering | מבוא לטבלאות מסודרות באשכולות |
| Tables | דרישת מסנן מחיצה |
requirePartitionFilter | הגדרת דרישות למסנן מחיצות |
| טבלאות: חלוקה למחיצות לפי זמן | תפוגה באלפיות השנייה |
expirationMs | הגדרת תפוגת המחיצה |
| טבלאות: חלוקה למחיצות לפי זמן | שדה |
field | יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן |
| טבלאות: חלוקה למחיצות לפי זמן | סוג |
type | יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן |
| טבלאות: חלוקה למחיצות לפי טווחים | שדה |
field | הגדרת דרישות למסנן מחיצות |
| טבלאות: חלוקה למחיצות לפי טווחים | תחילת הטווח |
range.start | חלוקה למחיצות לפי טווח של מספרים שלמים |
| טבלאות: חלוקה למחיצות לפי טווחים | סוף הטווח |
range.end | חלוקה למחיצות לפי טווח של מספרים שלמים |
| טבלאות: חלוקה למחיצות לפי טווחים | מרווח טווח |
range.interval | חלוקה למחיצות לפי טווח של מספרים שלמים |
| Tables | מועד תפוגה |
expirationTime | עדכון זמן התפוגה של טבלה |
| Tables | הגנה מפני מחיקה |
מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב. |
deletion_protection |
| טבלאות: תוויות | מפתח |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| טבלאות: תוויות | ערך |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
שם מערך הנתונים |
friendlyName | מתן שמות למערכי נתונים | |
תיאור |
description | עדכון תיאור קבוצת הנתונים | |
אזור |
מיקום | מיקומים ב-BigQuery | |
מחיקת התוכן בזמן ההשמדה |
צריך לבחור באפשרות למחוק את כל הטבלאות במערך הנתונים כשמשמידים את המשאב. אם לא בוחרים באפשרות הזו, השמדת המשאב נכשלת אם יש טבלאות. |
delete_contents_on_destroy | |
הגנה מפני מחיקה |
כשבוחרים באפשרות הזו, פעולת |
deletion_protection | |
Default Table Expiration MS |
defaultTableExpirationMs | עדכון זמני התפוגה שמוגדרים כברירת מחדל לטבלאות | |
Default Partition Expiration MS |
defaultPartitionExpirationMs | עדכון זמני התפוגה שמוגדרים כברירת מחדל למחיצות | |
מספר שעות מקסימלי לנסיעה בזמן |
maxTimeTravelHours | עדכון חלונות הזמן של Time Travel | |
מודל החיוב על אחסון |
StorageBillingModel | מודלים של חיוב על אחסון | |
מפתח הצפנה |
kmsKeyName | הצפנה במנוחה | |
| תוויות של קבוצות נתונים | מפתח |
תוויות | הוספת תוויות למערכי נתונים |
| תוויות של קבוצות נתונים | ערך |
ערך | הוספת תוויות למערכי נתונים |
| תגי משאבים | מפתח |
resourceTags | הגדרות ומזהי תגים |
| תגי משאבים | ערך |
resourceTags | הגדרות ומזהי תגים |
| תצוגות | מזהה תצוגה מפורטת |
id | מתן שמות לתצוגות |
| תצוגות | תיאור |
description | מבוא לתצוגות |
| תצוגות | שאילתה |
query | עדכון של שאילתת SQL בתצוגה |
| תצוגות | שימוש ב-SQL מדור קודם |
useLegacySql | מעבר ל-GoogleSQL |
| תצוגות: תוויות | מפתח |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| תצוגות: תוויות | ערך |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| תצוגות מהותיות | מזהה תצוגה מפורטת |
id | מתן שמות לתצוגות |
| תצוגות מהותיות | תיאור |
description | מבוא לתצוגות מהותיות |
| תצוגות מהותיות | שאילתה |
query | תמיכה בשאילתות של תצוגות מהותיות |
| תצוגות מהותיות | הפעלת הרענון |
enableRefresh | רענון תצוגות מהותיות |
| תצוגות מהותיות | מרווח הזמן לרענון באלפיות השנייה |
refreshIntervalMs | הגדרת מכסת תדירות לרענון |
| תצוגות מהותיות | אשכולות |
fields[] | תצוגות מהותיות באשכולות |
| תצוגות מהותיות: חלוקה למחיצות לפי זמן | תפוגה באלפיות השנייה |
expirationMs | הגדרת תפוגת המחיצה |
| תצוגות מהותיות: חלוקה למחיצות לפי זמן | שדה |
field | יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן |
| תצוגות מהותיות: חלוקה למחיצות לפי זמן | סוג |
type | יצירת טבלה שמחולקת למחיצות לפי עמודת יחידת זמן |
| תצוגות מהותיות: חלוקה למחיצות לפי זמן | דרישת מסנן מחיצה |
requirePartitionFilter | הגדרת דרישות למסנן מחיצות |
| תצוגות מהותיות: חלוקה לפי טווחים | שדה |
field | תצוגות מהותיות מחולקות למחיצות |
| תצוגות מהותיות: חלוקה לפי טווחים | תחילת הטווח |
range.start | חלוקה למחיצות לפי טווח של מספרים שלמים |
| תצוגות מהותיות: חלוקה לפי טווחים | סוף הטווח |
range.end | חלוקה למחיצות לפי טווח של מספרים שלמים |
| תצוגות מהותיות: חלוקה לפי טווחים | מרווח טווח |
range.interval | חלוקה למחיצות לפי טווח של מספרים שלמים |
| תצוגות מהותיות | מועד תפוגה |
expirationTime | עדכון זמן התפוגה של תצוגה |
| תצוגות מהותיות | Max Staleness |
maxStaleness | שימוש בתצוגות מהותיות עם האפשרות max_staleness |
| תצוגות מהותיות: תוויות | מפתח |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| תצוגות מהותיות: תוויות | ערך |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| טבלאות חיצוניות | מזהה הטבלה |
id | מבוא לטבלאות חיצוניות |
| טבלאות חיצוניות | תיאור |
תיאור של הטבלה החיצונית. | description |
| טבלאות חיצוניות | זיהוי אוטומטי |
autodetect | שימוש בדגל הזיהוי האוטומטי |
| טבלאות חיצוניות | דחיסה |
compression | טעינת נתונים דחוסים ולא דחוסים |
| טבלאות חיצוניות | התעלמות מערכים לא ידועים |
ignoreUnknownValues | יצירת קובץ הגדרת טבלה למקור נתונים חיצוני |
| טבלאות חיצוניות | מספר מקסימלי של רשומות לא תקינות |
maxBadRecords | יצירת קובץ הגדרת טבלה למקור נתונים חיצוני |
| טבלאות חיצוניות | סכימה |
סכימה | יצירת קובץ הגדרת טבלה למקור נתונים חיצוני |
| טבלאות חיצוניות | פורמט המקור |
sourceFormat | יצירת קובץ הגדרת טבלה למקור נתונים חיצוני |
| טבלאות חיצוניות | מזהי URI במקור |
sourceUris | יצירת קובץ הגדרת טבלה למקור נתונים חיצוני |
| טבלאות חיצוניות: אפשרויות CSV | ציטוט |
quote | טעינת נתוני CSV מ-Cloud Storage |
| טבלאות חיצוניות: אפשרויות CSV | אישור שורות משוננות |
allowJaggedRows | טעינת נתוני CSV מ-Cloud Storage |
| טבלאות חיצוניות: אפשרויות CSV | Allow Quoted Newlines |
allowQuotedNewlines | טעינת נתוני CSV מ-Cloud Storage |
| טבלאות חיצוניות: אפשרויות CSV | קידוד |
קידוד | קידוד |
| טבלאות חיצוניות: אפשרויות CSV | תו מפריד בין שדות |
FieldDelimiter | תווי הפרדה בין שדות |
| טבלאות חיצוניות: אפשרויות CSV | דילוג על שורות פתיחה |
skipLeadingRows | אפשרויות של קובצי CSV |
| טבלאות חיצוניות: אפשרויות ב-Google Sheets | טווח |
range | יצירת טבלאות חיצוניות ב-Google Drive |
| טבלאות חיצוניות: אפשרויות ב-Google Sheets | דילוג על שורות פתיחה |
skipLeadingRows | יצירת טבלאות חיצוניות ב-Google Drive |
| טבלאות חיצוניות: אפשרויות חלוקה למחיצות ב-Hive | מצב |
mode | מצבי זיהוי |
| טבלאות חיצוניות: אפשרויות חלוקה למחיצות ב-Hive | Source URI Prefix |
sourceUriPrefix | שימוש בנתונים שחולקו למחיצות באופן חיצוני |
| טבלאות חיצוניות | מועד תפוגה |
expirationTime | עדכון זמן התפוגה של טבלה |
| טבלאות חיצוניות | Max Staleness |
maxStaleness | ניהול טבלאות לא עדכניות |
| טבלאות חיצוניות | הגנה מפני מחיקה |
מסמנים את התיבה כדי למנוע מ-Terraform למחוק את הטבלה הזו. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב. |
deletion_protection |
| טבלאות חיצוניות: תוויות | מפתח |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| טבלאות חיצוניות: תוויות | ערך |
תוויות | הוספת תוויות לטבלאות ולתצוגות |
| תרחישים | מזהה שגרה |
routineId | ניהול תרחישים |
| תרחישים | סוג התרחיש |
routineType | RoutineType |
| תרחישים | שפה |
language | שפה |
| תרחישים | Definition Body |
definitionBody | הצגת גוף הפונקציה של שגרה |
| תרחישים | סוג החזרה |
returnType | StandardSqlDataType |
| תרחישים | תיאור |
תיאור של התרחיש. | description |
| תרחישים: ארגומנטים | שם |
שם הארגומנט. | name |
| תרחישים: ארגומנטים | סוג הנתונים |
dataType | StandardSqlDataType |
| תרחישים: ארגומנטים | סוג הארגומנט |
argumentKind | ArgumentKind |
| תרחישים: ארגומנטים | מצב |
mode | מצב |