יצירת מערכי נתונים

במאמר הזה מוסבר איך ליצור מערכי נתונים שמאחסנים נתונים ב-BigQuery. מערכי נתונים הם קונטיינרים ברמה העליונה שמאפשרים לארגן ולשלוט בגישה לטבלאות ולתצוגות.

כדי ללמוד איך לעבוד עם סוגים אחרים של קבוצות נתונים, אפשר לעיין במקורות המידע הבאים:

במאמר שליחת שאילתות על מערך נתונים ציבורי באמצעות מסוףGoogle Cloud מוסבר איך שולחים שאילתות על טבלאות במערך נתונים ציבורי.

מגבלות של מערך הנתונים

מערכי נתונים ב-BigQuery כפופים למגבלות הבאות:

  • אפשר להגדיר את המיקום של קבוצת הנתונים רק כשיוצרים אותה. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.
  • כל הטבלאות שמוזכרות בשאילתה צריכות להיות מאוחסנות במערכי נתונים באותו מיקום.

  • מערכי נתונים חיצוניים לא תומכים בתפוגת תוקף של טבלאות, ברפליקות, ב-Time Travel, בברירת מחדל של איסוף נתונים, בברירת מחדל של מצב עיגול או באפשרות להפעיל או להשבית שמות של טבלאות ללא תלות ברישיות.

  • כשמעתיקים טבלה, מערכי הנתונים שמכילים את טבלת המקור ואת טבלת היעד צריכים להיות באותו מיקום.

  • שמות מערכי הנתונים צריכים להיות ייחודיים לכל פרויקט.

לפני שמתחילים

להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות שנדרשות כדי לבצע כל משימה במסמך הזה.

ההרשאות הנדרשות

כדי ליצור קבוצת נתונים, אתם צריכים את ההרשאה bigquery.datasets.create ב-IAM.

כל אחד מהתפקידים המוגדרים מראש הבאים ב-IAM כולל את ההרשאות שנדרשות כדי ליצור מערך נתונים:

  • roles/bigquery.dataEditor
  • roles/bigquery.dataOwner
  • roles/bigquery.user
  • roles/bigquery.admin

למידע נוסף על תפקידי IAM ב-BigQuery, קראו את המאמר תפקידים והרשאות מוגדרים מראש.

תכנון השמות של קבוצות הנתונים

כשיוצרים מערך נתונים ב-BigQuery, השם של מערך הנתונים צריך להיות ייחודי לכל פרויקט. שם קבוצת הנתונים יכול להכיל את התווים הבאים:

  • עד 1,024 תווים.
  • אותיות (רישיות או קטנות), מספרים וקווים תחתונים.

כברירת מחדל, שמות של קבוצות נתונים הם תלויי אותיות רישיות. ‫mydataset ו-MyDataset יכולים להתקיים באותו פרויקט, אלא אם באחד מהם מושבתת האפשרות של תלוי אותיות רישיות. לדוגמאות, ראו יצירת מערך נתונים לא תלוי-רישיות ומשאב: מערך נתונים.

שמות של קבוצות נתונים לא יכולים להכיל רווחים או תווים מיוחדים כמו -,‏ &,‏ @ או %.

יצירת מערכי נתונים

כשיוצרים מערך נתונים, בדרך כלל מציינים את המיקום שבו הנתונים מאוחסנים. אם לא מציינים מיקום, המערכת משתמשת במיקום ברירת המחדל. מידע נוסף זמין במאמר ציון מיקומים.

כדי ליצור קבוצת נתונים:

המסוף

  1. פותחים את הדף BigQuery במסוף Google Cloud .
    2. כניסה לדף BigQuery
  2. בחלונית הימנית, לוחצים על Explorer.
  3. מרחיבים את הפרויקט שבו רוצים ליצור את מערך הנתונים.
  4. לוחצים על Datasets.
  5. בדף Datasets, לוחצים על Create dataset.
  6. בדף Create dataset:
    1. בשדה Dataset ID, מזינים שם ייחודי למערך הנתונים.
    2. בקטע Location type, בוחרים מיקום גיאוגרפי למערך הנתונים. אחרי שיוצרים קבוצת נתונים, אי אפשר לשנות את המיקום שלה.
    3. אופציונלי: אם יוצרים מערך נתונים חיצוני, בוחרים באפשרות Link to an external dataset.
    4. אם לא צריך להגדיר אפשרויות נוספות כמו תגים ותאריכי תפוגה של טבלאות, לוחצים על Create dataset. אחרת, מרחיבים את הקטע הבא כדי להגדיר את האפשרויות הנוספות של קבוצת הנתונים.

    אפשרויות נוספות לקבוצות נתונים

    1. אופציונלי: מרחיבים את הקטע Tags כדי להוסיף תגים למערך הנתונים.
    2. כדי להחיל תג קיים, מבצעים את הפעולות הבאות:
      1. לוחצים על החץ לתפריט הנפתח לצד Select scope ובוחרים באפשרות Current scope – Select current organization או Select current project.

        2. לחלופין, לוחצים על Select scope כדי לחפש משאב או כדי לראות רשימה של המשאבים הנוכחיים.

      2. בוחרים את הערכים המתאימים מהרשימות של Key 1 ו-Value 1.
    3. כדי להזין תג חדש באופן ידני, מבצעים את הפעולות הבאות:
      1. לוחצים על החץ לתפריט הנפתח לצד Select a scope ובוחרים באפשרות Manually enter IDs > Organization,‏ Project או Tags.
      2. אם יוצרים תג לפרויקט או לארגון, מזינים בתיבת הדו-שיח את הערך של PROJECT_ID או של ORGANIZATION_ID ולוחצים על Save.
      3. בוחרים את הערכים המתאימים מהרשימות של Key 1 ו-Value 1.
      4. כדי להוסיף עוד תגים לטבלה, לוחצים על Add tag ופועלים לפי השלבים הקודמים.
    4. אופציונלי: מרחיבים את הקטע Advanced options כדי להגדיר אחת או יותר מהאפשרויות הבאות.
      1. כדי לשנות את האפשרות Encryption כך שייעשה שימוש במפתח קריפטוגרפי משלכם באמצעות Cloud Key Management Service, בוחרים באפשרות Cloud KMS key.
      2. כדי להשתמש בשמות של טבלאות לא תלויי-רישיות, בוחרים באפשרות Enable case insensitive table names.
      3. כדי לשנות את המפרט של Default collation, בוחרים את סוג ה-collation מהרשימה.
      4. כדי להגדיר תפוגה לטבלאות בקבוצת הנתונים, בוחרים באפשרות Enable table expiration ומציינים את מספר הימים של Default maximum table age.
      5. כדי להגדיר Default rounding mode, בוחרים את מצב העיגול מהרשימה.
      6. כדי להפעיל את מודל החיוב על נפח האחסון הפיזי, בוחרים את מודל החיוב מהרשימה.

        7. כשמשנים את מודל החיוב של מערך נתונים, השינוי נכנס לתוקף תוך 24 שעות.

        אחרי שמשנים את מודל החיוב על אחסון של מערך נתונים, צריך להמתין 14 ימים לפני שאפשר לשנות אותו שוב.

      7. כדי להגדיר את חלון הזמן של המסע בזמן של מערך הנתונים, בוחרים את גודל החלון מהרשימה.
    5. לוחצים על Create dataset.

SQL

משתמשים בהצהרה CREATE SCHEMA.

כדי ליצור מערך נתונים בפרויקט שהוא לא פרויקט ברירת המחדל, מוסיפים את מזהה הפרויקט למזהה מערך הנתונים בפורמט הבא: PROJECT_ID.DATASET_ID.

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בעורך השאילתות, מזינים את ההצהרה הבאה:

    CREATE SCHEMA PROJECT_ID.DATASET_ID
  OPTIONS (
    default_kms_key_name = 'KMS_KEY_NAME',
    default_partition_expiration_days = PARTITION_EXPIRATION,
    default_table_expiration_days = TABLE_EXPIRATION,
    description = 'DESCRIPTION',
    labels = [('KEY_1','VALUE_1'),('KEY_2','VALUE_2')],
    location = 'LOCATION',
    max_time_travel_hours = HOURS,
    storage_billing_model = BILLING_MODEL);

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט
    • ‫DATASET_ID: המזהה של מערך הנתונים שאתם יוצרים
    • ‫KMS_KEY_NAME: השם של מפתח ברירת המחדל של Cloud Key Management Service שמשמש להגנה על טבלאות חדשות שנוצרו במערך הנתונים הזה, אלא אם סופק מפתח אחר בזמן היצירה. אי אפשר ליצור טבלה מוצפנת על ידי Google במערך נתונים שהפרמטר הזה מוגדר בו.
    • PARTITION_EXPIRATION: משך החיים שמוגדר כברירת מחדל (בימים) למחיצות בטבלאות מחולקות חדשות. אין ערך מינימלי לתפוגת ברירת המחדל של המחיצה. זמן התפוגה מחושב לפי תאריך המחיצה בתוספת הערך של המספר השלם. כל מחיצה שנוצרת בטבלה מחולקת למחיצות במערך הנתונים נמחקת אחרי PARTITION_EXPIRATION ימים מתאריך המחיצה. אם מציינים את האפשרות time_partitioning_expiration כשיוצרים או מעדכנים טבלה מחולקת למחיצות, תפוגת התוקף של המחיצה ברמת הטבלה מקבלת עדיפות על פני תפוגת התוקף של המחיצה שמוגדרת כברירת מחדל ברמת מערך הנתונים.
    • TABLE_EXPIRATION: משך החיים שמוגדר כברירת מחדל (בימים) לטבלאות חדשות שנוצרו. הערך המינימלי הוא 0.042 ימים (שעה אחת). מועד התפוגה מחושב לפי השעה הנוכחית בתוספת הערך של המספר השלם. כל טבלה שנוצרת במערך הנתונים נמחקת TABLE_EXPIRATION ימים אחרי שנוצרה. הערך הזה חל אם לא מגדירים תפוגה של טבלה כשיוצרים את הטבלה.
    • ‫DESCRIPTION: תיאור של מערך הנתונים
    • ‫KEY_1:VALUE_1: צמד המפתח/ערך שרוצים להגדיר כתווית הראשונה בקבוצת הנתונים הזו
    • ‫KEY_2:VALUE_2: צמד המפתח/ערך שרוצים להגדיר בתור התווית השנייה
    • ‫LOCATION: המיקום של מערך הנתונים. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.
    • ‫HOURS: משך הזמן בשעות של חלון ה-Time Travel של מערך הנתונים החדש. הערך של HOURS חייב להיות מספר שלם בכפולות של 24 (48, 72, 96, 120, 144, 168) בין 48 (יומיים) ל-168 (7 ימים). אם לא מציינים את האפשרות הזו, ברירת המחדל היא 168 שעות.
    • ‫BILLING_MODEL: מגדיר את מודל החיוב על אחסון של מערך הנתונים. מגדירים את הערך של BILLING_MODEL ל-PHYSICAL כדי להשתמש בבייטים פיזיים בחישוב חיובי האחסון, או ל-LOGICAL כדי להשתמש בבייטים לוגיים. ‫LOGICAL היא ברירת המחדל.

      כשמשנים את מודל החיוב של מערך נתונים, השינוי נכנס לתוקף תוך 24 שעות.

      אחרי שמשנים את מודל החיוב על אחסון של מערך נתונים, צריך להמתין 14 ימים לפני שאפשר לשנות אותו שוב.

  3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

כדי ליצור קבוצת נתונים חדשה, משתמשים בפקודה bq mk עם הדגל --location. רשימה מלאה של הפרמטרים האפשריים מופיעה בחומר העזר בנושא הפקודה bq mk --dataset.

כדי ליצור קבוצת נתונים בפרויקט שאינו פרויקט ברירת המחדל, מוסיפים את מזהה הפרויקט לשם של קבוצת הנתונים בפורמט הבא: PROJECT_ID:DATASET_ID.

bq --location=LOCATION mk \
    --dataset \
    --default_kms_key=KMS_KEY_NAME \
    --default_partition_expiration=PARTITION_EXPIRATION \
    --default_table_expiration=TABLE_EXPIRATION \
    --description="DESCRIPTION" \
    --label=KEY_1:VALUE_1 \
    --label=KEY_2:VALUE_2 \
    --add_tags=KEY_3:VALUE_3[,...] \
    --max_time_travel_hours=HOURS \
    --storage_billing_model=BILLING_MODEL \
    PROJECT_ID:DATASET_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫LOCATION: המיקום של מערך הנתונים. אי אפשר לשנות את המיקום אחרי שיוצרים את מערך הנתונים. אפשר להגדיר ערך ברירת מחדל למיקום באמצעות הקובץ .bigqueryrc.
  • ‫KMS_KEY_NAME: השם של מפתח ברירת המחדל של Cloud Key Management Service, שמשמש להגנה על טבלאות חדשות שנוצרו במערך הנתונים הזה, אלא אם סופק מפתח אחר בזמן היצירה. אי אפשר ליצור טבלה מוצפנת על ידי Google במערך נתונים שמוגדר בו הפרמטר הזה.
  • ‫PARTITION_EXPIRATION: משך החיים שמוגדר כברירת מחדל (בשניות) למחיצות בטבלאות מחולקות למחיצות שנוצרו לאחרונה. אין ערך מינימלי לתפוגת ברירת המחדל של המחיצה. זמן התפוגה מחושב לפי תאריך המחיצה בתוספת הערך של המספר השלם. כל מחיצה שנוצרת בטבלה מחולקת למחיצות במערך הנתונים נמחקת PARTITION_EXPIRATION שניות אחרי התאריך של המחיצה. אם מציינים את הדגל --time_partitioning_expiration כשיוצרים או מעדכנים טבלה מחולקת למחיצות, תפוגת המחיצה ברמת הטבלה מקבלת קדימות על פני תפוגת המחיצה שמוגדרת כברירת מחדל ברמת מערך הנתונים.
  • ‫TABLE_EXPIRATION: משך החיים שמוגדר כברירת מחדל (בשניות) לטבלאות חדשות שנוצרו. הערך המינימלי הוא 3,600 שניות (שעה אחת). מועד התפוגה מחושב לפי השעה הנוכחית בתוספת הערך של המספר השלם. כל טבלה שנוצרת במערך הנתונים נמחקת TABLE_EXPIRATION שניות אחרי זמן היצירה שלה. הערך הזה חל אם לא מגדירים תפוגה של טבלה כשיוצרים את הטבלה.
  • ‫DESCRIPTION: תיאור של מערך הנתונים
  • ‫KEY_1:VALUE_1: צמד המפתח/ערך שרוצים להגדיר כתווית הראשונה בקבוצת הנתונים הזו, ו-KEY_2:VALUE_2 הוא צמד המפתח/ערך שרוצים להגדיר כתווית השנייה.
  • ‫KEY_3:VALUE_3: צמד המפתח/ערך שרוצים להגדיר כתג בקבוצת הנתונים. אפשר להוסיף כמה תגים באותו דגל, עם פסיקים בין צמדי מפתח:ערך.
  • ‫HOURS: משך הזמן בשעות של חלון ה-Time Travel של מערך הנתונים החדש. הערך של HOURS חייב להיות מספר שלם בכפולות של 24 (48, 72, 96, 120, 144, 168) בין 48 (יומיים) ל-168 (7 ימים). אם לא מציינים את האפשרות הזו, ברירת המחדל היא 168 שעות.

  • ‫BILLING_MODEL: מגדיר את מודל החיוב על אחסון של מערך הנתונים. מגדירים את הערך של BILLING_MODEL ל-PHYSICAL כדי להשתמש בבייטים פיזיים בחישוב חיובי האחסון, או ל-LOGICAL כדי להשתמש בבייטים לוגיים. ‫LOGICAL היא ברירת המחדל.

    כשמשנים את מודל החיוב של מערך נתונים, השינוי נכנס לתוקף תוך 24 שעות.

    אחרי שמשנים את מודל החיוב על אחסון של מערך נתונים, צריך להמתין 14 ימים לפני שאפשר לשנות שוב את מודל החיוב על אחסון.

  • PROJECT_ID: מזהה הפרויקט.

  • ‫DATASET_ID הוא המזהה של מערך הנתונים שאתם יוצרים.

לדוגמה, הפקודה הבאה יוצרת מערך נתונים בשם mydataset, שמיקום הנתונים שלו מוגדר כ-US, תפוגת ברירת המחדל של הטבלה היא 3,600 שניות (שעה אחת) והתיאור שלו הוא This is my dataset. במקום להשתמש בדגל --dataset, הפקודה משתמשת בקיצור הדרך -d. אם משמיטים את -d ו---dataset, הפקודה יוצרת קבוצת נתונים כברירת מחדל.

bq --location=US mk -d \
    --default_table_expiration 3600 \
    --description "This is my dataset." \
    mydataset

כדי לוודא שמערך הנתונים נוצר, מזינים את הפקודה bq ls. אפשר גם ליצור טבלה כשיוצרים מערך נתונים חדש בפורמט הבא: bq mk -t dataset.table. מידע נוסף על יצירת טבלאות זמין במאמר יצירת טבלה.

Terraform

משתמשים במשאב google_bigquery_dataset.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

יצירת מערך נתונים

בדוגמה הבאה נוצרת קבוצת נתונים בשם mydataset:

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

כשיוצרים מערך נתונים באמצעות המשאב google_bigquery_dataset, כל החשבונות שמוגדרים להם תפקידים בסיסיים ברמת הפרויקט מקבלים גישה למערך הנתונים באופן אוטומטי. אם מריצים את הפקודה terraform show אחרי שיוצרים את מערך הנתונים, הבלוק access של מערך הנתונים נראה בערך כך:

בלוק גישה למערך נתונים שנוצר באמצעות Terraform.

כדי לתת גישה למערך הנתונים, מומלץ להשתמש באחד ממשאבי google_bigquery_iam, כמו שמוצג בדוגמה הבאה, אלא אם אתם מתכננים ליצור אובייקטים מורשים, כמו תצוגות מורשות, בתוך מערך הנתונים. במקרה כזה, משתמשים במשאב google_bigquery_dataset_access. אפשר לראות דוגמאות במסמכי התיעוד האלה.

יצירת מערך נתונים והענקת גישה אליו

בדוגמה הבאה נוצר מערך נתונים בשם mydataset, ואז נעשה שימוש במשאב google_bigquery_dataset_iam_policy כדי לתת גישה אליו.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

# Update the user, group, or service account
# provided by the members argument with the
# appropriate principals for your organization.
data "google_iam_policy" "default" {
  binding {
    role = "roles/bigquery.dataOwner"
    members = [
      "user:raha@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.admin"
    members = [
      "user:raha@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.user"
    members = [
      "group:analysts@altostrat.com",
    ]
  }
  binding {
    role = "roles/bigquery.dataViewer"
    members = [
      "serviceAccount:bqcx-1234567891011-abcd@gcp-sa-bigquery-condel.iam.gserviceaccount.com",
    ]
  }
}

resource "google_bigquery_dataset_iam_policy" "default" {
  dataset_id  = google_bigquery_dataset.default.dataset_id
  policy_data = data.google_iam_policy.default.policy_data
}

יצירת קבוצת נתונים עם מפתח הצפנה בניהול הלקוח

בדוגמה הבאה נוצר מערך נתונים בשם mydataset, ונעשה שימוש במשאבים google_kms_crypto_key ו-google_kms_key_ring כדי לציין מפתח של Cloud Key Management Service למערך הנתונים. לפני שמריצים את הדוגמה הזו, צריך להפעיל את Cloud Key Management Service API.

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  default_encryption_configuration {
    kms_key_name = google_kms_crypto_key.crypto_key.id
  }

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
  depends_on = [google_project_iam_member.service_account_access]
}

resource "google_kms_crypto_key" "crypto_key" {
  name     = "example-key"
  key_ring = google_kms_key_ring.key_ring.id
}

resource "random_id" "default" {
  byte_length = 8
}

resource "google_kms_key_ring" "key_ring" {
  name     = "${random_id.default.hex}-example-keyring"
  location = "us"
}

# Enable the BigQuery service account to encrypt/decrypt Cloud KMS keys
data "google_project" "project" {
}

resource "google_project_iam_member" "service_account_access" {
  project = data.google_project.project.project_id
  role    = "roles/cloudkms.cryptoKeyEncrypterDecrypter"
  member  = "serviceAccount:bq-${data.google_project.project.number}@bigquery-encryption.iam.gserviceaccount.com"
}

כך מחילים את ההגדרות של Terraform בפרויקט ב- Google Cloud :

הכנת Cloud Shell

  1. מפעילים את Cloud Shell.

  2. מגדירים את פרויקט ברירת המחדל ב- Google Cloud שבו רוצים להחיל את ההגדרות של Terraform.

    תצטרכו להריץ את הפקודה הזו רק פעם אחת לכל פרויקט, ותוכלו לעשות זאת בכל ספרייה.

    export GOOGLE_CLOUD_PROJECT=PROJECT_ID

    אם תגדירו ערכים ספציפיים בקובץ התצורה של Terraform, הם יבטלו את ערכי ברירת המחדל של משתני הסביבה.

הכנת הספרייה

לכל קובץ תצורה של Terraform צריכה להיות ספרייה משלו (שנקראת גם מודול ברמה הבסיסית).

  1. יוצרים ספרייה חדשה ב-Cloud Shell ובה יוצרים קובץ חדש. שם הקובץ חייב לכלול את הסיומת .tf, למשל main.tf. במדריך הזה, הקובץ נקרא main.tf. 
    mkdir DIRECTORY && cd DIRECTORY && touch main.tf

  2. אם אתם עוקבים אחרי המדריך, תוכלו להעתיק את הקוד לדוגמה בכל קטע או שלב.

    מעתיקים את הקוד לדוגמה בקובץ main.tf החדש שיצרתם.

    לחלופין, אפשר גם להעתיק את הקוד מ-GitHub. כדאי לעשות את זה כשקטע הקוד של Terraform הוא חלק מפתרון מקצה לקצה.

  3. בודקים את הפרמטרים לדוגמה ומשנים אותם בהתאם לסביבה שלכם.
  4. שומרים את השינויים.
  5. מפעילים את Terraform. צריך לעשות זאת רק פעם אחת לכל ספרייה. 
    terraform init

    אופציונלי: תוכלו לכלול את האפשרות -upgrade, כדי להשתמש בגרסה העדכנית ביותר של הספק של Google: 

    terraform init -upgrade

החלה של השינויים

  1. בודקים את ההגדרות ומוודאים שהמשאבים שמערכת Terraform תיצור או תעדכן תואמים לציפיות שלכם: 
    terraform plan

    מתקנים את ההגדרות לפי הצורך.

  2. מריצים את הפקודה הבאה ומזינים yes בהודעה שמופיעה, כדי להחיל את הגדרות Terraform: 
    terraform apply

    ממתינים עד שב-Terraform תוצג ההודעה "Apply complete!‎".

  3. פותחים את הפרויקט ב- Google Cloud כדי להציג את התוצאות. במסוף Google Cloud , נכנסים למשאבים בממשק המשתמש כדי לוודא שהם נוצרו או עודכנו ב-Terraform.

API

מפעילים את השיטה datasets.insert עם משאב של קבוצת נתונים מוגדר.

C#‎

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של C# במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery C# API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 


using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;

public class BigQueryCreateDataset
{
    public BigQueryDataset CreateDataset(
        string projectId = "your-project-id",
        string location = "US"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var dataset = new Dataset
        {
            // Specify the geographic location where the dataset should reside.
            Location = location
        };
        // Create the dataset
        return client.CreateDataset(
            datasetId: "your_new_dataset_id", dataset);
    }
}

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createDataset demonstrates creation of a new dataset using an explicit destination location.
func createDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.DatasetMetadata{
		Location: "US", // See https://cloud.google.com/bigquery/docs/locations
	}
	if err := client.Dataset(datasetID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetInfo;

public class CreateDataset {

  public static void runCreateDataset() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    createDataset(datasetName);
  }

  public static void createDataset(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetInfo datasetInfo = DatasetInfo.newBuilder(datasetName).build();

      Dataset newDataset = bigquery.create(datasetInfo);
      String newDatasetName = newDataset.getDatasetId().getDataset();
      System.out.println(newDatasetName + " created successfully");
    } catch (BigQueryException e) {
      System.out.println("Dataset was not created. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createDataset() {
  // Creates a new dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_new_dataset";

  // Specify the geographic location where the dataset should reside
  const options = {
    location: 'US',
  };

  // Create a new dataset
  const [dataset] = await bigquery.createDataset(datasetId, options);
  console.log(`Dataset ${dataset.id} created.`);
}
createDataset();

PHP

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של PHP במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery PHP API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->createDataset($datasetId);
printf('Created dataset %s' . PHP_EOL, $datasetId);

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to create.
# dataset_id = "{}.your_dataset".format(client.project)

# Construct a full Dataset object to send to the API.
dataset = bigquery.Dataset(dataset_id)

# TODO(developer): Specify the geographic location where the dataset should reside.
dataset.location = "US"

# Send the dataset to the API for creation, with an explicit timeout.
# Raises google.api_core.exceptions.Conflict if the Dataset already
# exists within the project.
dataset = client.create_dataset(dataset, timeout=30)  # Make an API request.
print("Created dataset {}.{}".format(client.project, dataset.dataset_id))

Ruby

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Ruby במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Ruby API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

require "google/cloud/bigquery"

def create_dataset dataset_id = "my_dataset", location = "US"
  bigquery = Google::Cloud::Bigquery.new

  # Create the dataset in a specified geographic location
  bigquery.create_dataset dataset_id, location: location

  puts "Created dataset: #{dataset_id}"
end

קבוצות נתונים מוסתרות

קבוצת נתונים מוסתרת היא קבוצת נתונים שהשם שלה מתחיל בקו תחתון. מערכי נתונים מוסתרים לא מוצגים במסוף Google Cloud , ולכן הם שימושיים לאחסון של מערכי נתונים אדמיניסטרטיביים ושל סביבת Staging.

אפשר ליצור קבוצות נתונים מוסתרות באופן ידני על ידי הוספת קו תחתון בתחילת השם של קבוצת הנתונים בזמן היצירה שלה. מערכי נתונים מוסתרים נוצרים באופן אוטומטי גם בשביל תוצאות של שאילתות שנשמרו במטמון.

אתם יכולים לשלוח שאילתות לטבלאות ולתצוגות במערכי נתונים מוסתרים באמצעות כלי שורת הפקודה של BigQuery או BigQuery API, באותו אופן שבו אתם עושים זאת בכל מערך נתונים אחר.

הגבלות על מערכי נתונים מוסתרים

אלה ההגבלות על קבוצות נתונים מוסתרות:

אבטחה של מערכי נתונים

במאמר שליטה בגישה למערכי נתונים מוסבר איך שולטים בגישה למערכי נתונים ב-BigQuery. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.

המאמרים הבאים