שינוי טבלה מאפשר לפתח את הסכימה (למשל, להוסיף עמודות) ולעדכן את מאפייני המטא-נתונים של הטבלה.
השינויים מנוהלים על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse.
לפני שמתחילים
-
מפעילים את BigLake API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים. - מגדירים את הקטלוג הייעודי לזמן ריצה של Lakehouse עם נקודת הקצה (endpoint) של קטלוג REST של Apache Iceberg.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לשינוי טבלה, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הפרויקט וקטגוריית האחסון:
-
שינוי טבלה במצב הפצת פרטי כניסה:
BigLake Editor (
roles/biglake.editor) – הפרויקט -
שינוי טבלה במצב שאינו מצב הפצת פרטי כניסה:
- עריכת BigLake (
roles/biglake.editor) – הפרויקט - משתמש באובייקטים באחסון (
roles/storage.objectUser) – הקטגוריה של Cloud Storage
- עריכת BigLake (
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יכולות ותמיכה בטבלאות
כשמשתמשים בטבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse, כדאי להבין את סוגי הטבלאות השונים ואת יכולות ההצטרפות שלהן. סקירה כללית על טבלאות Apache Iceberg
טבלאות Iceberg נתמכות
יש תמיכה רק בטבלאות Apache Iceberg בגרסה 2 (GA) ובגרסה 3 (תצוגה מקדימה). אין תמיכה בטבלאות Iceberg V1. כדי לשדרג טבלאות קיימות בגרסה 1, קראו את המאמר שדרוג טבלאות Iceberg מגרסה 1 לגרסה 2.
שימוש באפשרויות של הטבלה (גרסת טרום-השקה (Preview))
כדי להשתמש ביכולות שמנוהלות על ידי BigQuery, כמו שפת הטיפול בנתונים (DML) ב-BigQuery וניהול אוטומטי של טבלאות, אתם יכולים להגדיר מאפייני טבלה ספציפיים. התכונות האלה מופעלות בדרכים שונות, בהתאם למקום שבו הטבלה נוצרה:
- מ-BigQuery: כברירת מחדל, מופעלים BigQuery DML וניהול אוטומטי של טבלאות.
- ממנועי קוד פתוח: כדי להצטרף, צריך להגדיר במפורש את מאפייני הטבלה. מידע נוסף זמין במאמר הגדרת אפשרויות טבלה.
הוראות מפורטות זמינות במאמר הגדרת אפשרויות טבלה.
שינוי טבלה
כדי להוסיף עמודה לטבלה:
המסוף
במסוף Google Cloud , נכנסים לדף Lakehouse.
בוחרים קטלוג קיים או יוצרים קטלוג חדש אם אין לכם אחד.
בטבלה Namespace details, בוחרים טבלה ומרחיבים את אפשרויות התפריט.
לוחצים על Edit.
מעדכנים את ערכי הטבלה בתיבת הדו-שיח. בקטע Properties, אתם יכולים להוסיף או לשנות מאפיינים כמו
gcp.biglake.bigquery-dml.enabledו-gcp.biglake.table-management.enabledכדי להפעיל או להשבית את BigQuery DML או את ניהול הטבלאות האוטומטי.לדוגמה, אתם יכולים להגדיר את הערכים האלה ל-
trueכדי להפעיל את היכולות האלה. מידע נוסף זמין במאמר הגדרת אפשרויות טבלה.לוחצים על Save.
Spark
spark.sql("ALTER TABLE TABLE_NAME ADD COLUMNS ( desc string);")
spark.sql("DESCRIBE NAMESPACE_NAME.TABLE_NAME").show()
כדי להפעיל יכולת פעולה הדדית של קריאה/כתיבה וניהול טבלאות, מגדירים את המאפיינים באמצעות המשפט SET TBLPROPERTIES:
SET TBLPROPERTIES (
'gcp.biglake.bigquery-dml.enabled' = true,
'gcp.biglake.table-management.enabled' = true
)
Trino
ALTER TABLE TABLE_NAME ADD COLUMN desc varchar;
DESCRIBE SCHEMA_NAME.TABLE_NAME;
כדי להפעיל יכולת פעולה הדדית של קריאה/כתיבה וניהול טבלאות, אתם יכולים להגדיר את מאפייני הטבלה הבאים:
'gcp.biglake.bigquery-dml.enabled' = true'gcp.biglake.table-management.enabled' = true
gcloud
כדי לעדכן את מאפייני הטבלה באמצעות gcloud, מריצים את הפקודה gcloud biglake iceberg tables update.
gcloud biglake iceberg tables update TABLE_NAME \ --project="PROJECT_ID" \ --catalog="CATALOG_ID" \ --namespace="NAMESPACE_NAME" \ --update-properties="KEY=VALUE,..."
מחליפים את מה שכתוב בשדות הבאים:
-
TABLE_NAME: השם של טבלת Iceberg. -
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
CATALOG_ID: מזהה הקטלוג. -
NAMESPACE_NAME: השם של מרחב השמות של הקטלוג. -
KEY=VALUE,...: מאפייני הטבלה שרוצים להוסיף או לעדכן.
BigQuery
כדי לעדכן את המאפיינים של טבלת Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse מ-BigQuery (למשל, הפעלת BigQuery DML או ניהול אוטומטי של טבלאות), משתמשים בהצהרת GoogleSQL הבאה: ALTER TABLE
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
SET OPTIONS (`properties.gcp.biglake.table-management` = "enabled");
כדי לעדכן את הסכימה ולהוסיף עמודה בטבלת Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse מ-BigQuery, משתמשים בהצהרת GoogleSQL הבאה (ALTER TABLE):
ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
ADD COLUMN new_column STRING;
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
CATALOG_ID: המזהה של הקטלוג הייעודי לזמן ריצה ב-Lakehouse. -
NAMESPACE: השם של מרחב השמות של Iceberg. -
TABLE_NAME: השם של טבלת Iceberg.
REST
כדי לשמור שינויים בטבלת Iceberg באמצעות ה-API בארכיטקטורת REST, שולחים בקשת POST לנקודת הקצה (endpoint) UpdateIcebergTable (CommitTable):
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/tables/TABLE_NAME
גוף הבקשה חייב להכיל מטען ייעודי (payload) תקין של Iceberg CommitTableRequest בפורמט JSON, שמגדיר את הדרישה הבסיסית ואת רשימת עדכוני המטא-נתונים שצריך להחיל.
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
CATALOG_ID: מזהה הקטלוג. -
NAMESPACE_NAME: השם של מרחב השמות של הקטלוג. -
TABLE_NAME: השם של טבלת Iceberg.