כדי להגביל את השורות שחשבונות המשתמשים יכולים לראות, וכדי להסתיר או לחסום ערכים רגישים בעמודות בלי לשכפל את קובצי Cloud Storage הבסיסיים, אתם יכולים להגדיר ב-BigQuery בקרת גישה ברמת פירוט גבוהה (FGAC) בטבלאות Apache Iceberg שמנוהלות על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse. FGAC כולל אבטחה ברמת השורה ואבטחה ברמת העמודה עם אנונימיזציה דינמית של נתונים. במאמר הזה נסביר איך ליצור כללי מדיניות גישה ברמת השורה ולהחיל כללי מדיניות נתונים ישירות על עמודות.
כדי לצרף ולנהל כללי מדיניות גישה ברמת השורה וכללי מדיניות נתונים ברמת העמודה בטבלאות Apache Iceberg, מריצים הצהרות של שפת הגדרת נתונים (DDL) של GoogleSQL ב-BigQuery, שמשתמשות במזהה הטבלה P.C.N.T (Project.Catalog.Namespace.Table) שמורכב מארבעה חלקים. כשהקטלוג משתמש במצב הפצת פרטי כניסה, נקודת הקצה של קטלוג REST של Apache Iceberg אוכפת הגנה על הפצת פרטי כניסה בטבלאות שמוגנות באמצעות FGAC. נקודת הקצה מחזירה קוד סטטוס של HTTP 403 Forbidden לבקשות ישירות של פרטי כניסה ל-Cloud Storage, אלא אם לישות המורשית ששולחת את הבקשה יש גישה ללא אנונימיזציה (RAW_DATA_ACCESS_POLICY) לכל עמודה מוגנת, ואם לטבלה יש מדיניות גישה ברמת השורה, גישה לא מסוננת לשורות (FILTER USING (TRUE)).
מגבלות
בקרת גישה ברמת פירוט גבוהה בטבלאות Apache Iceberg שמנוהלות על ידי קטלוג ייעודי לזמן ריצה של Lakehouse כפופה למגבלות הבאות, בנוסף למגבלות הרגילות של מדיניות הנתונים בעמודות ולמגבלות האבטחה ברמת השורה:
- רק SQL DDL: אפשר לצרף, לעדכן או לנתק מדיניות נתונים של עמודות וליצור או למחוק מדיניות גישה ברמת השורה רק באמצעות הצהרות BigQuery GoogleSQL DDL (
CREATE TABLE,ALTER TABLE ... ADD COLUMN,ALTER TABLE ... ALTER COLUMN ... SET OPTIONS,CREATE ROW ACCESS POLICYו-DROP ROW ACCESS POLICY). אי אפשר לנהל את הקישורים האלה לטבלאות באמצעות מסוף Google Cloud , BigQuery API (tables.patch), כלי שורת הפקודה של BigQuery או Terraform. - חובה להשתמש במזהה טבלה של P.C.N.T עם ארבעה חלקים: כשמפנים לטבלת Apache Iceberg שמנוהלת על ידי קטלוג ייעודי לזמן ריצה של Lakehouse בהצהרות או בשאילתות DDL, צריך להשתמש בפורמט P.C.N.T (
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) עם ארבעה חלקים. - אין תמיכה בתגי מדיניות ובתגי משילות מידע (data governance): בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, אין תמיכה בתגי מדיניות (וטקסונומיות) של Data Catalog ובתגי משילות מידע של Resource Manager. כדי לאכוף אבטחה ברמת העמודה ואנונימיזציה של נתונים, צריך להחיל מדיניות נתונים ישירות על עמודות.
- אין תמיכה בשאילתות משנה במדיניות גישה ברמת השורה: מדיניות גישה ברמת השורה בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse לא תומכת בשאילתות משנה בביטוי הסינון
FILTER USING. - מעקה בטיחות להנפקת פרטי כניסה למנועי קוד פתוח: בקטלוגים שמוגדרים עם מצב הנפקת פרטי כניסה, נקודת הקצה של קטלוג Apache Iceberg REST מחזירה קוד סטטוס של HTTP
403 Forbiddenכשלקוח, כמו מנוע קוד פתוח, מבקש פרטי כניסה זמניים ל-Cloud Storage בשביל טבלה שמוגנת באמצעות FGAC. כדי לקבל פרטי כניסה שהונפקו, לחשבון המשתמש שמבצע את הקריאה צריכה להיות גישה לא מוסתרת (RAW_DATA_ACCESS_POLICY) לכל עמודה מוגנת. אם בטבלה יש כללי מדיניות גישה ברמת השורה, צריכה להיות לו גישה לא מסוננת לשורות (FILTER USING (TRUE)). במאמר הגדרת פרטי כניסה למנוע קוד פתוח בטבלאות שמוגנות באמצעות FGAC מוסבר איך עושים את זה. - מצב פרטי כניסה של משתמשי קצה: בקטלוגים שלא משתמשים במצב הפצת פרטי כניסה, BigQuery אוכף מדיניות גישה ברמת השורה וברמת העמודה רק על שאילתות שפועלות ב-BigQuery, ולא כשחשבונות משתמשים קוראים ישירות את קובצי Cloud Storage הבסיסיים. כדי למנוע מישויות מורשות לעקוף את בקרת הגישה המפורטת (FGAC) באמצעות קריאה ישירה של קובצי האחסון, השתמשו במצב הנפקת פרטי כניסה.
- אין תמיכה בקטלוגים מאוחדים: אי אפשר להשתמש בבקרת גישה ברמה מפורטת (אבטחה ברמת השורה ומדיניות נתונים ברמת העמודה) בקטלוגים מאוחדים או בטבלאות חיצוניות שהגישה אליהן מתבצעת באמצעות חיבורים חוצי-עננים.
לפני שמתחילים
-
מפעילים את BigLake API ואת BigQuery Data Policy API, אם הם עדיין לא מופעלים.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים. - מגדירים את הקטלוג הייעודי לזמן ריצה של Lakehouse עם נקודת הקצה של קטלוג REST של Apache Iceberg במצב הנפקת פרטי כניסה.
- יוצרים טבלת Apache Iceberg.
התפקידים הנדרשים
כדי לנהל ולשלוח שאילתות לגבי מדיניות של בקרת גישה פרטנית בטבלאות Apache Iceberg, צריך הרשאות של ניהול זהויות והרשאות גישה (IAM) גם בטבלת Lakehouse (biglake.*) וגם במדיניות הנתונים או במשימת השאילתה של BigQuery (bigquery.*).
כדי לקבל את ההרשאות שנדרשות להגדרה ולשליחת שאילתות של אבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
יצירה, עדכון, מחיקה או מתן גישה למדיניות נתונים:
- אדמין של מדיניות נתונים ב-BigQuery (
roles/bigquerydatapolicy.admin) בפרויקט - אדמין ב-BigQuery (
roles/bigquery.admin) בפרויקט - BigQuery Data Owner (
roles/bigquery.dataOwner) בפרויקט
- אדמין של מדיניות נתונים ב-BigQuery (
-
צירוף או ניתוק של מדיניות נתונים בעמודה בטבלת Apache Iceberg:
- BigLake Admin (
roles/biglake.admin) בטבלה, במרחב השמות, בקטלוג או בפרויקט - אדמין של מדיניות נתונים ב-BigQuery (
roles/bigquerydatapolicy.admin) בפרויקט שמכיל את מדיניות הנתונים
- BigLake Admin (
-
יצירה, עדכון, הצגה ברשימה או מחיקה של מדיניות גישה ברמת השורה בטבלת Apache Iceberg:
- BigLake Admin (
roles/biglake.admin) בטבלה, במרחב השמות, בקטלוג או בפרויקט - BigQuery Job User (
roles/bigquery.jobUser) בפרויקט השאילתה
- BigLake Admin (
-
שליחת שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC:
- BigLake Viewer (
roles/biglake.viewer) בטבלה, במרחב השמות, בקטלוג או בפרויקט - BigQuery Job User (
roles/bigquery.jobUser) בפרויקט השאילתה
- BigLake Viewer (
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להגדיר אבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, ולשלוח אליהן שאילתות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי להגדיר ולשלוח שאילתות לאבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, נדרשות ההרשאות הבאות:
-
יצירה, עדכון, מחיקה או מתן גישה למדיניות נתונים:
-
bigquery.dataPolicies.createבפרויקט -
bigquery.dataPolicies.updateבמדיניות בנושא נתונים -
bigquery.dataPolicies.deleteבמדיניות בנושא נתונים -
bigquery.dataPolicies.getבמדיניות בנושא נתונים -
bigquery.dataPolicies.setIamPolicyבמדיניות בנושא נתונים -
bigquery.jobs.createבפרויקט של השאילתה
-
-
מצרפים מדיניות נתונים לעמודה בטבלת Apache Iceberg:
-
biglake.tables.setColumnDataPolicyבטבלה (או מרחב השמות ב-CREATE TABLE) -
biglake.tables.updateבטבלה (אוbiglake.tables.createב-CREATE TABLE) -
bigquery.dataPolicies.getבמדיניות בנושא נתונים -
bigquery.dataPolicies.attachבמדיניות בנושא נתונים -
bigquery.jobs.createבפרויקט של השאילתה
-
-
ניתוק מדיניות נתונים מעמודה בטבלת Apache Iceberg:
-
biglake.tables.setColumnDataPolicyבטבלה -
biglake.tables.updateבטבלה -
bigquery.jobs.createבפרויקט של השאילתה
-
-
יצירה או עדכון של מדיניות גישה ברמת השורה:
-
biglake.rowAccessPolicies.createבטבלה -
biglake.rowAccessPolicies.updateבטבלה -
biglake.rowAccessPolicies.setIamPolicyבטבלה -
biglake.tables.getDataבטבלת היעד -
bigquery.jobs.createבפרויקט של השאילתה
-
-
הצגה של כללי מדיניות גישה ברמת השורה:
-
biglake.rowAccessPolicies.listבטבלה -
biglake.rowAccessPolicies.getבטבלה -
biglake.rowAccessPolicies.getIamPolicyבטבלה
-
-
מוחקים מדיניות אחת או את כל כללי המדיניות של גישה ברמת השורה:
-
biglake.rowAccessPolicies.deleteבטבלה -
biglake.rowAccessPolicies.setIamPolicyבטבלה -
biglake.rowAccessPolicies.listבטבלה (כשמבטלים את כל כללי המדיניות) -
bigquery.jobs.createבפרויקט של השאילתה
-
-
שליחת שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC:
-
biglake.tables.getבטבלה -
biglake.tables.getDataבטבלה -
bigquery.jobs.createבפרויקט של השאילתה
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
בנוסף להרשאות IAM ברמת הטבלה, כללי המדיניות המפורטים בטבלה צריכים גם לאשר את חשבונות המשתמשים שמבצעים את השאילתות:
- אבטחה ברמת העמודה: צריך להעניק לחשבון המשתמש את ההרשאה
FINE_GRAINED_READברשימתgranteesשלRAW_DATA_ACCESS_POLICY(לערכים לא מוסתרים) או שלDATA_MASKING_POLICY(לערכים מוסתרים) שמצורפת לעמודה ששלחתם אליה שאילתה. - אבטחה ברמת השורה: החשבון הראשי צריך להיכלל ב-
grantee_listשל מדיניות גישה ברמת השורה בטבלה, שמעניקה לו באופן אוטומטי את התפקידroles/biglake.filteredDataViewerשמנוהל על ידי המערכת. התפקיד הזה כולל את ההרשאהbiglake.rowAccessPolicies.getFilteredData.
בנוסף להרשאות IAM ברמת הטבלה, כללי המדיניות הפרטניים בטבלה צריכים גם לתת גישה לחשבונות המשתמשים שמריצים את השאילתות:
- אבטחה ברמת העמודה: צריך להעניק לחשבון המשתמש את ההרשאה
FINE_GRAINED_READברשימתgranteesשלRAW_DATA_ACCESS_POLICY(לערכים לא מוסתרים) או שלDATA_MASKING_POLICY(לערכים מוסתרים) שמצורפת לעמודה ששלחתם אליה שאילתה. - אבטחה ברמת השורה: החשבון הראשי צריך להיכלל ב-
grantee_listשל מדיניות גישה ברמת השורה בטבלה, שמעניקה לו באופן אוטומטי את התפקידroles/biglake.filteredDataViewerשמנוהל על ידי המערכת. התפקיד הזה כולל את ההרשאהbiglake.rowAccessPolicies.getFilteredData.
הגדרת אבטחה ברמת העמודה והסתרת נתונים
כדי להגדיר בקרת גישה ברמת העמודה והסתרת מידע דינמית בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך ליצור כללי מדיניות נתונים ב-BigQuery ולצרף אותם ישירות לעמודות בטבלה באמצעות GoogleSQL DDL. למידע נוסף על מושגים כלליים והגדרות של כללי הסתרה, קראו את המאמרים מבוא להסתרת נתונים והסתרת נתונים באמצעות החלת מדיניות נתונים על עמודה.
יצירת מדיניות נתונים
מדיניות נתונים מגדירה כלל הסתרת נתונים (DATA_MASKING_POLICY) או גישה לנתונים גולמיים שלא הוסתרו (RAW_DATA_ACCESS_POLICY). אפשר ליצור כללי מדיניות נתונים באמצעות GoogleSQL DDL או BigQuery Data Policy API v2.
בהתאם לתרחיש לדוגמה, מריצים את אחת מההצהרות הבאות:
כדי ליצור מדיניות נתונים עם ביטוי הסתרה מוגדר מראש (כמו
SHA256אוALWAYS_NULL), מריצים את ההצהרהCREATE DATA_POLICY:CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME` OPTIONS ( data_policy_type = "DATA_MASKING_POLICY", masking_expression = "SHA256" );כדי ליצור מדיניות גישה לנתונים גולמיים שמאשרת לחשבונות משתמשים לקרוא ערכי עמודות לא מוסתרים, מגדירים את
data_policy_typeל-RAW_DATA_ACCESS_POLICY:CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME` OPTIONS ( data_policy_type = "RAW_DATA_ACCESS_POLICY" );
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud. -
LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים (לדוגמה,usאוus-central1). -
MASKING_POLICY_NAME: שם ייחודי למדיניות של הסתרת המידע. -
RAW_POLICY_NAME: שם ייחודי למדיניות הגישה לנתונים גולמיים.
הענקה או ביטול של הרשאת קריאה מפורטת
כשמחילים מדיניות נתונים ישירות על עמודות, הרשימה grantees במדיניות הנתונים קובעת את הרשאת הקריאה בזמן השאילתה. ב-GoogleSQL, אתם מעניקים או מבטלים את ההרשאה FINE_GRAINED_READ במדיניות הנתונים:
- הקצאת
FINE_GRAINED_READב-DATA_MASKING_POLICYנותנת לחשבון המשתמש גישת קריאה מוסתרת לעמודות שמוגנות על ידי המדיניות הזו. - הקצאת ההרשאה
FINE_GRAINED_READב-RAW_DATA_ACCESS_POLICYנותנת לחשבון הראשי גישת קריאה לא מוסתרת (גולמית) לעמודות שמוגנות על ידי המדיניות הזו.
- משתמש:
principal://goog/subject/USER_EMAIL - חשבון שירות:
principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL - קבוצה ב-Google:
principalSet://goog/group/GROUP_EMAIL
כדי לנהל גישת קריאה פרטנית במדיניות נתונים, מריצים את אחת מההצהרות הבאות:
כדי לתת לחשבונות משתמשים גישת קריאה פרטנית למדיניות נתונים, מריצים את ההצהרה GRANT
FINE_GRAINED_READ:
GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
TO "principal://goog/subject/USER_EMAIL",
"principalSet://goog/group/GROUP_EMAIL";
כדי לבטל את הרשאת הקריאה המפורטת של חשבון ראשי, מריצים את ההצהרה REVOKE
FINE_GRAINED_READ:
REVOKE FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
FROM "principal://goog/subject/USER_EMAIL";
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים. -
DATA_POLICY_NAME: השם של מדיניות הגישה לנתונים הגולמיים או למדיניות של הסתרת המידע. -
USER_EMAIL: כתובת האימייל של חשבון המשתמש. -
GROUP_EMAIL: כתובת האימייל של קבוצת Google.
צירוף מדיניות נתונים לעמודות באמצעות P.C.N.T DDL
כדי לצרף מדיניות נתונים לעמודות בטבלת Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, משתמשים בפורמט P.C.N.T (PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) שמורכב מארבעה חלקים:
מזהה. בהתאם לתרחיש לדוגמה, מריצים את אחת מההצהרות הבאות:
כדי לצרף מדיניות נתונים לעמודה קיימת, מוסיפים (
+=) לאפשרותdata_policiesשל העמודה ומריצים את ההצהרהALTER TABLE ... ALTER COLUMN SET OPTIONS:ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ALTER COLUMN COLUMN_NAME SET OPTIONS ( data_policies += ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}", "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"] );כדי להוסיף עמודה חדשה עם מדיניות נתונים מצורפת, מריצים את ההצהרה
ALTER TABLE ... ADD COLUMN:ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ADD COLUMN COLUMN_NAME STRING OPTIONS ( data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}"] );כדי ליצור טבלת Apache Iceberg חדשה עם מדיניות נתונים מצורפת לעמודות, מריצים את ההצהרה
CREATE TABLE:CREATE TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ( id INT64, COLUMN_NAME STRING OPTIONS ( data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}", "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"] ) );
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים. -
COLUMN_NAME: שם העמודה שרוצים להגן עליה. -
LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים. -
MASKING_POLICY_NAMEו-RAW_POLICY_NAME: השמות של מדיניות הנתונים שרוצים לצרף.
ניתוק או החלפה של מדיניות נתונים בעמודות
כדי להסיר או להחליף מדיניות נתונים בעמודה בטבלת Apache Iceberg, משתמשים באחת מההצהרות הבאות עם מזהה הטבלה P.C.N.T שמורכב מארבעה חלקים:
כדי להסיר את כל מדיניות הנתונים מעמודה, מגדירים את
data_policiesלמערך ריק ([]):ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ALTER COLUMN COLUMN_NAME SET OPTIONS ( data_policies = [] );כדי להחליף את מדיניות הנתונים הקיימת בעמודה ברשימה חדשה, משתמשים באופרטור
=במקום באופרטור+=:ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ALTER COLUMN COLUMN_NAME SET OPTIONS ( data_policies = ["{'name':'PROJECT_ID.region-LOCATION.NEW_POLICY_NAME'}"] );כדי למחוק מדיניות נתונים אחרי שמנתקים אותה מכל עמודות הטבלה שמפנות אליה, מריצים את ההצהרה
DROP DATA_POLICY:DROP DATA_POLICY IF EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`;
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T -
COLUMN_NAME: שם העמודה -
LOCATION: המיקום של מדיניות הנתונים באזור או במספר אזורים -
NEW_POLICY_NAMEו-MASKING_POLICY_NAME: השמות של כללי מדיניות הנתונים שרוצים לצרף או למחוק.
הגדרת אבטחה ברמת השורה
כדי להגביל את הגישה לשורות ספציפיות בטבלת Apache Iceberg שמנוהלת על ידי קטלוג ייעודי לזמן ריצה של Lakehouse, אתם יכולים ליצור כללי מדיניות גישה ברמת השורה באמצעות הצהרות GoogleSQL DDL שמשתמשות במזהה הטבלה P.C.N.T שמורכב מארבעה חלקים. למידע נוסף על מושגים כלליים של אבטחה ברמת השורה ועל סמנטיקה של מסננים, קראו את המאמר שימוש באבטחה ברמת השורה.
יצירה או עדכון של מדיניות גישה ברמת השורה
כשמגדירים אבטחה ברמת השורה בטבלה, יוצרים מדיניות עם סעיף FILTER
USING (TRUE) לאדמינים ולחשבונות שירות של כותבים שצריכים גישה מלאה לשורות, ואז יוצרים כללי מדיניות מסוננים לקבוצות משתמשים ספציפיות.
נותנים גישה מלאה לשורות (
FILTER USING (TRUE)) לאדמינים של הטבלה או לחשבונות שירות עם הרשאת כתיבה:CREATE OR REPLACE ROW ACCESS POLICY ADMIN_POLICY_NAME ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` GRANT TO ("group:ADMIN_GROUP_EMAIL") FILTER USING (TRUE);יוצרים מדיניות גישה ברמת השורה שמסננת שורות על סמך ביטוי פרדיקט:
CREATE OR REPLACE ROW ACCESS POLICY FILTER_POLICY_NAME ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` GRANT TO ("user:USER_EMAIL", "group:ANALYST_GROUP_EMAIL") FILTER USING (FILTER_EXPRESSION);מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_POLICY_NAMEו-FILTER_POLICY_NAME: שמות ייחודיים למדיניות הגישה ברמת השורה בטבלה. -
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים. -
ADMIN_GROUP_EMAIL,USER_EMAILו-ANALYST_GROUP_EMAIL: כתובות האימייל של קבוצות Google או של המשתמשים שקיבלו גישה לשורות. -
FILTER_EXPRESSION: ביטוי של מסנן בוליאני שמוערך כמו פסוקיתWHERE(לדוגמה,region = 'APAC').
-
מחיקת כללי מדיניות גישה ברמת השורה
כדי להסיר כללי מדיניות גישה ברמת השורה מטבלת Apache Iceberg, מריצים אחת מההצהרות הבאות:
כדי למחוק מדיניות גישה ספציפית ברמת השורה כשמדיניות גישה אחרת ברמת השורה נשארת בטבלה, מריצים את ההצהרה
DROP ROW ACCESS POLICY:DROP ROW ACCESS POLICY IF EXISTS FILTER_POLICY_NAME ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;כדי למחוק את מדיניות הגישה האחרונה שנותרה ברמת השורה או את כל כללי מדיניות הגישה ברמת השורה בטבלה, מריצים את ההצהרה
DROP ALL ROW ACCESS POLICIES:DROP ALL ROW ACCESS POLICIES ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
מחליפים את מה שכתוב בשדות הבאים:
-
FILTER_POLICY_NAME: השם של מדיניות הגישה ברמת השורה שרוצים למחוק. -
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T
שליחת שאילתות לטבלה שמוגנת באמצעות FGAC ב-BigQuery
כשחשבון משתמש שולח שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC ב-BigQuery, באמצעות המזהה P.C.N.T שמורכב מארבעה חלקים, BigQuery מעריך את כללי המדיניות ברמת השורה וברמת העמודה בזמן השאילתה:
- הערכה ברמת השורה: חשבונות משתמשים ב-
grantee_listשל מדיניות אחת או יותר של בקרת גישה ברמת השורה רואים את איחוד השורות שתואמות לפרדיקטים שלfilter_expressionבמדיניות הזו. חשבונות משתמשים שלא נכללים במדיניות גישה ברמת השורה בטבלה לא רואים שורות בכלל. - הערכה ברמת העמודה:
- חשבונות משתמשים שקיבלו את ההרשאה
FINE_GRAINED_READב-RAW_DATA_ACCESS_POLICYשמצורף לעמודה יכולים לראות נתונים לא מוסתרים (גולמיים). - חשבונות משתמשים שקיבלו את התפקיד
FINE_GRAINED_READב-DATA_MASKING_POLICY(ולא ב-RAW_DATA_ACCESS_POLICYלאותה עמודה) רואים נתונים מוסתרים. אם כמה כללי מדיניות של הסתרת מידע חלים על אותו חשבון משתמש בעמודה, BigQuery בוחר את הכלל לפי היררכיית הכללים של הסתרת המידע. - חשבונות משתמשים שלא קיבלו את ההרשאה
FINE_GRAINED_READבאף מדיניות נתונים שמצורפת לעמודה מוגנת, יקבלו את השגיאהAccess Deniedכשישלחו שאילתה לעמודה הזו. חשבונות המשתמשים האלה עדיין יכולים לשלוח שאילתות לעמודות לא מוגנות באופן מפורש או להשתמש ב-SELECT * EXCEPT(PROTECTED_COLUMN).
- חשבונות משתמשים שקיבלו את ההרשאה
לדוגמה, השאילתה הבאה מחזירה ערכים של שורות ועמודות בהתאם למדיניות של מבצע הקריאה:
SELECT id, COLUMN_NAME
FROM `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
מחליפים את מה שכתוב בשדות הבאים:
-
COLUMN_NAME: שם העמודה שרוצים לשלוח אליה שאילתה. -
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים.
הגדרת פרטי כניסה למנוע קוד פתוח בטבלאות שמוגנות באמצעות FGAC
כשמנוע שאילתות בקוד פתוח (כמו Apache Spark, Trino או Apache Flink) קורא מטבלה של Apache Iceberg או כותב אליה בקטלוג שמוגדר עם מצב הפצת פרטי כניסה, המנוע קורא לנקודת הקצה של קטלוג ה-REST של Apache Iceberg כדי לקבל פרטי כניסה ל-Cloud Storage עם היקף מצומצם וזמן קצר.
בגלל שהגישה הישירה לקבצים ב-Cloud Storage עוקפת את הערכת המדיניות בזמן השאילתה ב-BigQuery, נקודת הקצה של קטלוג ה-REST של Apache Iceberg אוכפת מעקה בטיחות להנפקת פרטי כניסה. אם ישות מורשית מבקשת פרטי כניסה לאחסון של טבלה שמוגנת באמצעות FGAC, מעקה הבטיחות מחזיר קוד סטטוס של HTTP 403 Forbidden, אלא אם לישות המורשית יש גישה מלאה לטבלה:
- גישה לנתונים לא מוסתרים (גולמיים) בכל העמודות המוגנות: לכל עמודה מוגנת בטבלה צריך להיות גם
RAW_DATA_ACCESS_POLICYמצורף. נותנים לחשבון המשתמש שמבצע את הקריאה את ההרשאהFINE_GRAINED_READב-RAW_DATA_ACCESS_POLICY. - גישה לא מסוננת לשורות (כל השורות): אם לטבלה מצורפות מדיניות גישה ברמת השורה, מקצים לחשבון הראשי ששולח את הקריאה מדיניות גישה ברמת השורה עם פסוקית
FILTER USING (TRUE).
מתן גישה מלאה לחשבון שירות של כותב מנוע בקוד פתוח
חשבון שירות שמריץ משימות של מנוע קוד פתוח, כמו משימות ב-Managed Service for Apache Spark או ב-Dataflow, צריך גישה מלאה לטבלה כדי לקבל פרטי כניסה שהונפקו לטבלת Apache Iceberg שמוגנת באמצעות FGAC. כדי לתת את הגישה הזו, מבצעים את השלבים הבאים ב-BigQuery:
מתן גישה לנתונים גולמיים (
RAW_DATA_ACCESS_POLICY) בכל העמודות המוגנות: מצרפיםRAW_DATA_ACCESS_POLICYלכל עמודה מוגנת בטבלה, ואז נותנים את ההרשאהFINE_GRAINED_READלחשבון השירות באמצעות מזהה החשבון שלו ב-IAM v2,principal://IAM.googleapis.com/projects/-/serviceAccounts/SA_EMAIL:-- 1. Create a raw data access policy (if not already created) CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME` OPTIONS ( data_policy_type = "RAW_DATA_ACCESS_POLICY" ); -- 2. Grant FINE_GRAINED_READ on the raw data access policy to the writer service account GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME` TO "principal://iam.googleapis.com/projects/-/serviceAccounts/WRITER_SA_EMAIL"; -- 3. Attach the raw data access policy to each protected column on the table ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` ALTER COLUMN COLUMN_NAME SET OPTIONS ( data_policies += ["{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"] );הקצאת מדיניות גישה לכל השורות אם מופעלת אבטחה ברמת השורה: אם לטבלה יש מדיניות גישה ברמת השורה, מקצים לחשבון השירות מדיניות גישה ברמת השורה עם סעיף
FILTER USING (TRUE):CREATE OR REPLACE ROW ACCESS POLICY WRITER_ROW_POLICY_NAME ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` GRANT TO ("serviceAccount:WRITER_SA_EMAIL") FILTER USING (TRUE);
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T -
LOCATION: המיקום של מדיניות הנתונים באזור או במספר אזורים -
RAW_POLICY_NAME: השם של מדיניות הגישה לנתונים גולמיים -
COLUMN_NAME: השם של כל עמודה מוגנת בטבלה -
WRITER_ROW_POLICY_NAME: שם ייחודי למדיניות הגישה ברמת השורה של הכותב -
WRITER_SA_EMAIL: כתובת האימייל של חשבון השירות ששולח קריאה לנקודת הקצה של קטלוג REST של Apache Iceberg, לדוגמהspark-writer-sa@PROJECT_ID..