(יצא משימוש) מושגים שקשורים לנתונים מבוזרים
לפני שנעמיק במדריך המפורט לפריסת רשת נתונים באמצעות Google Cloud Cortex Framework, נסביר בדף הזה איך מושגים רלוונטיים של רשת נתונים מיושמים בדרך כלל במוצר של Google Cloud , ובאופן ספציפי בהקשר של Cortex Framework. אחרי שתבינו את המושגים של נתונים מבוזרים, תוכלו לעיין במדריך למשתמש של נתונים מבוזרים ל-Cortex Framework Data Foundation.
Knowledge Catalog
בטבלה הבאה מוגדרים המושגים של Data Mesh ב-Knowledge Catalog:
| מושג | תיאור | ההקשר של Cortex Framework |
| אגם | יחידה ברמה העליונה לארגון נתונים בתוך רשת נתונים. ניהול Knowledge Catalog – Lakes. | מקור נתונים, לדוגמה, SAP ECC, Salesforce, Google Ads.
|
| תחום (zone) | יחידה ברמה השנייה לארגון נתונים בתוך Lake. | שכבות עיבוד ספציפיות בתוך מקור נתונים, כמו נתונים גולמיים לעומת CDC. |
| נכס של Knowledge Catalog | הפניה לנתונים שמאוחסנים ב-Cloud Storage או ב-BigQuery ומשויכים לאזור. זוהי הפניה לנכס הנתונים ולא לנתונים עצמם. | הפניה למערכי נתונים ב-BigQuery שרשומים באזורים. |
| תווית | צמדי מפתח/ערך שרירותיים שאפשר להחיל על אגמים או אזורים. | אפשר לתייג אגמים או אזורים שלמים (ולא טבלאות או עמודות) באמצעות מטא-נתונים שאפשר לראות ב-Knowledge Catalog או להשתמש בהם באפליקציות בהתאמה אישית. |
| Data Catalog | מטא-נתונים טכניים של העסק שאפשר להשתמש בהם כדי לגלות, להבין או לנהל נכסי נתונים במחסן. | הוספת הערות לטבלאות או לעמודות (ולא לאגמים או לאזורים) באמצעות תגי מטא-נתונים עשירים, שאפשר להשתמש בהם בחיפוש ב-Knowledge Catalog או באפליקציות בהתאמה אישית. |
| תבניות של תגי קטלוג | תבנית שמגדירה את השדות הזמינים ואת הסוגים שלהם בתג. ניהול Knowledge Catalog – תבניות של תגים | מגדירים קבוצה של תבניות לשימושים כמו תיוג נכסי נתונים עם ענפים כלכליים (LOB). |
| תג קטלוג | קבוצה של שדות והערכים שלהם שמכילים מטא-נתונים שרלוונטיים לטבלה או לעמודה. מופע של תבנית תג. | להוסיף הערות לטבלה או לעמודה עם ערכי מטא-נתונים שרלוונטיים לנכס הזה, כמו ענף כלכלי מסוים. |
| מילון מונחים של קטלוג | מילון מונחים שאפשר להגדיר ולשייך לעמודות ב-BigQuery. ניהול Knowledge Catalog – מילוני מונחים. | הגדרת מונחים או ראשי תיבות שמופיעים בנכסי BigQuery. חשוב לדעת שהאפשרות הזו מתוכננת לעתיד ועדיין לא נתמכת. |
| שושלת נתונים | תרשים שמייצג את יחסי התלות של הנכסים ב-BigQuery. | הם לא מוגדרים על ידי Cortex Data Mesh, אבל הם כלי רלוונטי של Knowledge Catalog שעוזר למשתמשים לגלות מקורות נתונים של נכסי BigQuery. |
| אירוע שושלת | נקודת זמן שבה בוצעה פעולה להעברת נתונים בין נכסי BigQuery. מכיל רשימה של קישורים. | נוצר באופן אוטומטי לפעולות נתמכות ב-BigQuery וב-Composer. |
| קישור לשושלת היוחסין | קצה שמייצג נתונים שזורמים מנכס מקור לנכס יעד כחלק מאירוע שושלת. | אפשר לנתח את הנתונים האלה כדי לתמוך בתרחישי שימוש נוספים, מעבר לתרשימי ההמחשה של שושלת היוחסין שמוצגים במסוף. |
BigQuery
בטבלה הבאה מוגדרים המושגים של רשת נתונים ב-BigQuery:
| מושג | תיאור | ההקשר של Cortex Framework |
| טקסונומיית המדיניות | היררכיה של תגי מדיניות. ניהול BigQuery – תגי מדיניות. | ארגון תגי מדיניות קשורים שאפשר להשתמש בהם לבקרת גישה בהיררכיה עם הרשאות שעוברות בירושה. |
| תג מדיניות | תג שמוחל על עמודות ספציפיות בטבלה או בתצוגה ב-BigQuery. אפשר להחיל תגי מדיניות בכל רמה בהיררכיה. אפשר להחיל רק תג מדיניות אחד על עמודה מסוימת. | הוספת הערות לעמודות עם תגים שמשמשים לבקרת גישה ברמת העמודה. חשבונות המשתמשים בתג המדיניות מגדירים קוראים "ברמת פירוט גבוהה" או "ללא מסכה" שיכולים לראות את נתוני העמודה הגולמיים. |
| מדיניות בנושא נתונים | כללי מדיניות שחלים על תג מדיניות, שמגדירים איך ומי יכולים לראות את נתוני העמודה המוסתרים. | חשבונות המשתמשים במדיניות הנתונים מגדירים את "הקוראים המוסתרים" שיכולים לראות את נתוני העמודה המוסתרים. מי שאין לו הרשאות קריאה עם או בלי הסתרה לא יוכל לשלוח שאילתות לעמודה. |
| כלל הסתרה | כללים שחלים על מדיניות נתונים ומגדירים איך הנתונים מוסתרים, למשל גיבוב, הצגת ערך ברירת מחדל, ארבעת התווים האחרונים ועוד. | מופעלת במצבים מסוימים בעמודות רגישות. |
| מדיניות גישה לשורות | הצהרות SQL שמגדירות אילו קבוצות יכולות להריץ שאילתות על שורות בטבלאות, על סמך ערכים ספציפיים של עמודות. | משמש לבקרת גישה ברמת השורה כשבקרת הגישה ברמת הנכס והעמודה לא מספיקה. |
הקונספט של Cortex נתונים מבוזרים
בטבלה הבאה מוגדרים מושגים ספציפיים של רשת נתונים ב-Cortex Framework:
| מושג | תיאור | ההקשר של Cortex Framework |
| משאב מטא-נתונים | ישויות של מטא-נתונים שאפשר להשתמש בהן בכמה נכסים ב-BigQuery. לדוגמה: אגמים, תבניות תגים של קטלוג וטקסונומיות של מדיניות. אלה המטא-נתונים הספציפיים ולא הנתונים ב-BigQuery עצמו. | הגדרת משאבים לשימוש חוזר כדי לאפשר ניהול עקבי של רשת הנתונים של Cortex. |
| נכס BigQuery | טבלה או תצוגה מפורטת ב-BigQuery. | אובייקטים קיימים של Cortex BigQuery שמנוהלים באמצעות הנתונים המבוזרים. |
| הערות לנכסים ב-BigQuery | מטא-נתונים שחלים על טבלה ב-BigQuery או תצוגה ספציפית. המידע הזה כולל תיאורים, מדיניות גישה ומיפויים למשאבי מטא-נתונים. | שיוך מטא-נתונים לנכסי BigQuery כדי לאפשר גילוי ובקרת גישה. |
| מפרט המשאב (spec) | קובץ YAML שמגדיר משאב מטא-נתונים או הערה לנכס ב-BigQuery. | הקבוצה המלאה של מפרטי המשאבים מקודדת את ההגדרה של הנתונים המבוזרים לפריסה. |