כדי לענות על הצרכים של צרכני הנתונים, חשוב לתכנן ולבנות בקפידה את מוצרי הנתונים ברשת הנתונים. העיצוב של מוצר נתונים מתחיל בהגדרה של האופן שבו צרכני הנתונים ישתמשו במוצר הזה, ואיך המוצר הזה ייחשף לצרכנים. מוצרי נתונים ברשת נתונים מבוזרת בנויים על גבי מאגר נתונים (לדוגמה, מחסן נתונים או אגם נתונים של דומיין). כשיוצרים מוצרי נתונים ברשת נתונים, יש כמה גורמים מרכזיים שמומלץ להביא בחשבון לאורך התהליך. השיקולים האלה מתוארים במסמך הזה.
המסמך הזה הוא חלק מסדרה שמתארת איך להטמיע רשת נתונים ב- Google Cloud. ההנחה היא שקראתם את המאמרים ארכיטקטורה ופונקציות ברשת נתונים ובניית רשת נתונים מודרנית ומבוזרת באמצעות Google Cloud, ואתם מכירים את המושגים שמתוארים בהם.
הסדרה כוללת את החלקים הבאים:
- ארכיטקטורה ופונקציות ברשת נתונים
- תכנון פלטפורמת נתונים בשירות עצמי לרשת נתונים
- פיתוח מוצרי נתונים ברשת נתונים (המסמך הזה)
- חיפוש ושימוש במוצרי נתונים ברשת נתונים
כשיוצרים מוצרי נתונים ממחסן נתונים של דומיין, מומלץ שיוצרי הנתונים יתכננו בקפידה ממשקי ניתוח (צריכה) למוצרים האלה. ממשקי הצריכה האלה הם קבוצה של הבטחות לגבי איכות הנתונים והפרמטרים התפעוליים, יחד עם מודל תמיכה במוצר ותיעוד של המוצר. העלות של שינוי ממשקי הצריכה היא בדרך כלל גבוהה, כי גם יצרן הנתונים וגם כמה צרכני נתונים צריכים לשנות את התהליכים והאפליקציות שלהם. מכיוון שסביר להניח שצרכני הנתונים נמצאים ביחידות ארגוניות נפרדות מאלה של יצרני הנתונים, יכול להיות שיהיה קשה לתאם את השינויים.
בקטעים הבאים מוסבר מה צריך להביא בחשבון כשיוצרים מחסן נתונים של דומיין, מגדירים ממשקי צריכה וחושפים את הממשקים האלה לצרכני נתונים.
יצירת מחסן נתונים (data warehouse) של דומיין
אין הבדל מהותי בין בניית מחסן נתונים עצמאי לבין בניית מחסן נתונים של דומיין, שממנו צוות מפיקי הנתונים יוצר מוצרי נתונים. ההבדל האמיתי היחיד בין השניים הוא שהאחרון חושף קבוצת משנה של הנתונים שלו דרך ממשקי הצריכה.
במחסני נתונים רבים, הנתונים הגולמיים שמוטמעים ממקורות נתונים תפעוליים עוברים תהליך של העשרה ואימות איכות הנתונים (ניהול). באגמי נתונים שמנוהלים באמצעות Knowledge Catalog, נתונים שנאספו בדרך כלל מאוחסנים בתחומים ייעודיים לאחסון נתונים מובְנים. בסיום תהליך הארגון, קבוצת משנה של הנתונים צריכה להיות מוכנה לשימוש מחוץ לדומיין באמצעות כמה סוגים של ממשקים. כדי להגדיר את ממשקי הצריכה האלה, הארגון צריך לספק קבוצת כלים לצוותי הדומיינים שמתחילים לאמץ גישה של נתונים מבוזרים. הכלים האלה מאפשרים ליצרני הנתונים ליצור מוצרי נתונים חדשים על בסיס שירות עצמי. במאמר תכנון פלטפורמת נתונים בשירות עצמי תוכלו לקרוא על שיטות מומלצות.
בנוסף, מוצרי הנתונים צריכים לעמוד בדרישות של משילות מידע (data governance) שמוגדרות באופן מרכזי. הדרישות האלה משפיעות על איכות הנתונים, על הזמינות שלהם ועל ניהול מחזור החיים שלהם. הדרישות האלה בונות את האמון של צרכני הנתונים במוצרי הנתונים ומעודדות את השימוש בהם, ולכן היתרונות של הטמעת הדרישות האלה שווים את המאמץ.
הגדרת ממשקי צריכה
אנחנו ממליצים ליצרני נתונים להשתמש בכמה סוגים של ממשקים, במקום להגדיר רק אחד או שניים. לכל סוג של ממשק בניתוח נתונים יש יתרונות וחסרונות, ואין סוג אחד של ממשק שמצטיין בכל התחומים. כשמפיקי הנתונים בוחנים את ההתאמה של כל סוג ממשק, הם צריכים להביא בחשבון את הדברים הבאים:
- יכולת לבצע את עיבוד הנתונים הנדרש.
- יכולת התאמה לעומס (scalability) כדי לתמוך בתרחישי שימוש נוכחיים ועתידיים של צרכני נתונים.
- הביצועים שנדרשים על ידי צרכני הנתונים.
- עלות הפיתוח והתחזוקה.
- עלות הפעלת הממשק.
- תמיכה בשפות ובכלים שבהם הארגון שלכם משתמש.
- תמיכה בהפרדה בין אחסון למחשוב.
לדוגמה, אם הדרישה העסקית היא להריץ שאילתות ניתוח נתונים על קבוצת נתונים בגודל פטה-בייט, הממשק המעשי היחיד הוא תצוגה של BigQuery. אבל אם הדרישות הן לספק נתונים בסטרימינג כמעט בזמן אמת, ממשק שמבוסס על Pub/Sub מתאים יותר.
רבים מהממשקים האלה לא דורשים מכם להעתיק או לשכפל נתונים קיימים. ברובם אפשר גם להפריד בין האחסון למחשוב, תכונה קריטית שלGoogle Cloud כלי ניתוח. הצרכנים של הנתונים שנחשפים דרך הממשקים האלה מעבדים את הנתונים באמצעות משאבי המחשוב שזמינים להם. יוצרי הנתונים לא צריכים להקצות תשתית נוספת.
יש מגוון רחב של ממשקי צריכה. הממשקים הבאים הם הנפוצים ביותר בשימוש ברשת נתונים מבוזרים, והם מפורטים בקטעים הבאים:
- תצוגות ופונקציות מורשות
- ממשקי API לקריאה ישירה
- נתונים כמקורות נתונים
- Data access API
- בלוקים של Looker
- מודלים של למידת מכונה (ML)
רשימת הממשקים במסמך הזה היא חלקית בלבד. יש גם אפשרויות אחרות שאפשר לשקול לממשקי הצריכה (לדוגמה, שיתוף ב-BigQuery (לשעבר Analytics Hub)). עם זאת, הממשקים האחרים האלה לא נכללים במסמך הזה.
תצוגות ופונקציות מורשות
ככל האפשר, מוצרי הנתונים צריכים להיחשף באמצעות תצוגות מורשות ופונקציות מורשות, כולל פונקציות עם ערכי טבלה. מערכי נתונים מורשים מספקים דרך נוחה לאשר כמה תצוגות באופן אוטומטי. שימוש בתצוגות מורשות מונע גישה ישירה למסדי הנתונים הטבלאיים, ומאפשר לכם לבצע אופטימיזציה של הטבלאות והשאילתות הבסיסיות, בלי להשפיע על השימוש של הצרכנים בתצוגות האלה. המשתמשים בממשק הזה משתמשים ב-SQL כדי להריץ שאילתות על הנתונים. בתרשים הבא מוצג השימוש במערכי נתונים מורשים כממשק הצריכה.

קבוצות נתונים ותצוגות מורשות מאפשרות ליצור בקלות גרסאות של ממשקים. כמו שמוצג בדיאגרמה הבאה, יש שתי גישות עיקריות לניהול גרסאות שיוצרי הנתונים יכולים להשתמש בהן:

אפשר לסכם את הגישות באופן הבא:
- ניהול גרסאות של מערך נתונים: בגישה הזו, אתם מנהלים את הגרסאות של שם מערך הנתונים.
אתם לא יוצרים גרסאות של התצוגות והפונקציות בתוך מערך הנתונים. שמות התצוגות והפונקציות נשארים זהים, בלי קשר לגרסה. לדוגמה, הגרסה הראשונה של מערך נתוני מכירות מוגדרת במערך נתונים בשם
sales_v1עם שתי תצוגות,catalogו-orders. בגרסה השנייה, השם של מערך הנתונים של המכירות שונה ל-sales_v2, וכל התצוגות הקודמות במערך הנתונים שומרות על השמות הקודמים שלהן אבל יש להן סכימות חדשות. יכול להיות שגם נוספו תצוגות חדשות לגרסה השנייה של מערך הנתונים, או שהוסרו ממנה תצוגות קודמות. - ניהול גרסאות של תצוגות: בגישה הזו, התצוגות בתוך מערך הנתונים מנוהלות לפי גרסאות, במקום מערך הנתונים עצמו. לדוגמה, קבוצת הנתונים של המכירות שומרת על השם
salesבלי קשר לגרסה. עם זאת, השמות של התצוגות בתוך קבוצת הנתונים משתנים כדי לשקף כל גרסה חדשה של התצוגה (למשלcatalog_v1,catalog_v2,orders_v1,orders_v2ו-orders_v3).
הגישה הטובה ביותר לניהול גרסאות בארגון תלויה במדיניות של הארגון ובמספר התצוגות שמתיישנות בעקבות העדכון של הנתונים הבסיסיים. ניהול גרסאות של מערכי נתונים הוא האפשרות הכי טובה כשצריך לעדכן מוצר באופן משמעותי ורוב התצוגות צריכות להשתנות. כך יש פחות תצוגות עם שמות זהים בקבוצות נתונים שונות, אבל זה יכול להוביל לאי-בהירות, למשל, איך לדעת אם צירוף בין קבוצות נתונים פועל בצורה נכונה. גישה משולבת יכולה להיות פשרה טובה. בגישה היברידית, מותר לבצע שינויים תואמים בסכימה בתוך מערך נתונים אחד, ושינויים לא תואמים דורשים מערך נתונים חדש.
שיקולים לגבי טבלאות BigLake
אפשר ליצור תצוגות מורשות לא רק בטבלאות ב-BigQuery, אלא גם בטבלאות BigLake. טבלאות BigLake מאפשרות לצרכנים לשלוח שאילתות לגבי הנתונים שמאוחסנים ב-Cloud Storage באמצעות ממשק ה-SQL של BigQuery. טבלאות BigLake תומכות בבקרת גישה פרטנית, בלי שצרכני הנתונים יצטרכו הרשאות קריאה לקטגוריה הבסיסית של Cloud Storage.
יצרני נתונים צריכים להביא בחשבון את הדברים הבאים לגבי טבלאות BigLake:
- העיצוב של פורמטי הקבצים ופריסת הנתונים משפיעים על ביצועי השאילתות. פורמטים מבוססי-עמודות, כמו Parquet או ORC, בדרך כלל מניבים ביצועים טובים יותר בשאילתות ניתוח מאשר פורמטים של JSON או CSV.
- פריסה מחולקת למחיצות של Hive מאפשרת לכם לקצץ מחיצות ולהאיץ שאילתות שמשתמשות בעמודות של חלוקה למחיצות.
- בשלב התכנון צריך גם להביא בחשבון את מספר הקבצים ואת ביצועי השאילתות המועדפים לגודל הקובץ.
אם שאילתות שמשתמשות בטבלאות BigLake לא עומדות בדרישות של הסכם רמת השירות (SLA) לממשק ואי אפשר לשנות אותן, מומלץ לבצע את הפעולות הבאות:
- אם יש נתונים שצריך לחשוף לצרכן הנתונים, צריך להמיר אותם לאחסון ב-BigQuery.
- מגדירים מחדש את התצוגות המורשות כך שישתמשו בטבלאות ב-BigQuery.
בדרך כלל, הגישה הזו לא גורמת לשיבושים אצל צרכני הנתונים, ולא דורשת שינויים בשאילתות שלהם. אפשר לבצע אופטימיזציה של השאילתות באחסון של BigQuery באמצעות שיטות שלא אפשריות בטבלאות BigLake. לדוגמה, באמצעות אחסון ב-BigQuery, הצרכנים יכולים לשלוח שאילתות לתצוגות מהותיות עם חלוקה למחיצות ואשכולות שונה מזו של מסדי הנתונים הטבלאיים, והם יכולים להשתמש ב-BigQuery BI Engine.
ממשקי API לקריאה ישירה
באופן כללי, אנחנו לא ממליצים ליצרני הנתונים לתת לצרכני הנתונים גישת קריאה ישירה למסדי הנתונים הטבלאיים, אבל לפעמים כדאי לאפשר גישה כזו מסיבות כמו ביצועים ועלות. במקרים כאלה, חשוב לוודא שסכימת הטבלה יציבה.
יש שתי דרכים לגשת ישירות לנתונים במחסן נתונים טיפוסי. מפיקי הנתונים יכולים להשתמש ב-BigQuery Storage Read API או ב-Cloud Storage JSON API או ב-Cloud Storage API בפורמט XML. התרשים הבא ממחיש שתי דוגמאות לצרכנים שמשתמשים בממשקי ה-API האלה. אחד הוא תרחיש לדוגמה של למידת מכונה (ML), והשני הוא משימה של עיבוד נתונים.

ניהול גרסאות של ממשק קריאה ישירה הוא מורכב. בדרך כלל, יצרני הנתונים צריכים ליצור טבלה אחרת עם סכימה שונה. הם גם צריכים לתחזק שתי גרסאות של הטבלה, עד שכל צרכני הנתונים של הגרסה שהוצאה משימוש יעברו לגרסה החדשה. אם הצרכנים יכולים לסבול את ההפרעה של בנייה מחדש של הטבלה ומעבר לסכימה החדשה, אפשר להימנע משכפול הנתונים. במקרים שבהם השינויים בסכימה יכולים להיות תואמים לדורות קודמים, אפשר להימנע מהעברת מסד הנתונים הטבלאי. לדוגמה, לא צריך להעביר את מסד הנתונים הטבלאי אם רק נוספו עמודות חדשות והנתונים בעמודות האלה מולאו מראש בכל השורות.
בטבלה הבאה מוצג סיכום של ההבדלים בין Storage Read API לבין Cloud Storage API. באופן כללי, ככל האפשר, אנחנו ממליצים ליצרני נתונים להשתמש ב-BigQuery API לאפליקציות של ניתוח נתונים.
Storage Read API: אפשר להשתמש ב-Storage Read API כדי לקרוא נתונים בטבלאות BigQuery ובטבלאות BigLake. ה-API הזה תומך בסינון ובבקרת גישה מפורטת, והוא יכול להיות אפשרות טובה לצרכנים של ניתוח נתונים יציב או של למידת מכונה.
Cloud Storage API: יכול להיות שיוצרי הנתונים יצטרכו לשתף קטגוריה מסוימת של Cloud Storage ישירות עם צרכני הנתונים. לדוגמה, יצרני הנתונים יכולים לשתף את הקטגוריה אם צרכני הנתונים לא יכולים להשתמש בממשק SQL מסיבה כלשהי, או אם הקטגוריה כוללת פורמטים של נתונים שלא נתמכים על ידי Storage Read API.
באופן כללי, אנחנו לא ממליצים ליצרני נתונים לאפשר גישה ישירה דרך ממשקי ה-API של האחסון, כי גישה ישירה לא מאפשרת סינון ובקרת גישה פרטנית. עם זאת, גישה ישירה יכולה להיות בחירה טובה למערכי נתונים יציבים וקטנים (בגודל של ג'יגה-בייטים).
אם תאפשרו ל-Pub/Sub לגשת לקטגוריה, צרכני הנתונים יוכלו להעתיק בקלות את הנתונים לפרויקטים שלהם ולעבד אותם שם. באופן כללי, אנחנו לא ממליצים להעתיק נתונים אם אפשר להימנע מכך. עותקים מרובים של נתונים מגדילים את עלות האחסון ומוסיפים לתקורה של התחזוקה והמעקב אחרי השושלת.
נתונים כמקורות נתונים
דומיין יכול לחשוף נתונים בסטרימינג על ידי פרסום הנתונים האלה בנושא Pub/Sub. מנויים שרוצים לצרוך את הנתונים יוצרים מינויים כדי לצרוך את ההודעות שפורסמו בנושא הזה. כל מנוי מקבל נתונים ומשתמש בהם באופן עצמאי. בתרשים הבא מוצגת דוגמה למקורות נתונים כאלה.

בתרשים, צינור עיבוד הנתונים של הטמעת הנתונים קורא אירועים גולמיים, מעשיר (אוצר) אותם ושומר את הנתונים שנאספו במאגר הנתונים לניתוח (טבלת הבסיס של BigQuery). במקביל, צינור עיבוד הנתונים מפרסם את האירועים המועשרים בנושא ייעודי. הנושא הזה נצרך על ידי כמה מנויים, וכל אחד מהם יכול לסנן את האירועים האלה כדי לקבל רק את האירועים שרלוונטיים לו. בנוסף, צינור עיבוד הנתונים צובר ומפרסם נתונים סטטיסטיים של אירועים בנושא משלו, כדי שצרכן נתונים אחר יעבד אותם.
ריכזנו כאן כמה תרחישים לדוגמה לשימוש במינויים ל-Pub/Sub:
- אירועים מועשרים, כמו מתן פרטים מלאים על פרופיל הלקוח יחד עם נתונים על הזמנה ספציפית של לקוח.
- התראות על צבירת נתונים כמעט בזמן אמת, כמו נתונים סטטיסטיים על סך ההזמנות ב-15 הדקות האחרונות.
- התראות ברמת העסק, כמו התראה אם נפח ההזמנות ירד ב-20% בהשוואה לתקופה דומה ביום הקודם.
- התראות על שינויים בנתונים (בדומה לקונספט של התראות על סימון נתונים שהשתנו), כמו שינוי סטטוס של הזמנה מסוימת.
פורמט הנתונים שבו משתמשים מפיקי הנתונים להודעות Pub/Sub משפיע על העלויות ועל אופן העיבוד של ההודעות האלה. לסטרימינג בנפח גבוה בארכיטקטורה של נתונים מבוזרים, הפורמטים Avro או Protobuf הם אפשרויות טובות. אם יצרני הנתונים משתמשים בפורמטים האלה, הם יכולים להקצות סכימות לנושאי Pub/Sub. הסכימות עוזרות לוודא שהצרכנים מקבלים הודעות בפורמט תקין.
מכיוון שמבנה הנתונים בסטרימינג יכול להשתנות כל הזמן, ניהול הגרסאות של הממשק הזה דורש תיאום בין יצרני הנתונים לבין צרכני הנתונים. יש כמה גישות נפוצות שיוצרי נתונים יכולים לנקוט:
- נושא חדש נוצר בכל פעם שמבנה ההודעה משתנה. לנושא הזה יש בדרך כלל סכימת Pub/Sub מפורשת. צרכני נתונים שצריכים את הממשק החדש יכולים להתחיל לצרוך את הנתונים החדשים. גרסת ההודעה משתמעת משם הנושא, לדוגמה,
click_events_v1. הפורמטים של ההודעות מוגדרים באופן קשיח. אין הבדל בפורמט של ההודעות באותו נושא. החיסרון בגישה הזו הוא שיכול להיות שחלק מהצרכנים של הנתונים לא יוכלו לעבור למינוי החדש. במקרה כזה, יצרן הנתונים צריך להמשיך לפרסם אירועים בכל הנושאים הפעילים למשך זמן מה, וצרכני הנתונים שנרשמים לנושא צריכים להתמודד עם פער בזרימת ההודעות או לבטל את הכפילויות של ההודעות. - הנתונים תמיד מתפרסמים באותו נושא. עם זאת, המבנה של ההודעה יכול להשתנות. מאפיין הודעה ב-Pub/Sub (נפרד מהמטען הייעודי) מגדיר את גרסת ההודעה. לדוגמה,
v=1.0. בגישה הזו לא צריך להתמודד עם פערים או כפילויות, אבל כל צרכני הנתונים צריכים להיות מוכנים לקבל הודעות מסוג חדש. בגישה הזו, יצרני הנתונים גם לא יכולים להשתמש בסכימות של נושאי Pub/Sub. - גישה משולבת. סכימת ההודעה יכולה לכלול קטע נתונים שרירותי שאפשר להשתמש בו לשדות חדשים. הגישה הזו יכולה לספק איזון סביר בין נתונים עם טיפוסים מוגדרים לבין שינויי גרסאות תכופים ומורכבים.
Data access API
יצרני נתונים יכולים ליצור API בהתאמה אישית כדי לגשת ישירות למסדי הנתונים הטבלאיים במחסן נתונים. בדרך כלל, היצרנים האלה חושפים את ה-API בהתאמה אישית כ-API ל-REST או כ-API ל-gRPC, ופורסים אותו ב-Cloud Run או באשכול Kubernetes. שער API כמו Apigee יכול לספק תכונות נוספות, כמו ויסות תנועה או שכבת מטמון. הפונקציות האלה שימושיות כשחושפים את ה-API לגישה לנתונים לצרכנים מחוץ לארגון ב- Google Cloud . מועמדים פוטנציאליים ל-API לגישה לנתונים הם שאילתות עם רגישות לזמן אחזור ושאילתות עם בו-זמניות גבוהה, ששתיהן מחזירות תוצאה קטנה יחסית ב-API יחיד וניתן לשמור אותן במטמון ביעילות.
דוגמאות ל-API מותאם אישית כזה לגישה לנתונים:
- תצוגה משולבת של מדדי ה-SLA של הטבלה או המוצר.
- 10 הרשומות המובילות (שעשויות להיות במטמון) מטבלה מסוימת.
- מערך נתונים של נתונים סטטיסטיים של טבלה (מספר השורות הכולל או התפלגות הנתונים בעמודות מפתח).
כל ההנחיות והכללים של הארגון לגבי פיתוח ממשקי API של אפליקציות חלים גם על ממשקי ה-API בהתאמה אישית שיוצרים מפיקי הנתונים. ההנחיות והמשילות של הארגון צריכות לכסות נושאים כמו אירוח, מעקב, בקרת גישה וניהול גרסאות.
החיסרון של API בהתאמה אישית הוא שיוצרי הנתונים אחראים לכל תשתית נוספת שנדרשת לאירוח הממשק הזה, וגם לקידוד ולתחזוקה של ה-API בהתאמה אישית. אנחנו ממליצים ליצרני הנתונים לבדוק אפשרויות אחרות לפני שהם מחליטים ליצור ממשקי API בהתאמה אישית לגישה לנתונים. לדוגמה, יצרני נתונים יכולים להשתמש ב-BigQuery BI Engine כדי להפחית את זמן האחזור של התגובה ולהגדיל את מספר המשתמשים בו-זמנית.
בלוקים של Looker
במוצרים כמו Looker, שמשתמשים בהם הרבה בכלי בינה עסקית (BI), יכול להיות שכדאי להחזיק קבוצה של ווידג'טים ספציפיים לכלי BI. צוות הפקת הנתונים מכיר את מודל הנתונים הבסיסי שמשמש בדומיין, ולכן הוא המתאים ביותר ליצור ולתחזק קבוצה מוגדרת מראש של תצוגות חזותיות.
במקרה של Looker, התצוגה החזותית הזו יכולה להיות קבוצה של בלוקים של Looker (מודלים של נתונים ב-LookML שנבנו מראש). אפשר לשלב בקלות את הבלוקים של Looker במרכזי בקרה שמתארחים אצל הצרכנים.
מודלים של למידת מכונה (ML)
לצוותים שעובדים בדומיינים של נתונים יש הבנה וידע מעמיקים לגבי הנתונים שלהם, ולכן הם בדרך כלל הצוותים הטובים ביותר לבנייה ולתחזוקה של מודלים של ML שמאומנים על נתוני הדומיין. אפשר לחשוף את המודלים האלה של למידת מכונה באמצעות כמה ממשקים שונים, כולל:
- אפשר לפרוס מודלים של BigQuery ML במערך נתונים ייעודי ולשתף אותם עם צרכני נתונים לצורך חיזויים באצווה ב-BigQuery.
- אפשר לייצא מודלים של BigQuery ML אל Gemini Enterprise Agent Platform כדי להשתמש בהם לחיזויים אונליין.
שיקולים לגבי מיקום הנתונים בממשקי צריכה
כשמפיקי נתונים מגדירים ממשקי צריכה למוצרי נתונים, אחד השיקולים החשובים הוא מיקום הנתונים. באופן כללי, כדי לצמצם את העלויות, כדאי לעבד את הנתונים באותו אזור שבו הם מאוחסנים. הגישה הזו עוזרת למנוע חיובים על תעבורת נתונים יוצאת בין אזורים. בגישה הזו גם זמן האחזור של צריכת הנתונים הוא הקצר ביותר. לכן, נתונים שמאוחסנים במיקומים של BigQuery במספר אזורים הם בדרך כלל המועמדים הטובים ביותר לחשיפה כמוצר נתונים.
עם זאת, מטעמי ביצועים, נתונים שמאוחסנים ב-Cloud Storage ונחשפים דרך טבלאות BigLake או ממשקי API לקריאה ישירה צריכים להיות מאוחסנים בקטגוריות אזוריות.
אם הנתונים שחשופים במוצר אחד נמצאים באזור אחד וצריך לאחד אותם עם נתונים בדומיין אחר באזור אחר, צרכני הנתונים צריכים להביא בחשבון את המגבלות הבאות:
אי אפשר להריץ שאילתות בין אזורים באמצעות BigQuery SQL. אם שיטת הצריכה העיקרית של הנתונים היא BigQuery SQL, כל הטבלאות בשאילתה צריכות להיות באותו מיקום.
ההתחייבויות לתעריף קבוע ב-BigQuery הן אזוריות. אם בפרויקט משתמשים רק בהתחייבות לתעריף קבוע באזור אחד, אבל שולחים שאילתות למוצר נתונים באזור אחר, חל תמחור על פי דרישה.
צרכני נתונים יכולים להשתמש בממשקי API לקריאה ישירה כדי לקרוא נתונים מאזור אחר. עם זאת, חלים חיובים על תעבורת נתונים יוצאת (egress) ברשת בין אזורים שונים, וסביר להניח שצרכני הנתונים יחוו זמן אחזור בהעברות נתונים גדולות.
כדי להפחית את העלות והזמן של אחזור השאילתות של צרכני המוצר, אפשר לשכפל לאזורים אחרים נתונים שניגשים אליהם לעיתים קרובות. לדוגמה, אפשר להעתיק מערכי נתונים של BigQuery לאזורים אחרים. עם זאת, צריך להעתיק נתונים רק כשזה נדרש. כשמעתיקים נתונים, מומלץ שיוצרי הנתונים יהפכו רק קבוצת משנה של נתוני המוצרים הזמינים לזמינה בכמה אזורים. הגישה הזו עוזרת לצמצם את זמן האחזור והעלות של הרפליקציה. בגישה הזו, יכול להיות שתצטרכו לספק כמה גרסאות של ממשק הצריכה, עם ציון מפורש של אזור מיקום הנתונים. לדוגמה, אפשר לחשוף תצוגות מורשות ב-BigQuery באמצעות שמות כמו sales_eu_v1 ו-sales_us_v1.
ממשקים של זרמי נתונים שמשתמשים בנושאי Pub/Sub לא צריכים לוגיקת שכפול נוספת כדי לצרוך הודעות באזורים שונים מהאזור שבו ההודעה מאוחסנת. עם זאת, במקרה כזה חלים חיובים נוספים על תעבורת נתונים יוצאת בין אזורים.
חשיפת ממשקי צריכה לצרכני נתונים
בקטע הזה נסביר איך להפוך את ממשקי הצריכה לגלויים לצרכנים פוטנציאליים. Knowledge Catalog הוא שירות שמנוהל במלואו שארגונים יכולים להשתמש בו כדי לספק שירותים של גילוי נתונים וניהול מטא-נתונים. מפיקי הנתונים צריכים להפוך את ממשקי הצריכה של מוצרי הנתונים שלהם לניתנים לחיפוש, ולהוסיף להם הערות עם המטא-נתונים המתאימים כדי שצרכני המוצרים יוכלו לגשת אליהם בשירות עצמי.
בקטעים הבאים מוסבר איך כל סוג ממשק מוגדר כרשומה ב-Knowledge Catalog.
ממשקי SQL שמבוססים על BigQuery
מטא-נתונים טכניים, כמו שם טבלה שמוגדר במלואו או סכימת טבלה, נרשמים באופן אוטומטי לתצוגות מורשות, לתצוגות BigLake ולטבלאות ב-BigQuery שזמינות דרך Storage Read API. אנחנו ממליצים שיוצרי הנתונים יספקו מידע נוסף במסמכי התיעוד של מוצר הנתונים כדי לעזור לצרכני הנתונים. לדוגמה, כדי לעזור למשתמשים למצוא את מסמכי התיעוד של המוצר, מפיקי הנתונים יכולים להוסיף כתובת URL להיבט שהוחל על הרשומה. היצרנים יכולים גם לספק את הפרטים הבאים:
- קבוצות של עמודות מקובצות, שבהן צריך להשתמש במסנני שאילתות.
- ערכי ספירה לשדות שיש להם סוג ספירה לוגי, אם הסוג לא מסופק כחלק מתיאור השדה.
- צירופים נתמכים עם טבלאות אחרות.
מקורות נתונים
נושאי Pub/Sub נרשמים באופן אוטומטי ב-Knowledge Catalog. עם זאת, יוצרי הנתונים חייבים לתאר את הסכימה במסמכי התיעוד של מוצר הנתונים.
Cloud Storage API
אתם יכולים להשתמש בגילוי אוטומטי ב-Knowledge Catalog כדי לסרוק נתונים בקטגוריות של Cloud Storage, ולחלץ ולקטלג מטא-נתונים. אם קבוצת קבצים של אגם נתונים מנוהלת על ידי Knowledge Catalog, קבוצת הקבצים נרשמת באופן אוטומטי גם ב-Knowledge Catalog.
ממשקים אחרים
אתם יכולים להוסיף ממשקים אחרים שלא נתמכים באופן מובנה ב-Knowledge Catalog, על ידי יצירת רשומות בהתאמה אישית.
המאמרים הבאים
- הטמעת עזר של ארכיטקטורת נתונים מבוזרים
- BigQuery
- מידע על Knowledge Catalog
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.