שימוש ב-BigQuery Graph וב-Spanner Graph
במסמך הזה אנחנו משווים בין BigQuery Graph לבין Spanner Graph כדי לעזור לכם להחליט באיזה פתרון גרפים להשתמש.
ההשוואה הזו היא בגדר המלצה, ולא מיועדת להיות מוחלטת. יש חפיפה משמעותית בין התכונות של BigQuery Graph ו-Spanner Graph, והמשתמשים צריכים לזהות את צורכי עומס העבודה שלהם כדי לקבוע באיזו תכונה להשתמש.
מתי להשתמש ב-BigQuery Graph וב-Spanner Graph
BigQuery Graph ו-Spanner Graph מתאימים לסוגים שונים של עומסי עבודה בגרפים. BigQuery Graph מיועד לניתוח מעמיק בקנה מידה נרחב, ו-Spanner Graph מיועד לפעולות בזמן אמת.
BigQuery Graph
BigQuery Graph מותאם להרצת שאילתות מורכבות על תרשימים גדולים. אתם יכולים לנתח דפוסים גלובליים, לזהות מגמות היסטוריות ולחשוף קשרים נסתרים במערכי נתונים עצומים.
המאפיינים הטכניים שלו כוללים ביצועים אופטימליים בקנה מידה נרחב, עיבוד מקביל, שאילתות מורכבות בחלק משמעותי מהתרשים, מחשוב אינטנסיבי וצבירות מורכבות.
תרחישי שימוש נפוצים:
- זיהוי תרמיות אופליין: אתם יכולים למצוא משתמשים חשודים אחרים שקשורים לרמאים מוכרים בכל הרשת שלכם בתרשים לקוחות, בטווח של כמה דרגות של קשרים שחולקים את אותה כתובת אימייל, מספר טלפון או כתובת. במדריך Spanner ו-BigQuery: הגנה מפני הונאות בזמן אמת מוסבר איך לזהות הונאות.
- אופטימיזציה של שרשרת האספקה: בניית תרשים של מפרט החומרים שמייצג את הקשרים בין המוצרים הסופיים לבין הרכיבים שלהם, לצורך תכנון המלאי. חישוב תאריכי אספקת מוצרים והבנת זמינות החומרים על ידי ניתוח מוצרים ברמה העליונה עד לרכיבי הבסיס שלהם בכל קווי המוצרים.
- פילוח לקוחות ב-360 מעלות: בניית תרשים של לקוחות ב-360 מעלות כדי להבין את המסלולים להמרת לקוחות במינויים למוצרים, בהמרות ובנטישת לקוחות. אתם יכולים להשתמש בתרשים הזה כדי לזהות את הסיבות לנטישת לקוחות, לזהות דפוסי שימוש ולהשתמש בתרשים לפילוח לקוחות ולטירגוט לפי קהל בכל הקהל.
Spanner Graph
Spanner Graph מיועד לפעולות בזמן אמת. הוא מותאם לאפליקציות שצריכות לבצע שאילתות k-hop שנוגעות לקבוצה קטנה של רכיבי גרף באופן מיידי, לזהות הונאות באלפיות השנייה, לבצע מעקב אחר שושלת לאימות זהות ותלות, ולהציג המלצות בזמן אמת.
המאפיינים הטכניים שלו כוללים זמן אחזור צפוי עם ריצוד מינימלי, שאילתות לשנייה (QPS) שמשתנות באופן לינארי בהתאם למספר הצמתים של Spanner, וקנה מידה כמעט בלתי מוגבל. הוא כולל גם אחסון גרפים מובנה עם שילוב של טבלאות צמתים וקצוות, זמינות תמידית, עקביות גלובלית, חיפוש נקודתי ושאילתות עם כמה דילוגים שמתחילות מצומת גרף יחיד או מקבוצה של צומתי גרף.
תרחישי שימוש נפוצים:
- זיהוי הונאות בזמן אמת: בדיקת העברת כרטיס אשראי מול תרשים של מכשירים וחשבונות שידועים כמקורות להונאות, תוך אלפיות השנייה.
- תפעול רשת אוטונומי: אתם יכולים ליצור תאום דיגיטלי של הרשת שלכם כדי לעקוב אחרי הביצועים ולבצע אופטימיזציה בזמן אמת.
- זיהוי ישויות: יצירת אשכולות של זהויות מקושרות כמקור מידע מהימן מפרטים אישיים מזהים (PII) שונים (אימייל, טלפון, מזהה Venmo). להשתמש בפרופילים הקנוניים כדי לחפש זהויות לפני הצגת מודעות, לזהות הונאות בזמן אמת ולאמן Feature Store.
איך BigQuery Graph ו-Spanner Graph פועלים יחד
BigQuery Graph ו-Spanner Graph פועלים יחד כדי לספק פתרון מקיף. לדוגמה, בתרחיש לדוגמה של לקוח 360:
- תובנות בזמן אמת: נציג שירות לקוחות משתמש ב-Spanner Graph כדי לטפל בתלונות של משתמשים על משלוח של מוצר שגוי, על סמך נתונים סטטיסטיים של רכישות ומשלוחים בזמן אמת.
- שכפול או שאילתה: אתם יכולים לשכפל נתונים מ-Spanner ל-BigQuery באמצעות סנכרון שינויים בזרמי נתונים ב-Spanner בלי תהליך מורכב של חילוץ, טרנספורמציה וטעינה (ETL), או לשלוח שאילתות על נתונים ב-Spanner ישירות מ-BigQuery באמצעות שאילתות לכמה מסדי נתונים ב-BigQuery.
- ניתוח דפוסים: מדען נתונים משתמש ב-BigQuery Graph כדי לזהות "נקודות חמות של נטישה" באותם נתונים, כדי לתייג את הלקוח כ "בסיכון".
- לולאת משוב: התוויות "בסיכון" נשלחות אל Spanner Graph עם תמיכה בתהליך ETL (חילוץ, המרה וטעינה) הפוך, כדי ליצור קוד שובר ללקוח הזה ולמנוע נטישה.
העברת נתונים בין BigQuery Graph ל-Spanner Graph
אתם יכולים להעביר נתונים בין Spanner Graph ל-BigQuery Graph בהתאם לדרישות של עומס העבודה:
ETL קדימה: כדי להעביר נתונים מ-Spanner ל-BigQuery לצורך שאילתות ניתוח, משתמשים בתבנית Dataflow.
Reverse ETL: אתם יכולים לשלוח שאילתות על נתונים ב-Spanner ישירות מ-BigQuery Graph, אבל יכול להיות שבמקרים מסוימים תצטרכו להעביר נתונים מ-BigQuery ל-Spanner Graph. משתמשים בהצהרת ה-SQL
EXPORT DATA. מידע נוסף זמין במאמר הסבר על צינור עיבוד הנתונים של ETL הפוך.
השוואת תכונות
בטבלה הבאה מפורטות התכונות לפי המוצר שהן הכי מתאימות לו:
| תכונה | BigQuery Graph (אופליין/אצווה) | Spanner Graph (אונליין/בזמן אמת) |
|---|---|---|
| מודל, שאילתה והמחשה חזותית של גרף | מודלים מאוחדים של גרפים ושפת שאילתות של גרפים, שכולם מבוססים על GoogleSQL, חלק מתקן ISO SQL. אותו ממשק להמחשה באמצעות תרשים. | מודלים מאוחדים של גרפים ושפת שאילתות של גרפים, שכולם מבוססים על GoogleSQL, חלק מתקן ISO SQL. אותו ממשק להמחשה באמצעות תרשים. |
| עומס העבודה הראשי | אופליין (אצווה): צבירות של מערכי נתונים עצומים. | אונליין (בזמן אמת): נפח גבוה של קריאות/כתיבות עם זמן אחזור קצר. |
| זמן האחזור של השאילתה | שניות עד שעות. אופטימיזציה לסריקת טרה-בייטים/פטא-בייטים. | אלפיות השנייה לשניות. מדד קריטי לאפליקציות שגלויות למשתמשים. |
| מבנה השאילתה | גלובלי או כל הגרף: "למי יש 'היקף חשיפה ברשת' של יותר מ-5,000 אנשים?" | מקומי או שכונתי: "מי חברים של החברים שלי, אבל לא נמצאים במעגל הקרוב שלי?" |
| שינוי גודל | בקנה מידה של פטה-בייט, כמעט ללא הגבלה, מותאם לנתונים היסטוריים בקנה מידה גדול. | אפשרות להתאמה אופקית לעומס, כמעט ללא הגבלה, אופטימיזציה לנתונים בשימוש תכוף (hot data). |
| עדכניות הנתונים | כמעט בזמן אמת או באצווה. יכול לגשת לנתונים ממקורות שונים (לדוגמה, נתונים של Spanner Graph באמצעות Data Boost ל-Spanner, Bigtable, Cloud Storage או Amazon S3). | עקביות חזקה בזמן אמת. |
| קלט נתונים | אגמי נתונים (data lakes), יומנים היסטוריים, נתוני עסקאות שהועברו לארכיון. | שידורים חיים של אפליקציות, אינטראקציות של משתמשים. |
| העברת נתונים |
Spanner ל-BigQuery (חילוץ, טרנספורמציה וטעינה (ETL) קדימה) עם תבניות מוכנות מראש (אצווה, סטרימינג).
BigQuery ל-Spanner (ETL הפוך) באמצעות EXPORT_DATA.
איחוד שאילתות (zero-ETL) עם סכימה חיצונית.
|
Spanner ל-BigQuery (חילוץ, טרנספורמציה וטעינה (ETL) קדימה) עם תבניות מוכנות מראש (אצווה, סטרימינג).
BigQuery ל-Spanner (ETL הפוך) באמצעות EXPORT_DATA.
איחוד שאילתות (zero-ETL) עם סכימה חיצונית.
|