כדי להריץ שאילתות בזמן אמת על נתונים אנליטיים לצד הנתונים התפעוליים בלי ליצור צינורות עיבוד נתונים מורכבים, אתם יכולים להשתמש באיחוד של Lakehouse ב-AlloyDB ל-PostgreSQL. באמצעות התוסף bigquery_fdw, מערכת AlloyDB מפנה את השאילתות ל-BigQuery כדי לגשת לנתונים בזמן אמת ולפורמטים פתוחים כמו Apache Iceberg דרך טבלאות חיצוניות של BigLake, וכך אין צורך בהעברות מורכבות של ETL (חילוץ, טרנספורמציה, טעינה).
לחלופין, כדי לשלוח שאילתות לטבלאות Iceberg שמאוחסנות ב-Cloud Storage או רשומות בקטלוג ייעודי לזמן ריצה של Lakehouse בלי לנתב את הרצת השאילתות דרך BigQuery, אתם יכולים להשתמש במנוע מבוסס-העמודות של AlloyDB. מידע נוסף זמין במאמר גישה לנתוני Apache Iceberg מ-AlloyDB.
היתרונות של איחוד לייקהאוס
הגישה של איחוד לייקהאוס מציעה את היתרונות הבאים:
- Zero ETL: שליחת שאילתות לנתוני ניתוח ישירות בלי ליצור או לתחזק צינורות עיבוד נתונים מורכבים.
- תחביר מוכר: אפשר להשתמש בתחביר סטנדרטי של PostgreSQL כדי לשלוח שאילתות לנתונים ב-BigQuery.
- תובנות בזמן אמת: גישה לנתונים עדכניים לצד הטבלאות התפעוליות.
- העברת עומס החישוב: שימוש במנוע המבוזר של BigQuery לביצוע משימות כבדות באמצעות אופטימיזציה של דחיפה למטה (pushdown).
- גישה מורשית: כדי לוודא שרק חשבונות שירות מורשים יכולים לשלוח שאילתות לנתונים חיצוניים, השתמשו בניהול זהויות והרשאות גישה (IAM) לבקרת גישה מרוכזת.
תרחישים לדוגמה
איחוד Lakehouse תומך בתרחישים העסקיים והטכניים הבאים:
- עומסי עבודה של עיבוד טרנזקציות וניתוח נתונים היברידי (HTAP): אתם יכולים לשלוח שאילתות על נתונים תפעוליים בזמן אמת ב-AlloyDB ועל נתונים היסטוריים או אנליטיים ב-BigQuery או ב-Cloud Storage בו-זמנית, בלי להשפיע על ביצועי הטרנזקציות.
- תובנות בזמן אמת בלי צינורות עיבוד נתונים שבירים: אתם יכולים להימנע מהזמן האחזור וממצבי הכשל של תהליכי ETL מסורתיים. אתם יכולים לגשת לנתוני ניתוח עדכניים באופן מיידי כדי לקבל החלטות עסקיות על סמך המידע הכי עדכני.
- התממשקות של נתונים לתהליכי עבודה של Agentic Workflows: אתם יכולים להעביר נתוני ניתוח חיצוניים ל-AlloyDB כדי להשתמש במנוע מבוסס-העמודות של AlloyDB וביכולות של AlloyDB AI. כך אפשר לבצע חיפושים וקטוריים עם ביצועים גבוהים, הטמעות של למידת מכונה ו-Agentic Workflows מתקדמים מבוססי-AI בנתונים המאוגדים.
ארכיטקטורה וזרימת נתונים
בתרשים הבא מוצגים זרימת הנתונים והאינטראקציות בין הרכיבים כשמשתמשים באיחוד של Lakehouse:
כאן מתואר תהליך זרימת הנתונים של איחוד ה-lakehouse ב-AlloyDB:
- שליחת שאילתה: אתם שולחים שאילתת PostgreSQL רגילה למכונה של AlloyDB.
- תכנון ואופטימיזציה של שאילתות: מתכנן השאילתות של AlloyDB מזהה טבלאות שממופות למערכי נתונים חיצוניים של BigQuery באמצעות מעטפת הנתונים החיצוניים (FDW) של BigQuery.
- אופטימיזציה של דחיפה למטה: AlloyDB מבצע אופטימיזציה של השאילתה על ידי דחיפה למטה של מסננים וצבירות נתונים ספציפיים ישירות ל-BigQuery. כך הרשת מעבירה רק את השורות הרלוונטיות והמסוננות או את הסיכומים שנצברו מראש.
- ביצוע ואחזור: BigQuery מבצע את החלק שלו בשאילתה – סריקה ישירה של האחסון המובנה ב-BigQuery או קריאה של טבלאות Iceberg שמאוחסנות ב-Cloud Storage – ומעביר את מערך הנתונים שמתקבל בחזרה ל-AlloyDB.
- עיבוד סופי ותגובה: AlloyDB משלב את הנתונים החיצוניים עם טבלאות תפעוליות מקומיות, משלים את עיבוד השאילתה שנותר ומחזיר את התוצאה הסופית לאפליקציה.
שיקולים לגבי סוגי נתונים בשאילתות מאוחדות
כששולחים שאילתה לטבלה חיצונית ב-BigQuery מ-AlloyDB באמצעות איחוד נתונים ב-Lakehouse, הכלי לתכנון שאילתות ב-AlloyDB מפרש את סוגי הנתונים ב-BigQuery כסוגי נתונים תואמים ב-PostgreSQL. חשוב להבין את המיפויים האלה כדי לכתוב שאילתות נכונות ולהגדיר את הטבלאות החיצוניות שמשמשות את התוסף bigquery_fdw.
אם לסוג נתונים ב-BigQuery אין מיפוי ישיר או שהוא דורש טיפול מיוחד, יכול להיות שתצטרכו להשתמש בפונקציות CAST מפורשות בשאילתות, או ליצור תצוגה ב-BigQuery שמציגה את הנתונים עם סוגים תואמים.
רשימה של סוגי הנתונים הנתמכים וסוגי ה-PostgreSQL התואמים שלהם מופיעה בקטע מיפויים של סוגי נתונים.
אבטחה ובקרת גישה
הגישה לנתוני BigQuery מ-AlloyDB מנוהלת באמצעות IAM. כדי להגדיר אילו מערכי נתונים וטבלאות אפשר לשלוח בשאילתות, צריך להקצות תפקידי IAM ספציפיים לחשבון השירות של אשכול AlloyDB. כך אפשר לוודא שהשאילתות לכמה מסדי נתונים עומדות בדרישות של מדיניות משילות המידע המרכזית של הארגון, בלי לפגוע באבטחה. למידע נוסף, קראו על התפקידים הנדרשים.
Pushdown
אתם יכולים להשתמש בטכניקות של דחיפת מסננים וצבירה, שמאיצות את השאילתות ומפחיתות את העלויות על ידי סינון או סיכום של הנתונים ב-BigQuery לפני שהם מועברים או מעובדים על ידי AlloyDB. הגישה הזו מצמצמת את התנועה ברשת ואת השימוש בזיכרון, ומאפשרת לנתח מערכי נתונים עצומים במהירות וביעילות בלי לחרוג ממגבלות המשאבים.
העברת מסננים למטה
דחיפת מסננים, שנקראת גם דחיפת פרדיקטים, היא שיטת אופטימיזציה שמעבירה את סינון הנתונים קרוב ככל האפשר לשכבת האחסון, על ידי העברת מסנני השאילתות (באמצעות פסוקית WHERE) מ-AlloyDB ל-BigQuery.
באמצעות דחיפת מסננים, אתם יכולים להשתמש בשאילתות SQL עם משפט WHERE כדי לגשת לקבוצת משנה של נתונים מהטבלה המרוחקת. אפשר גם להעביר את הנתונים האלה לטבלה מקומית או לצרף אותם כמחיצה מקומית לטבלה ב-PostgreSQL.
הפעולות הנתמכות להעברת מסננים כוללות את הפעולות הבאות:
- אופרטורים רגילים להשוואה:
=,<,>,<=,>=,<> - אופרטורים לוגיים:
AND,ORו-NOT - התאמה לתבנית:
LIKEו-NOT LIKE - בדיקות ערכי null:
IS NULLו-IS NOT NULL
דחיפת צבירה (aggregate pushdown)
דחיפת צבירה היא אופטימיזציה מתקדמת של מסד נתונים שמבצעת חישובים, כמו SUM, COUNT, AVG או GROUP BY, קרוב ככל האפשר לשכבת האחסון. הדחיפה הזו מעריכה פונקציות סיכום ישירות ב-BigQuery, מה שיכול להפחית באופן משמעותי את מספר השורות שמוחזרות ל-AlloyDB.
הפעולות הנתמכות לדחיפת צבירה כוללות את הפעולות הבאות:
SUMCOUNTAVGMINMAX
הגבלת דחיפה למטה
Limit pushdown (שכולל את OFFSET pushdown) היא שיטת אופטימיזציה שמעבירה את הסעיפים LIMIT ו-OFFSET של השאילתה מ-AlloyDB ל-BigQuery.
כך BigQuery יכול להחזיר רק את קבוצת המשנה הספציפית של השורות המבוקשות, מה שמפחית באופן משמעותי את התנועה ברשת ואת זמן האחזור של השאילתה.
הגבלת דחיפה למטה מופעלת באופן אוטומטי בכל פעם שאפשר. צריך לוודא שהתנאים הבאים מתקיימים:
- השאילתה לא משתמשת באפשרות
WITH TIESבסעיףFETCH FIRST. - הביטויים
LIMITו-OFFSETהם קבועים בסיסיים או ביטויים שאפשר להעריך מרחוק.
עלות וחיוב ב-BigQuery
מעטפת הנתונים החיצוניים של BigQuery תלויה ברכיבים הבאים:
- תמחור המחשוב ב-BigQuery
- התמחור של BigQuery Storage API
מידע נוסף על התמחור ב-BigQuery
פרויקטים של סביבת זמן ריצה
ב-BigQuery, אתם יכולים לאחסן את הנתונים בפרויקט אחד ולהריץ את השאילתות בפרויקט אחר. הפרויקט שמריץ את השאילתות וצובר את עלויות המחשוב נקרא פרויקט זמן הריצה (או הפרויקט לחיוב).
הפרדת פרויקט סביבת זמן הריצה מפרויקט מאגר הנתונים מאפשרת לכם לבודד את עלויות המחשוב למרכזי עלויות ספציפיים, לנהל מכסות באופן עצמאי ולשלוט בהוצאות על עומסי עבודה שונים בלי להעביר את הנתונים הבסיסיים.
כשמגדירים את AlloyDB כדי לגשת לנתונים ב-BigQuery, אפשר לציין פרויקט זמן ריצה ברמת השרת (שחל על כל הטבלאות החיצוניות המשויכות) או ברמת הטבלה הספציפית. אם לא מציינים פרויקט זמן ריצה, AlloyDB משתמש כברירת מחדל בפרויקט שבבעלותו נמצאים הנתונים.
מגבלות
יכול להיות שב-AlloyDB וב-BigQuery נעשה שימוש בברירות מחדל שונות של איסוף נתונים, מה שעלול לגרום לתוצאות שונות של סידור נתונים או השוואת מחרוזות בין שתי המערכות. לדוגמה, יכול להיות שההתאמה שמוגדרת כברירת מחדל ב-PostgreSQL בגרסאות 15, 16 ו-17 תטפל באותיות רישיות באופן שונה במהלך המיון, בהשוואה להתאמה שמוגדרת כברירת מחדל ב-BigQuery, שמעריכה מחרוזות באופן קפדני על סמך מיקומי התווים שלהן ב-Unicode.
בכל חלק של שאילתה שמופעל מרחוק ב-BigQuery, ההשוואה מתבצעת לפי ההגדרות של BigQuery. כדי לצמצם את ההתנגשויות בין שיטות ההשוואה, כדאי להשתמש בשיטת ההשוואה
C.UTF-8בלי ICU ב-AlloyDB ובשיטת ההשוואה שמוגדרת כברירת מחדל (ריקה) ב-BigQuery.שאילתות שמחזירות כמות גדולה של נתונים מ-BigQuery, אחרי העברה למסד הנתונים, לא עוברות אופטימיזציה.
כשיוצרים טבלה חיצונית, AlloyDB לא מאמת באופן פעיל את הקיום או הסכימה של הטבלה המרוחקת ב-BigQuery.
אם שאילתה מאוחדת דורשת קריאה של כמות גדולה של נתונים, למשל אם אי אפשר להחיל דחיפת מסננים, יכול להיות שהשאילתה תיכשל בגלל מגבלות הגודל של התגובה מה-API של BigQuery. עדיין חלות המגבלות של BigQuery על גודל התגובה המקסימלי. מידע נוסף על המגבלות האלה זמין במאמר מכסות ומגבלות.
PostgreSQL ו-BigQuery מטפלים באופן שונה בדיוק עשרוני, בחילוק ובחישובים של ערכי ביניים. ההבדלים האלה יכולים לגרום לשינויים בעיגול, לאובדן דיוק או לשגיאות גלישה במהלך חישובים מורכבים. למידע נוסף, קראו את המאמרים סוגים עשרוניים ואופרטורים אריתמטיים.
ב-Database Migration Service אין תמיכה בהעברת טבלאות חיצוניות שנוצרו באמצעות התוסף
bigquery_fdw. כדי לעקוף את הבעיה, אתם יכולים להחריג את הטבלאות הזרות ממשימת ההעברה או להסיר אותן לפני שמתחילים את ההעברה, ואז ליצור אותן מחדש באשכול AlloyDB ביעד אחרי שההעברה מסתיימת.כששולחים שאילתות לטבלאות חיצוניות באמצעות התוסף
bigquery_fdw, המערכת של BigQuery בודקת את הרשאות הגישה לנתונים על סמך חשבון השירות של אשכול AlloyDB. גם אם משתמשי מסד הנתונים נכנסים באמצעות אימות IAM של מסד הנתונים, הרשאות המשתמש הספציפיות שלהם ב-IAM לא נבדקות מול הטבלאות המרוחקות ב-BigQuery. מידע נוסף זמין במאמר מתן גישה ל-AlloyDB למערך הנתונים ב-BigQuery.