הבנת המונחים העיקריים של Lakehouse ללא גבולות עוזרת להעריך את הארכיטקטורות של Lakehouse ולהגדיר קטלוגים, טבלאות, מנועי שאילתות ופיקוח ב- Google Cloud. כל רשומה מגדירה מושג מרכזי שמופיע במסמכי התיעוד של Lakehouse, ומקשרת למדריכים מפורטים. כדי לראות איך הרכיבים האלה משתלבים יחד, קראו את המאמר איך פועל Lakehouse ללא גבולות.
יסודות Lakehouse
המושגים הבאים הם הבסיס לארכיטקטורת Lakehouse של Google Cloud.
lakehouse
data lakehouse משלב את החיסכון בעלויות והגמישות של data lake עם ניהול הנתונים והביצועים של מחסן נתונים. הוא מאפשר לאחסן נתונים בפורמטים פתוחים ב-Cloud Storage ולהשתמש בתכונות של BigQuery, כמו אמצעי בקרה מדויקים לאבטחה ושאילתות מהירות.
ארכיטקטורת מדליון
דפוס עיצוב נפוץ ב-lakehouse הוא ארכיטקטורת מדליון, שמארגנת את הנתונים באופן לוגי בשכבות הדרגתיות של מבנה ואיכות:
- שכבת ברונזה (נתונים גולמיים): הטמעה ואחסון של נתונים גולמיים בפורמטים פתוחים כמו Apache Iceberg ב-Cloud Storage.
- שכבת כסף (מטוהרת): מטהרת, מסננת ומעשירה את הנתונים הגולמיים לטבלאות סטנדרטיות.
- שכבת הזהב (השכבה המאורגנת): מספקת טבלאות מאורגנות ומצטברות ברמה העסקית. בדרך כלל משתמשים ב-BigQuery כדי להציג את שכבת הזהב לצריכה, לדיווח ולניתוח בביצועים גבוהים.
יכולת פעולה הדדית פתוחה
יכולת פעולה הדדית פתוחה היא היכולת של כמה מערכות אנליטיות ומערכות טרנזקציות – כמו BigQuery, Apache Spark, Apache Flink ו-Trino – לפעול על עותק יחיד של נתונים בפורמטים פתוחים כמו Apache Iceberg. כך לא צריך לשכפל נתונים, ואפשר לראות את הנתונים באופן עקבי בכל הכלים.
קטלוג ייעודי לזמן ריצה של Lakehouse
הקטלוג הייעודי לזמן ריצה של Lakehouse הוא שירות מטא-נתונים מרכזי בלי שרת (serverless), שמשמש כמקור האמת היחיד של Lakehouse ב-Google Cloud. הוא מאפשר לכמה מנועים, כמו Apache Spark, Apache Flink, Trino ו-BigQuery, לגלות את אותן טבלאות ולשלוח אליהן שאילתות בו-זמנית. מנועים מתחברים אליו דרך נקודות קצה (endpoints) של קטלוג. מידע נוסף זמין במאמר מידע על הקטלוג הייעודי לזמן ריצה של Lakehouse.
היררכיית המשאבים
הקטלוג הייעודי לזמן ריצה של Lakehouse מארגן את המטא-נתונים בהיררכיה שתואמת לתקנים של Apache Iceberg, וממפה זהויות לוגיות לנתיבי אחסון פיזיים.
קטלוג
קטלוג הוא מאגר לוגי ברמה העליונה בקטלוג הייעודי לזמן ריצה של Lakehouse. הוא מגדיר איפה אפשר לאחסן את נתוני הטבלה ואיזה אזור מציג את המטא-נתונים שלה. מידע נוסף זמין במאמר יצירת קטלוג.
סוגי קטלוגים
כשיוצרים קטלוג, בוחרים בין שני מודלים של אחסון:
- קטלוג עם כמה קטגוריות (מומלץ): מאפשר לתת שם לקטלוג באופן עצמאי ולהגדיר מיקום אחסון שמוגדר כברירת מחדל (
default_location) ועד 128 קטגוריות נוספות של Cloud Storage או נתיבי משנה ב-restricted_locations. כשמגדירים מנועי שאילתות של לקוחות (כמו Spark או Trino), מגדירים את הנתיב של המחסן ל-bl://projects/PROJECT_ID/catalogs/CATALOG_ID. - קטלוג עם קטגוריה אחת: הגדרה מדור קודם שבה הקטלוג נעול לקטגוריה אחת של Cloud Storage ויורש את השם של הקטגוריה.
כשמגדירים מנועי שאילתות של לקוחות, מגדירים את הנתיב של המחסן ל-
gs://CLOUD_STORAGE_BUCKET_NAME.
מידע נוסף זמין במאמר קטלוגים ומיקומי אחסון.
מרחב שמות
מרחב שמות הוא קיבוץ לוגי של טבלאות בתוך קטלוג. למשתמשים שמכירים את BigQuery, מרחב שמות דומה מבחינה פונקציונלית למערך נתונים. מרחבי שמות יורשים את האזור של הקטלוג הראשי שלהם, ואי אפשר להגדיר אותם כמרחבי שמות מקוננים.
טבלה
טבלה היא הישות שמפנה לנתונים ב-Cloud Storage. בטבלאות Apache Iceberg, המטא-נתונים של הטבלה מכילים את הסכימה, מידע על החלוקה למחיצות ומצביע למצב הנוכחי של הטבלה באמצעות קובץ metadata.json. במאמר סוגי טבלאות מפורטים סוגי הטבלאות שנתמכים ב-Lakehouse.
מוסכמת מתן השמות P.C.N.T
מוסכמת השמות P.C.N.T היא מוסכמה בת ארבעה חלקים שמשמשת לזיהוי ייחודי של טבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse ולשליחת שאילתות לגביהן מ-BigQuery. הוא מייצג את Project.Catalog.Namespace.Table:
- Project: מזהה הפרויקט ב- Google Cloud .
- Catalog: שם הקטלוג בקטלוג הייעודי לזמן ריצה של Lakehouse.
- מרחב שמות: הקיבוץ הלוגי של הטבלאות (בדומה למערך נתונים).
- טבלה: השם של טבלת הנתונים.
נקודות קצה של קטלוגים
נקודת קצה של קטלוג היא ממשק פרוטוקול שמנועי שאילתות משתמשים בו כדי להתחבר לקטלוג ייעודי לזמן ריצה של Lakehouse. נקודת הקצה שבה אתם משתמשים קובעת באילו פורמטים של טבלאות ומנועים אתם יכולים לעבוד.
נקודת הקצה של קטלוג REST של Apache Iceberg
נקודת הקצה של קטלוג REST של Apache Iceberg מטמיעה את התקן הפתוח Iceberg REST Catalog API. זו נקודת הקצה המומלצת לעומסי עבודה חדשים, והיא מספקת יכולת פעולה הדדית של קריאה וכתיבה בין מנועי קוד פתוח לבין BigQuery. הוא תומך בקטלוגים של כמה קטגוריות, בהנפקת פרטי כניסה וברפליקציה בין אזורים (גרסת טרום-השקה). מידע נוסף זמין בסקירה הכללית על נקודת הקצה של קטלוג Apache Iceberg REST.
נקודת הקצה של קטלוג Apache Hive
נקודת הקצה של קטלוג Apache Hive מספקת תאימות לעומסי עבודה בקוד פתוח שתלויים בממשק של Apache Hive metastore (HMS). מכיוון שהקטלוג הייעודי לזמן ריצה של Lakehouse משרת את נקודת הקצה הזו, אתם יכולים להריץ עומסי עבודה של Apache Hive או Spark בלי לתחזק מאגר מטא-נתונים של Hive באירוח עצמי. נקודת הקצה מנהלת טבלאות Hive ו-Spark רגילות במקום טבלאות Apache Iceberg, ותומכת במפתחות הצפנה בניהול הלקוח (CMEK) לנתונים ב-Cloud Storage. למידע נוסף, קראו על נקודת הקצה של קטלוג Hive.
קטלוג Apache Iceberg בהתאמה אישית ל-BigQuery
הקטלוג המותאם אישית של Apache Iceberg ל-BigQuery הוא שילוב מוקדם יותר שמשתמש בפלאגין של קטלוג (BigQueryMetastoreCatalog) כדי לאפשר למנועי קוד פתוח לאחסן הגדרות של טבלאות Apache Iceberg ב-BigQuery. מרחבי שמות ממופים למערכי נתונים ב-BigQuery, כך שאתם יכולים לשלוח שאילתות לטבלאות האלה באמצעות תחביר סטנדרטי של מערכי נתונים ב-BigQuery. בעומסי עבודה חדשים, השתמשו במקום זאת בנקודת הקצה של קטלוג REST של Apache Iceberg. מידע נוסף זמין במאמר קטלוג Apache Iceberg בהתאמה אישית ל-BigQuery.
סוגי טבלאות
Lakehouse של Google Cloud תומך בכמה סוגי טבלאות, בהתאם למנוע שמשמש לניהול הנתונים ולנקודת הקצה של הקטלוג שבה אתם משתמשים. למידע נוסף, קראו את המאמר השוואה בין סוגי טבלאות.
טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse
אלה טבלאות Apache Iceberg שהקטלוג הייעודי לזמן ריצה של Lakehouse מנהל ומציג דרך נקודת הקצה של קטלוג Apache Iceberg REST, והנתונים מאוחסנים ב-Cloud Storage. למנועי קוד פתוח יש גישת קריאה וכתיבה לטבלאות האלה. ל-BigQuery יש גישת קריאה וגישת כתיבה (גרסת טרום-השקה) כשמפעילים את BigQuery DML. זו האפשרות המומלצת לרוב עומסי העבודה ב-open lakehouse. מידע נוסף זמין במאמר ניהול טבלאות Apache Iceberg.
טבלאות Apache Hive
אלה טבלאות רגילות של Apache Hive ו-Spark, בפורמטים כמו Parquet, ORC, Avro ו-Delta Lake, שמנוהלות על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse דרך נקודת הקצה של הקטלוג של Apache Hive. למנועי קוד פתוח יש גישת קריאה וכתיבה, ול-BigQuery יש גישת קריאה בלבד. כדי להשתמש בטבלאות Delta Lake, צריך ליצור אותן באמצעות מנוע תואם ל-Delta, כמו Apache Spark, ולרשום אותן במטא-נתונים. מידע נוסף זמין במאמר פורמטים וסוגים נתמכים של אחסון.
טבלאות ב-BigQuery
הטבלאות האלה מנוהלות באמצעות BigQuery.
טבלאות מנוהלות של Apache Iceberg
אלה טבלאות Apache Iceberg שיוצרים מ-BigQuery ומאחסנים ב-Cloud Storage. BigQuery מטפל בכל פריסת הנתונים והאופטימיזציה. כמה מנועים יכולים לקרוא את הטבלאות האלה, אבל BigQuery הוא המנוע היחיד שיכול לכתוב אליהן ישירות. הטבלאות האלה שונות מטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse. מידע נוסף זמין במאמר טבלאות מנוהלות של Apache Iceberg.
טבלאות מותאמות
הטבלאות האלה מנוהלות על ידי BigQuery והנתונים מאוחסנים ב-BigQuery. אתם יכולים לקשר את הטבלאות האלה לקטלוג הייעודי לזמן ריצה של Lakehouse.
טבלאות חיצוניות
טבלאות חיצוניות נמצאות מחוץ לקטלוג הייעודי לזמן ריצה של Lakehouse. הנתונים והמטא-נתונים שלהן מנוהלים באופן עצמאי באחסון כמו Cloud Storage, Amazon S3 או Azure Blob Storage, ו-BigQuery ניגש אליהם באמצעות חיבורים. ב-BigQuery אפשר רק לקרוא מהטבלאות האלה.
תכונות ואפשרויות של טבלאות
התכונות הבאות חלות על טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, אלא אם צוין אחרת.
גרסאות של טבלאות Apache Iceberg
הקטלוג הייעודי לזמן ריצה של Lakehouse תומך בטבלאות Apache Iceberg בגרסה 2 ובגרסה 3 (תצוגה מקדימה). טבלאות V3 תומכות בווקטורים של מחיקה בינארית, שמאפשרים למחוק שורות ספציפיות בלי לשכתב קובצי נתונים שלמים. טבלאות Iceberg V1 לא נתמכות, קודם צריך לשדרג אותן ל-V2. מידע נוסף זמין במאמר שימוש בווקטורים בינאריים של מחיקה בטבלאות Iceberg V3.
התפתחות הטבלה
התפתחות הטבלה מאפשרת לשנות את הסכימה או את מפרט המחיצה של הטבלה לאורך זמן, בלי לשכתב את נתוני הטבלה או ליצור אותה מחדש. טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse תומכות כברירת מחדל גם בשמות גמישים של עמודות, כך ששמות העמודות יכולים להכיל תווים כמו רווחים ותווים בינלאומיים.
מסע בזמן
התכונה "מסע בזמן" מאפשרת לשלוח שאילתות לגבי נתונים בטבלה כפי שהיו בנקודת זמן ספציפית או במזהה ספציפי של תמונת מצב. האפשרות הזו שימושית לביקורת, לשחזור ניסויים או לשחזור נתונים אחרי מחיקה בטעות. מנועי קוד פתוח יכולים לבצע נסיעה בזמן בתוך תקופת השמירה שהוגדרה במאפייני הטבלה, ואילו הנסיעה בזמן ב-BigQuery מוגבלת לשבעה ימים.
אפשרויות טבלה
אפשרויות הטבלה הן מאפייני טבלה שמפעילים יכולות בניהול Google לטבלאות Apache Iceberg נפרדות. מידע נוסף זמין במאמר הגדרת אפשרויות טבלה.
BigQuery DML
BigQuery DML נמצא בגרסת טרום-השקה (Preview). כשמגדירים את המאפיין gcp.biglake.bigquery-dml.enabled של הטבלה, BigQuery יכול ליצור, לשנות ולעדכן את הטבלה באמצעות הצהרות DDL ו-DML של GoogleSQL (INSERT, UPDATE, DELETE ו-MERGE), בזמן שמנועי קוד פתוח ממשיכים לקרוא את אותה טבלה ולכתוב בה.
ניהול טבלאות
ניהול טבלאות (גרסת טרום-השקה (Preview)) מאפשר לבצע באופן אוטומטי את תחזוקת האחסון של טבלאות Apache Iceberg. כשמגדירים את מאפיין הטבלה gcp.biglake.table-management.enabled, Lakehouse מריץ דחיסה (coalesce), פקיעת תוקף של תמונת מצב ואיסוף אשפה ברקע כדי לשמור על ביצועי השאילתות ויעילות האחסון. כדי לנהל טבלאות, צריך להשתמש בהנפקת פרטי כניסה בקטלוג. מידע נוסף זמין במאמר הפעלת ניהול טבלאות.
היסטוריית שינויים
היסטוריית השינויים מאפשרת להשתמש בפונקציה APPENDS של GoogleSQL שמחזירה טבלה, כדי לעקוב אחרי שורות שנוספו לטבלאות מנוהלות של Apache Iceberg בטווח תאריכים מסוים. אפשר להשתמש בו כדי לתחזק רפליקות באופן מצטבר, לבדוק הוספות של נתונים או להפעיל צינורות עיבוד נתונים במורד הזרם בלי סריקות מלאות של הטבלה. מידע נוסף זמין במאמר איך עובדים עם היסטוריית השינויים.
שמירת מטא-נתונים במטמון
שמירת מטא-נתונים במטמון משפרת את הביצועים של שאילתות בטבלאות חיצוניות ב-BigQuery. הוא שומר עותק של המטא-נתונים של הטבלה באחסון של BigQuery, וכך מפחית את הצורך לקרוא קובצי מטא-נתונים מ-Cloud Storage במהלך הרצת השאילתה.
הטמעת נתונים ומיגרציה
ב-Lakehouse יש כמה דרכים לטעון נתונים לטבלאות Apache Iceberg ולהעביר מטא-נתונים ממאגרי מטא-נתונים קיימים.
ייבוא טבלאות באצווה
בעזרת תבניות של כלי ליצירת משימות ב-Dataflow, אתם יכולים לייבא טבלאות קיימות של Apache Iceberg, Delta Lake וקובצי Parquet לטבלאות Apache Iceberg שמנוהלות על ידי Lakehouse, בלי לכתוב קוד.
הטמעת עדכונים בזמן אמת
אתם יכולים להעביר נתונים בסטרימינג לטבלאות Apache Iceberg באמצעות מנועי קוד פתוח (כמו Spark או Kafka), באמצעות Dataflow או באמצעות BigQuery Storage Write API (gRPC), שמספק כתיבה טרנזקציונלית בדיוק פעם אחת. אתם יכולים גם לכתוב את הפלט של שאילתות מתמשכות ב-BigQuery ישירות לטבלאות מנוהלות של Apache Iceberg.
סימון נתונים שהשתנו (CDC)
הטמעת CDC שומרת על סנכרון של טבלאות Apache Iceberg עם מערכות המקור על ידי הוספה, עדכון ומחיקה, במקום לטעון מחדש טבלאות מלאות. טבלאות מנוהלות של Apache Iceberg תומכות בהטמעת CDC ב-BigQuery (גרסת טרום-השקה), ואפשר להשתמש ב-Dataflow כדי להעביר יומני CDC מטבלאות Apache Iceberg ו-Delta Lake (גרסת טרום-השקה).
העברת Metastore
בהעברת מטא-נתונים, המטא-נתונים של הטבלאות מועברים מהמטא-נתונים הקיימים לקטלוג הייעודי לזמן ריצה של Lakehouse, בלי להעתיק קובצי נתונים. אתם יכולים להריץ העברה חד-פעמית או הרצה (dry run) מ-Dataproc Metastore לנקודת הקצה של קטלוג Apache Iceberg REST או לנקודת הקצה של קטלוג Apache Hive, או להעביר ממאגרי מטא-נתונים חיצוניים כמו מאגר המטא-נתונים של Hive (גרסת טרום-השקה).
גישה לנתונים חוצי-עננים
גישה לנתונים חוצי-עננים מאפשרת לשלוח שאילתות לגבי נתונים שמאוחסנים בעננים אחרים ובפלטפורמות SaaS ישירות מ- Google Cloud, בלי להעביר קבצים או ליצור צינורות עיבוד נתונים של ETL. מידע נוסף זמין במאמר מידע על גישה לנתונים חוצי-עננים.
קטלוג מאוחד
קטלוג מאוחד הוא קטלוג ייעודי לזמן ריצה ב-Lakehouse שמקושר לספק קטלוגים מרוחק וחושף את הטבלאות שלו דרך נקודת הקצה של קטלוג Apache Iceberg REST. אחר כך אפשר לשלוח שאילתות לטבלאות האלה באמצעות BigQuery, Managed Service for Apache Spark או Apache Spark. ספקי הקטלוגים המרוחקים הנתמכים כוללים את Databricks Unity Catalog, AWS Glue Data Catalog, Snowflake Horizon Catalog, Workday Data Lake ו-SAP Business Data Cloud (SAP BDC). מידע נוסף זמין במאמר שליחת שאילתות לנתונים מרוחקים.
רענון מטא-נתונים ברקע
רענון המטא-נתונים ברקע הוא התהליך שבו קטלוג מאוחד מסנכרן מדי פעם את המטא-נתונים של מרחב השמות והטבלה מהקטלוג המרוחק, על סמך מרווח זמן לרענון. Lakehouse מאמת את הקטלוג המרוחק באמצעות איחוד אסימוני OIDC או פרטי כניסה ששמורים ב-Secret Manager.
העברה בין עננים (cross-cloud)
בגישה לנתונים חוצי-עננים, רענון המטא-נתונים ברקע מתבצע בנפרד מהעברת נתוני השאילתה. כדי לעמוד בדרישות האבטחה והעלות, אתם יכולים לנתב את שניהם או אחד מהם דרך האינטרנט הציבורי או באופן פרטי דרך Cross-Cloud Interconnect. כדי להגביל את זליגת הנתונים, אתם יכולים גם להגן על נקודות הקצה של הקטלוג המאוחד באמצעות VPC Service Controls.
שמירה במטמון חוצה-עננים (cross-cloud)
במטמון חוצה-עננים, בלוקים של קבצים שנקראים מאחסון אובייקטים מרוחק נשמרים באופן מקומי באזור של Google Cloud שבו השאילתות פועלות, כך ששאילתות חוזרות נקראות מהמטמון במקום מהענן המרוחק. שמירה במטמון עוזרת להפחית את עלויות תעבורת הנתונים היוצאת בין עננים, והיא מושבתת כברירת מחדל. אתם יכולים להצטרף בקטלוג מאוחד או בחיבור חוצה-עננים של BigQuery. מידע נוסף זמין במאמר שמירה חכמה במטמון.
מצב זהות
מצב הזהות קובע איזו זהות מריצה שאילתות בקטלוג מרוחק:
- זהות השירות (ברירת המחדל): רענון המטא-נתונים ברקע והשאילתות פועלים כחשבון השירות של הקטלוג.
- איחוד זהויות של משתמשים: השאילתות פועלות כזהות של משתמש הקצה, וכך הקטלוג המרוחק יכול לאכוף את ההרשאות שלו ולייחס את יומני הביקורת למשתמשים ספציפיים. המצב הזה נתמך ב-Databricks Unity Catalog.
שילוב של SAP BDC
השילוב של SAP BDC פועל בשני כיוונים. האיחוד מסנכרן את השיתופים של SAP BDC ב-Lakehouse באמצעות פרוטוקול Delta Sharing, כדי שתוכלו לשלוח אליהם שאילתות מ-BigQuery. כשמפרסמים, משתפים טבלאות Apache Iceberg או מוצרי נתונים של Knowledge Catalog עם SAP BDC בלי להעביר נתונים. מידע נוסף זמין במאמר מידע על שילוב SAP BDC.
מערכי נתונים ציבוריים
ב-Borderless Lakehouse מתארחים מערכי נתונים ציבוריים שמוצגים דרך נקודת הקצה של קטלוג Apache Iceberg REST, ומספקים הרשאת קריאה בלבד לצורך בדיקה וניתוח בלי לנהל תשתית. Google משלמת על האחסון, ואתם משלמים רק על השאילתות שאתם מריצים. למידע נוסף, קראו את המאמר מערכי נתונים ציבוריים.
אבטחה ומשילות
Lakehouse משלב ניהול זהויות והרשאות גישה (IAM), הקצאת גישה לאחסון ואמצעי בקרה ברשת כדי לאבטח את ה-lakehouse.
בקרת גישה ברמת המשאב
מדיניות IAM בקטלוגים, במרחבי שמות ובטבלאות קובעת מי יכול לראות ולשנות את המשאבים של Lakehouse. מידע נוסף זמין במאמרים ניהול רשימות ACL של קטלוגים, מרחבי שמות וטבלאות ותפקידים והרשאות.
הנפקת פרטי כניסה
הנפקת פרטי כניסה היא מנגנון אבטחה שמחמיר את בקרת הגישה כשמשתמשים בקטלוג הייעודי לזמן ריצה של Lakehouse. במקום לתת למשתמשים הרשאות ישירות לקטגוריה, נקודת הקצה של קטלוג ה-REST של Apache Iceberg מספקת פרטי כניסה לאחסון לטווח קצר עם היקף מצומצם, והגישה מוגבלת לנתיבי הטבלה הספציפיים שנדרשים לשאילתה. הנפקת פרטי כניסה נדרשת גם לניהול טבלאות. למידע נוסף, קראו את המאמר הנפקת פרטי כניסה.
חיבורים
חיבור הוא משאב ב-BigQuery שבו מאוחסנים פרטי הכניסה לגישה לנתונים חיצוניים. ב-Lakehouse של Google Cloud, החיבורים מקצים גישה ל-Cloud Storage על ידי כך שהם מאפשרים לחשבון השירות של החיבור לגשת לקטגוריית האחסון בשמכם.
VPC Service Controls
גבולות הגזרה לשירות של VPC Service Controls עוזרים למנוע זליגת נתונים על ידי הגבלת הגישה ל-Lakehouse API (biglake.googleapis.com) ולקטגוריות של Cloud Storage שבהן מאוחסנים נתוני הטבלאות. מידע נוסף זמין במאמר שימוש ב-VPC Service Controls עם הפצת פרטי כניסה.
נקודות קצה אזוריות
נקודות קצה אזוריות מגבילות את הבקשות כך שהן ממשיכות רק אם משאב הקטלוג המטורגט נמצא במיקום שצוין על ידי נקודת הקצה, מה שעוזר לכם לעמוד בדרישות של מיקום אחסון הנתונים. למידע נוסף, ראו נקודות קצה אזוריות.
רישום ביומן ביקורת
ביומני הביקורת של Cloud מתועדות פעילויות אדמין ופעילויות גישה לנתונים במשאבי Lakehouse. למידע נוסף, ראו הצגת יומני ביקורת.
מרכז שליטה מאוחד
מערכת ניהול מרכזית מאפשרת לכם להגדיר ולאכוף כללי מדיניות של אבטחה וניהול נתונים באופן מרכזי, באמצעות שילוב עם Knowledge Catalog. כשרושמים טבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse, המערכת רושמת באופן אוטומטי את הרשומות התואמות ב-Knowledge Catalog. כך אפשר לחפש ולגלות נתונים, לעקוב אחרי שושלת היוחסין של הנתונים, ליצור פרופילים של נתונים ולקבל תובנות מנתונים (גרסת טרום-השקה) שנוצרו על ידי AI במנועים שונים, בלי להעביר או להעתיק קבצים.
מנועי שאילתות וכלים
ב-Lakehouse של Google Cloud, האחסון מופרד מהמחשוב, כך שמנועים שונים לניתוח נתונים יכולים לעבוד עם אותן טבלאות פתוחות.
מנועי קוד פתוח
מנועי קוד פתוח מתחברים לקטלוג הייעודי לזמן ריצה של Lakehouse דרך נקודת הקצה של קטלוג REST של Apache Iceberg, באמצעות הגדרת לקוח רגילה של Apache Iceberg. להגדרות ספציפיות למנוע, ראו Apache Spark, Apache Flink ו-Trino. אפשר גם לנהל את המשאבים של Lakehouse באמצעות Terraform.
Managed Service for Apache Spark
Managed Service for Apache Spark (לשעבר Dataproc Serverless) מספק סביבת זמן ריצה מנוהלת לחלוטין לעיבוד פורמטים של טבלאות פתוחות כמו Apache Iceberg. הוא תומך בשני מצבי ביצוע עיקריים:
- Serverless batches: מיועד לצינורות עיבוד נתונים אוטומטיים ולא אינטראקטיביים ולעומסי עבודה של ETL. במודל התשלום לפי ביצוע, אין צורך לנהל אשכולות, אין תחרות על משאבים בין משימות ותחזוקת התשתית מתבצעת באופן אוטומטי.
- סשנים אינטראקטיביים בלי שרת (serverless): מיועדים לניתוח נתונים, להנדסת נתונים ולניסויים במדעי הנתונים. סשנים אינטראקטיביים מפעילים את ה-notebooks של Apache Spark באמצעות Spark Connect או ליבות Spark מרוחקות, ומספקים סביבה עם התאמה אוטומטית לעומס בלי הגדרת תשתית.
רמות שירות
כשמריצים עומסי עבודה של Apache Spark ב-Managed Service for Apache Spark, אפשר לבחור בין רמות השירות הבאות:
- רמת Standard: רמת ברירת המחדל לביצוע, שמתאימה לעומסי עבודה רגילים של עיבוד באצווה.
- מסלול פרימיום: מספק יכולות מתקדמות, כולל תמיכה בסשנים אינטראקטיביים של Notebook בלי שרת (serverless) ותכונות להאצת הביצועים כמו Lightning Engine.
תבניות של סשנים
תבניות של סשנים מפשטות את ההגדרה של סשנים אינטראקטיביים ללא שרת (serverless).
הם מאפשרים לאדמינים להגדיר ולשמור הגדרות סביבה נפוצות (כמו מאפייני קטלוג, הגדרות רשת וגרסאות של סביבות זמן ריצה), מה שמקדם עקביות ומצמצם את הצורך בהגדרות חוזרות. אפשר ליצור ולנהל תבניות של סשנים באמצעות מסוף Google Cloud , ה-CLI של gcloud, ה-API בארכיטקטורת REST או Terraform.
ניתוח נתונים בממשק שיחה
ניתוח נתוני שיחות (גרסת טרום-השקה (Preview)) – מאפשר לשלוח שאילתות לטבלאות בקטלוג הייעודי לזמן ריצה של Lakehouse, כולל מקורות חוצי-עננים, באמצעות הנחיות בשפה טבעית ב-BigQuery.
אמינות
הקטלוג הייעודי לזמן ריצה של Lakehouse מספק תוכנית התאוששות מנוהלת מאסון לקטלוגים שמשתמשים בנקודת הקצה של קטלוג REST של Apache Iceberg (גרסת טרום-השקה). מידע נוסף זמין במאמר מידע על שכפול בין אזורים והתאוששות מאסון.
רפליקציה בין אזורים
רפליקציה בין אזורים מעתיקה את המטא-נתונים של הקטלוג מאזור ראשי לאזור משני, כשהקטלוג משתמש בקטגוריה של Cloud Storage בשני אזורים או במספר אזורים. כך הקטלוג נשאר זמין במהלך הפסקות זמניות בשירות באזור. Cloud Storage משכפל את נתוני הטבלה הבסיסיים.
יתירות כשל
יתירות כשל מחליפה את האזורים הראשיים והמשניים עבור קטלוג וכל מרחבי השמות והטבלאות שלו. במעבר רך לגיבוי בעת כשל, המערכת ממתינה לסנכרון של כל הנתונים לפני שהשרת הראשי החדש מקבל פעולות כתיבה. כך נמנע אובדן נתונים, והתהליך מתאים לבדיקות מתוכננות. במעבר קשיח לגיבוי בעת כשל, הזמינות מקבלת עדיפות והמכונה הראשית החדשה יכולה להשתלט גם אם אין גישה למכונה הראשית הקודמת.