מה זה Lakehouse ללא גבולות?

בעזרת Borderless Lakehouse אתם יכולים ליצור מאגרי נתונים פתוחים ב-Google Cloud , על ידי שילוב של פורמט הטבלה הפתוח Apache Iceberg עם אחסון מנוהל. הארכיטקטורה הזו מפרידה בין האחסון למחשוב כדי לספק בסיס מאוחד לעומסי עבודה של ניתוח נתונים ו-AI.

כדי לנהל מטא-נתונים של טבלאות פתוחות, ב-Lakehouse משתמשים בקטלוג ייעודי לזמן ריצה של Lakehouse – שירות מטא-נתונים ללא שרת (serverless) שמרכז את החיפוש ומייתר את הצורך בסנכרון בין מאגרים. העיצוב הזה מאפשר למספר מנועים – כולל Managed Service for Apache Spark, ‏Apache Flink, ‏Apache Hive, ‏Trino ו-BigQuery – לגשת ישירות למקור הקובע בלי לשכפל נתונים.

יתרונות מרכזיים

  • ארכיטקטורה בלי שרת (serverless): ב-Lakehouse של Google Cloud אין צורך לנהל שרתים או תוכנה לניהול אשכולות, מה שמפחית את התקורה התפעולית ומאפשר התאמה אוטומטית לעומס (automatic scaling) לפי הצורך. בעומסי עבודה של מחשוב, סשנים אינטראקטיביים ועיבוד באצווה בלי שרת (serverless) מסירים את התחרות על משאבים בין משימות, והופכים את תחזוקת התשתית לאוטומטית.
  • ניהול ופיקוח מאוחדים על נתונים: שילוב עם Knowledge Catalog מאפשר להגדיר ולאכוף באופן מרכזי מדיניות פיקוח על כמה מנועים, ומאפשר חיפוש סמנטי, מעקב אחר מקורות הנתונים ובדיקות איכות.
  • תוספי אחסון: Lakehouse של Google Cloud מרחיב את יכולות הניהול של Cloud Storage וכולל תכונות כמו Autoclass tiering ומפתחות הצפנה בניהול הלקוח (CMEK).
  • חוויית שימוש מנוהלת באופן מלא: כשמשלבים את Lakehouse של Google Cloud עם BigQuery, מקבלים חוויית שימוש מנוהלת באופן מלא בניתוח נתונים וב-AI.
  • זמינות גבוהה ותוכנית התאוששות מאסון: ב-Lakehouse ב-Google Cloud יש אפשרויות לשכפול בין אזורים ולתוכנית התאוששות מאסון (גרסת טרום-השקה (Preview)) כדי לתמוך בזמינות גבוהה של הנתונים.

תרחישים לדוגמה

  • ‫Open lakehouse: משתמשים ב-Cloud Storage כשכבת האחסון, וב-Lakehouse של Google Cloud כממשק הניהול והפיקוח על נתוני Apache Iceberg.
  • שילוב של ניתוח נתונים וטרנזקציות: גישה לטבלאות Apache Iceberg לניתוח נתונים ישירות ב-AlloyDB ל-PostgreSQL (תצוגה מקדימה) כדי לשלב נתוני ניתוח עם עומסי עבודה של טרנזקציות.
  • גישה אחידה: מאפשרת למנועים שונים (Apache Spark, ‏ Apache Flink,‏ BigQuery) לקיים אינטראקציה עם אותן טבלאות Apache Iceberg עם מטא-נתונים עקביים.
  • ניתוח נתונים ו-AI חוצי-עננים: גישה לנתונים חוצי-עננים כדי לסנכרן מטא-נתונים מספקי שירותי ענן אחרים, וכך לשלוח שאילתות לנתונים באמצעות BigQuery או מנועי קוד פתוח חיצוניים דרך נקודת הקצה של קטלוג Apache Iceberg REST, בלי להעביר את הנתונים.
  • ניתוח של מערכי נתונים ציבוריים: אתם יכולים להריץ בקלות שאילתות על מערכי נתונים ציבוריים באיכות גבוהה באמצעות נקודת הקצה של קטלוג Apache Iceberg REST, בלי לנהל את התשתית.
  • ‫Hive Metastore: חיבור מנועי קוד פתוח כמו Apache Spark ו-Apache Hive לקטלוג הייעודי לזמן ריצה של Lakehouse באמצעות הקטלוג של Hive. כך אפשר להימנע מהתקורה התפעולית של תחזוקת Hive Metastore‏ (HMS) באירוח עצמי, וגם לשתף נתונים בצורה חלקה ולשלוח שאילתות ישירות לטבלאות ב-BigQuery.

ממשקים וכלים

אתם יכולים לבצע פעולות במשאבי Lakehouse ב-Google Cloud באמצעות הכלים הבאים:

  • מסוףGoogle Cloud : משתמשים במסוף כדי ליצור קטלוגים, להציג את מאפייני הקטלוגים, להציג יומני ביקורת ולהגדיר הרשאות.
  • ‫BigQuery SQL: שימוש ב-SQL DDL (שפת הגדרת נתונים) סטנדרטי כדי ליצור ולנהל טבלאות Apache Iceberg וטבלאות חיצוניות שמשולבות בקטלוג הייעודי לזמן ריצה של Lakehouse.
  • מנועי קוד פתוח: אתם יכולים להשתמש במנועים כמו Apache Spark,‏ Apache Flink ו-Apache Hive עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לקרוא ולכתוב נתונים.
  • סביבות פיתוח משולבות (IDE) ו-Notebooks: אתם יכולים להשתמש ב-Apache Spark Notebooks אינטראקטיביים ובתוספים ל-IDE, כמו התוסף Data Agent Kit (DAK)‎ ל-VS Code, כדי לאמת את Google Cloud, לכתוב קוד באופן אינטראקטיבי ולנהל סשנים של Notebooks ישירות בסביבת הפיתוח.
  • כלים לתזמור ול-MLOps: שילוב של צינורות עיבוד נתונים באצווה ללא שרת (serverless) ופעולות קטלוג עם תהליכי עבודה של תזמור באמצעות Managed Service for Apache Airflow (לשעבר Cloud Composer) ו-Kubeflow Pipelines ב-Vertex AI.
  • ‫Apache Iceberg REST Catalog API: משתמשים בנקודת הקצה של קטלוג Apache Iceberg REST כדי ליצור אינטראקציה עם השירות באמצעות כלים שתואמים למפרט הפתוח של Apache Iceberg REST.
  • תמיכה בטבלאות Apache Iceberg: יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכלל המשתמשים) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg V1.

המאמרים הבאים