מה זה Lakehouse ללא גבולות?

בעזרת Borderless Lakehouse אתם יכולים ליצור מאגרי נתונים פתוחים ב-Google Cloud , על ידי שילוב של פורמט הטבלה הפתוח Apache Iceberg עם אחסון מנוהל. הארכיטקטורה הזו מפרידה בין האחסון למחשוב כדי לספק בסיס מאוחד לעומסי עבודה של ניתוח נתונים ו-AI.

כדי לנהל מטא-נתונים של טבלאות פתוחות, ב-Lakehouse משתמשים בקטלוג ייעודי לזמן ריצה של Lakehouse – שירות מטא-נתונים ללא שרת (serverless) שמרכז את החיפוש ומייתר את הצורך בסנכרון בין מאגרים. העיצוב הזה מאפשר למספר מנועים – כולל Managed Service for Apache Spark, ‏Apache Flink, ‏Apache Hive, ‏Trino ו-BigQuery – לגשת ישירות למקור הקובע בלי לשכפל נתונים.

יתרונות מרכזיים

  • ארכיטקטורה בלי שרת (serverless): ב-Lakehouse של Google Cloud אין צורך לנהל שרתים או תוכנה לניהול אשכולות, מה שמפחית את התקורה התפעולית ומאפשר התאמה אוטומטית לעומס (automatic scaling) לפי הצורך. בעומסי עבודה של מחשוב, סשנים אינטראקטיביים ועיבוד באצווה בלי שרת (serverless) מסירים את התחרות על משאבים בין משימות, והופכים את תחזוקת התשתית לאוטומטית.
  • יכולת פעולה הדדית של קריאה וכתיבה: מנועי קוד פתוח ו-BigQuery יכולים לקרוא ולכתוב את אותן טבלאות Apache Iceberg (הכתיבה ב-BigQuery נמצאת בגרסת טרום-השקה (Preview)), וניהול טבלאות אופציונלי (גרסת טרום-השקה (Preview)) הופך את הדחיסה, את תפוגת התוקף של תמונת המצב ואת איסוף האשפה לאוטומטיים.
  • ניהול נתונים ופיקוח מאוחדים: שילוב עם Knowledge Catalog מאפשר להגדיר ולאכוף מדיניות פיקוח באופן מרכזי בכמה מנועים, ומספק חיפוש סמנטי, שושלת נתונים ובדיקות איכות.
  • תוספי אחסון: Lakehouse של Google Cloud מרחיב את יכולות הניהול של Cloud Storage וכולל תכונות כמו Autoclass tiering ומפתחות הצפנה בניהול הלקוח (CMEK).
  • חוויית שימוש מנוהלת באופן מלא: כשמשלבים את Lakehouse של Google Cloud עם BigQuery, מקבלים חוויית שימוש מנוהלת באופן מלא בניתוח נתונים וב-AI.
  • זמינות גבוהה ותוכנית התאוששות מאסון: ב-Lakehouse ב-Google Cloud יש אפשרויות לשכפול בין אזורים ולתוכנית התאוששות מאסון (גרסת טרום-השקה (Preview)) כדי לתמוך בזמינות גבוהה של הנתונים.

תרחישים לדוגמה

  • ‫Open lakehouse: שימוש ב-Cloud Storage כשכבת האחסון, ו-Lakehouse של Google Cloud מספק את ממשק הניהול והפיקוח לנתוני Apache Iceberg.
  • שילוב של ניתוח נתונים וטרנזקציות: גישה לטבלאות Apache Iceberg לניתוח נתונים ישירות ב-AlloyDB ל-PostgreSQL (תצוגה מקדימה) כדי לשלב נתוני ניתוח עם עומסי עבודה של טרנזקציות.
  • גישה מאוחדת: מנועים שונים (Apache Spark,‏ Apache Flink, ‏ BigQuery) יכולים לקיים אינטראקציה עם אותן טבלאות Apache Iceberg עם מטא-נתונים עקביים.
  • ניתוח נתונים ו-AI חוצי-עננים: גישה לנתונים חוצי-עננים ב-Databricks Unity Catalog, ב-AWS Glue Data Catalog, ב-Snowflake Horizon Catalog, ב-Workday Data Lake וב-SAP Business Data Cloud ‏(SAP BDC). קטלוגים מאוחדים מסנכרנים מטא-נתונים מהספקים האלה, כדי שתוכלו לשלוח שאילתות לגבי הנתונים באמצעות BigQuery או מנועי קוד פתוח בלי להעביר אותם.
  • חקירת מערכי נתונים ציבוריים: שליחת שאילתות למערכי נתונים ציבוריים דרך נקודת הקצה של קטלוג Apache Iceberg REST, בלי לנהל את התשתית.
  • מטא-נתונים של Hive: חיבור מנועי קוד פתוח כמו Apache Spark ו-Apache Hive לקטלוג הייעודי לזמן ריצה של Lakehouse באמצעות נקודת הקצה של הקטלוג של Apache Hive. כך אפשר להימנע מהתקורה התפעולית של תחזוקת מאגר מטא-נתונים של Hive‏ (HMS) באירוח עצמי, וגם לשתף נתונים ולשלוח שאילתות לטבלאות ישירות ב-BigQuery.
  • מודרניזציה של מטא-נתונים: מעבירים מטא-נתונים מ-Dataproc Metastore או ממטא-נתונים חיצוניים אחרים לקטלוג הייעודי לזמן ריצה של Lakehouse, בלי להעתיק קובצי נתונים.

ממשקים וכלים

אתם יכולים לבצע פעולות במשאבי Lakehouse ב-Google Cloud באמצעות הכלים הבאים:

  • מסוףGoogle Cloud : משתמשים במסוף כדי ליצור קטלוגים, להציג את מאפייני הקטלוגים, להציג יומני ביקורת ולהגדיר הרשאות.
  • ‫BigQuery SQL: אתם יכולים להשתמש ב-GoogleSQL כדי לשלוח שאילתות לטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse ולטבלאות חיצוניות, ולהשתמש ב-DDL וב-DML (גרסת טרום-השקה (Preview)) כדי ליצור ולשנות טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse.
  • ‫Google Cloud CLI,‏ API בארכיטקטורת REST ו-Terraform: יצירה וניהול של קטלוגים, מרחבי שמות, טבלאות וכללי מדיניות גישה באופן פרוגרמטי.
  • מנועי קוד פתוח: אתם יכולים להשתמש במנועים כמו Apache Spark,‏ Apache Flink,‏ Trino ו-Apache Hive עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לקרוא ולכתוב נתונים.
  • סביבות פיתוח משולבות (IDE) ו-Notebooks: אתם יכולים להשתמש ב-Apache Spark Notebooks אינטראקטיביים ובתוספים ל-IDE, כמו התוסף Data Agent Kit (DAK)‎ ל-VS Code, כדי לאמת את Google Cloud, לכתוב קוד באופן אינטראקטיבי ולנהל סשנים של Notebooks ישירות בסביבת הפיתוח.
  • כלים לתזמור ול-MLOps: שילוב של צינורות עיבוד נתונים באצווה ללא שרת (serverless) ופעולות קטלוג עם תהליכי עבודה של תזמור באמצעות Managed Service for Apache Airflow (לשעבר Cloud Composer) ו-Kubeflow Pipelines ב-Vertex AI.
  • ‫Apache Iceberg REST Catalog API: משתמשים בנקודת הקצה של קטלוג Apache Iceberg REST כדי ליצור אינטראקציה עם השירות באמצעות כלים שתואמים למפרט הפתוח של Apache Iceberg REST.
  • תמיכה בטבלאות Apache Iceberg: יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכלל המשתמשים) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg V1.

המאמרים הבאים