מה זה Lakehouse ללא גבולות?

Borderless Lakehouse מאפשר לכם ליצור מאגרי נתונים פתוחים ב-Google Cloud על ידי שילוב של פורמט הטבלה הפתוח של Apache Iceberg עם אחסון מנוהל. הארכיטקטורה הזו מפרידה בין האחסון למחשוב כדי לספק בסיס מאוחד לעומסי עבודה של ניתוח נתונים ו-AI.

כדי לנהל מטא-נתונים במנועים כמו BigQuery ו-Apache Spark, ב-Lakehouse משתמשים בקטלוג ייעודי לזמן ריצה של Lakehouse כמקור מידע מרכזי בלי שרת (serverless). אתם יכולים לנהל את המשאבים האלה ולשלוח אליהם שאילתות באמצעות ממשקים כמו BigQuery SQL, מנועי קוד פתוח ו-Apache Iceberg REST Catalog API.

יתרונות מרכזיים

  • ארכיטקטורה ללא שרת (serverless): ב-Lakehouse של Google Cloud אין צורך לנהל שרתים או תוכנה לניהול אשכולות, מה שמפחית את התקורה התפעולית ומאפשר התאמה אוטומטית לעומס לפי הביקוש. בעומסי עבודה של מחשוב, סשנים אינטראקטיביים ועיבוד באצווה בלי שרת (serverless) מסירים את התחרות על המשאבים בין המשימות, והופכים את תחזוקת התשתית לאוטומטית.
  • יכולת פעולה הדדית של קריאה וכתיבה: מנועי קוד פתוח ו-BigQuery יכולים לקרוא ולכתוב את אותן טבלאות Apache Iceberg (הכתיבה ב-BigQuery נמצאת בגרסת טרום-השקה (Preview)), וניהול טבלאות אופציונלי (גרסת טרום-השקה (Preview)) הופך את הדחיסה, את תפוגת התוקף של תמונת המצב ואת איסוף האשפה לאוטומטיים.
  • ניהול נתונים ופיקוח מאוחדים: שילוב עם Knowledge Catalog מאפשר להגדיר ולאכוף מדיניות פיקוח באופן מרכזי בכמה מנועים, ומספק חיפוש סמנטי, שושלת נתונים ובדיקות איכות.
  • תוספי אחסון: Lakehouse של Google Cloud מרחיב את יכולות הניהול של Cloud Storage וכולל תכונות כמו חלוקה לרמות של סיווג אוטומטי ומפתחות הצפנה בניהול הלקוח (CMEK).
  • חוויה מנוהלת באופן מלא: כשמשלבים את Lakehouse של Google Cloud עם BigQuery, מקבלים חוויית ניתוח ו-AI מנוהלת באופן מלא.
  • זמינות גבוהה ותוכנית התאוששות מאסון (DR): ב-Lakehouse של Google Cloud יש אפשרויות לשכפול בין אזורים ולתוכנית התאוששות מאסון (גרסת טרום-השקה (Preview)) כדי לתמוך בזמינות גבוהה של הנתונים.

תרחישים לדוגמה

  • ‫Open lakehouse: שימוש ב-Cloud Storage כשכבת האחסון, ו-Lakehouse של Google Cloud מספק את ממשק הניהול והפיקוח לנתוני Apache Iceberg.
  • שילוב של ניתוח נתונים וטרנזקציות: גישה לטבלאות Apache Iceberg לניתוח נתונים ישירות ב-AlloyDB ל-PostgreSQL (תצוגה מקדימה) כדי לשלב נתוני ניתוח עם עומסי עבודה של טרנזקציות.
  • גישה מאוחדת: מנועים שונים (Apache Spark,‏ Apache Flink, ‏ BigQuery) יכולים לקיים אינטראקציה עם אותן טבלאות Apache Iceberg עם מטא-נתונים עקביים.
  • ניתוח נתונים ו-AI חוצי-עננים: גישה לנתונים חוצי-עננים ב-Databricks Unity Catalog, ב-AWS Glue Data Catalog, ב-Snowflake Horizon Catalog, ב-Workday Data Lake וב-SAP Business Data Cloud ‏(SAP BDC). קטלוגים מאוחדים מסנכרנים מטא-נתונים מהספקים האלה, כדי שתוכלו לשלוח שאילתות לגבי הנתונים באמצעות BigQuery או מנועי קוד פתוח בלי להעביר אותם.
  • חקירת מערכי נתונים ציבוריים: שליחת שאילתות למערכי נתונים ציבוריים דרך נקודת הקצה של קטלוג Apache Iceberg REST, בלי לנהל את התשתית.
  • מטא-נתונים של Hive: חיבור מנועי קוד פתוח כמו Apache Spark ו-Apache Hive לקטלוג הייעודי לזמן ריצה של Lakehouse באמצעות נקודת הקצה של הקטלוג של Apache Hive. כך אפשר להימנע מהתקורה התפעולית של תחזוקת מאגר מטא-נתונים של Hive‏ (HMS) באירוח עצמי, וגם לשתף נתונים ולשלוח שאילתות לטבלאות ישירות ב-BigQuery.
  • מודרניזציה של מטא-נתונים: מעבירים מטא-נתונים מ-Dataproc Metastore או ממטא-נתונים חיצוניים אחרים לקטלוג הייעודי לזמן ריצה של Lakehouse, בלי להעתיק קובצי נתונים.

ממשקים וכלים

אתם יכולים להשתמש במשאבים של Lakehouse ב-Google Cloud באמצעות הכלים הבאים:

  • מסוףGoogle Cloud : משתמשים במסוף כדי ליצור קטלוגים, להציג את מאפייני הקטלוגים, להציג יומני ביקורת ולהגדיר הרשאות.
  • ‫BigQuery SQL: אתם יכולים להשתמש ב-GoogleSQL כדי לשלוח שאילתות לטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse ולטבלאות חיצוניות, ולהשתמש ב-DDL וב-DML (גרסת טרום-השקה (Preview)) כדי ליצור ולשנות טבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse.
  • ‫Google Cloud CLI,‏ API בארכיטקטורת REST ו-Terraform: יצירה וניהול של קטלוגים, מרחבי שמות, טבלאות וכללי מדיניות גישה באופן פרוגרמטי.
  • מנועי קוד פתוח: אתם יכולים להשתמש במנועים כמו Apache Spark,‏ Apache Flink,‏ Trino ו-Apache Hive עם הקטלוג הייעודי לזמן ריצה של Lakehouse כדי לקרוא ולכתוב נתונים.
  • סביבות פיתוח משולבות (IDE) ו-Notebooks: אתם יכולים להשתמש ב-Notebooks אינטראקטיביים של Apache Spark ובתוספים של IDE, כמו התוסף Data Agent Kit (DAK)‎ ל-VS Code, כדי לבצע אימות ב-Google Cloud, לכתוב קוד באופן אינטראקטיבי ולנהל סשנים של Notebooks ישירות בסביבת הפיתוח.
  • כלים לתזמור ול-MLOps: שילוב של צינורות עיבוד נתונים באצווה בלי שרת (serverless) ופעולות קטלוג עם תהליכי עבודה של תזמור באמצעות Managed Service for Apache Airflow (לשעבר Cloud Composer) ו-Kubeflow Pipelines ב-Vertex AI.
  • ‫Apache Iceberg REST Catalog API: משתמשים בנקודת הקצה של קטלוג REST של Apache Iceberg כדי ליצור אינטראקציה עם השירות באמצעות כלים שתואמים למפרט הפתוח של Apache Iceberg REST.
  • תמיכה בטבלאות Apache Iceberg: יש תמיכה בטבלאות Apache Iceberg V2 (זמינות לכלל המשתמשים) ובטבלאות V3 (גרסת טרום-השקה). אין תמיכה בטבלאות Iceberg V1.

המאמרים הבאים