מידע על גישה לנתונים בענן

התכונה "גישה לנתונים חוצי-עננים" מאפשרת לשלוח שאילתות לגבי נתונים שמאוחסנים אצל ספקי שירותי ענן אחרים ישירות מ- Google Cloud , בלי להעביר קבצים או ליצור צינורות עיבוד נתונים מורכבים של ETL. השאילתות יכולות לעבור דרך האינטרנט הציבורי או דרך Cross-Cloud Interconnect להעברה ברשת פרטית.

גישה לנתונים חוצי-עננים ב-Lakehouse מאחדת את עומסי העבודה של ניתוח הנתונים וה-AI בכל מערכי הנתונים המבוזרים באמצעות BigQuery, סביבות Apache Spark עצמאיות או Managed Service for Apache Spark.

בנוסף להרצת שאילתות לניתוח נתונים, אתם יכולים ליצור סוכני ניתוח נתונים בממשק שיחה שמבוססים על הטבלאות המבוזרות שלכם, כולל מקורות חוצי-עננים, כדי לנתח נתונים בעננים שונים בשיחה אחת. אפשר גם להשתמש ב-Knowledge Catalog כדי ליצור פרופילים של נתונים ותובנות בפלטפורמות מרוחקות.

מתי כדאי להשתמש בגישה לנתונים חוצי-עננים

הנה כמה תרחישי שימוש נפוצים:

  • שאילתות על טבלאות בכמה עננים: מריצים ניתוחים של BigQuery SQL ו-Managed Service for Apache Spark ישירות על טבלאות Apache Iceberg חיצוניות ב-Amazon Web Services‏ (AWS) וב-Microsoft Azure, בלי להעביר קבצים או לתחזק צינורות עיבוד נתונים של ETL.
  • אכיפת בידוד פרטי של רשתות בכמה עננים: ניתוב של קריאת נתוני שאילתות ושל רענון מטא-נתונים ברקע דרך Cross-Cloud Interconnect, כדי לעמוד בדרישות של מדיניות אבטחה ותאימות שמגבילה את תעבורת הנתונים באינטרנט הציבורי.
  • הפחתת העלויות החוזרות של העברת נתונים חוצי-עננים: שילוב של שיעורי תעבורת הנתונים היוצאת הצפויים של Cross-Cloud Interconnect עם שמירה אוטומטית של בלוקים במטמון מקומי ב- Google Cloud , בשביל לוחות בקרה חוזרים של BI ועומסי עבודה של ניתוח נתונים.
  • איחוד של ניהול חוצה-עננים וסוכני AI: אפשר לבסס סוכני ניתוח נתונים באמצעות שיחה בטבלאות מבוזרות, ולהחיל את יכולות הגילוי, יצירת הפרופילים והשושלת של Knowledge Catalog בעננים שונים.

ארכיטקטורה

התרשים הבא ממחיש את ארכיטקטורת הגישה לנתונים חוצי-עננים ב-Lakehouse:

ארכיטקטורה של גישה לנתונים חוצי-עננים (cross-cloud) ב-Lakehouse ב- Google Cloud, ב-AWS ובשותפי SaaS.
הארכיטקטורה של Lakehouse מחברת בין מנועי AI וניתוח נתונים לבין קטלוגים חיצוניים בענן, מאגרי אובייקטים ושותפי SaaS. Google Cloud

בתרשים הקודם מוצגת הארכיטקטורה בסביבות Google Cloud , בענן החיצוני וב-SaaS:

  • ‫Google Cloud: מספק גישה ל-AI, לממשל, לניתוח נתונים ולנתונים חוצי-עננים (cross-cloud) בקבוצות נתונים מרוחקות:
    • סוכני AI וחוויות שימוש: יוצרים סוכנים אוטונומיים ב-Conversational Analytics וב-Gemini Enterprise, שמחפשים נתונים ומשמעות סמנטית ב-Knowledge Catalog ומריצים שאילתות באמצעות מנועי ניתוח ועיבוד.
    • ‫Knowledge Catalog: מספק פיקוח מאוחד ושושלת נתונים, יחד עם תובנות מנתונים, יצירת פרופילים ומוצרי נתונים, על ידי סנכרון מטא-נתונים ושושלת נתונים מ-Lakehouse.
    • מנועי ניתוח ועיבוד: מריצים עומסי עבודה של BigQuery SQL,‏ BigQuery AI ו-Looker, או מעבדים נתונים מרוחקים באמצעות Managed Service for Apache Spark ומנועים פתוחים (Apache Spark,‏ Apache Flink ו-Trino) על ידי פתרון מטא-נתונים וקריאת טבלאות דרך Lakehouse.
    • גישה לנתונים חוצי-עננים ב-Lakehouse: שליחת שאילתות לנתונים מרוחקים במקום, בלי העברת קבצים או צינורות עיבוד נתונים של ETL:
      • רענון מטא-נתונים ברקע: מגלה ומסנכרן מטא-נתונים של טבלאות ב-Apache Iceberg REST וב-Delta Sharing באמצעות הקטלוג הייעודי לזמן ריצה של Lakehouse, מאמת באמצעות OpenID Connect‏ (OIDC) או Secret Manager ומספק פרטי כניסה זמניים ברמת ההיקף.
      • יכולות חוצות-עננים (AWS): שמירת בלוקים של נתוני קריאה במטמון ב- Google Cloud באמצעות מטמון קריאה דרך ברמת הבלוק (שמירה חכמה במטמון (מטמון מקומי)), וניתוב התנועה דרך Cross-Cloud Interconnect או האינטרנט (עם TLS) באמצעות העברת רשת חוצת-עננים.
  • מקורות נתונים חיצוניים בענן וב-SaaS: מארחים את הקטלוגים המרוחקים, את Data Cloud של SaaS ואת מאגר האובייקטים:
    • קטלוגים חיצוניים של ענן ו-SaaS: סנכרון מטא-נתונים מקטלוגים של נתונים בענן (AWS Glue Data Catalog ב-AWS, ו-Databricks Unity Catalog ו-Snowflake Horizon Catalog ב-AWS או ב- Google Cloud) ומענני נתונים של SaaS (Salesforce Data Cloud,‏ Workday Data Lake ב-AWS או ב-Google Cloudו-SAP Business Data Cloud (BDC)) באמצעות Iceberg API בארכיטקטורת REST ו-Delta Sharing (ל-SAP BDC).
    • אחסון אובייקטים בענן חיצוני (AWS): מאחסן טבלאות Apache Iceberg (קובצי נתונים של Parquet) וטבלאות Amazon S3 ב-Amazon S3 לקריאות ישירות של בלוקים דרך Cross-Cloud Interconnect או האינטרנט (עם TLS).

איך פועלת הגישה לנתונים חוצי-עננים (cross-cloud)

כדי לשלוח שאילתות לנתונים מרוחקים, ב-Lakehouse מתבצע התהליך הבא:

  1. גילוי מטא-נתונים: הקטלוג הייעודי לזמן ריצה של Lakehouse מתחבר לנקודות קצה מרוחקות של קטלוג REST של Apache Iceberg, כמו Databricks Unity Catalog,‏ AWS Glue Data Catalog או Snowflake Horizon Catalog, כדי לגלות מטא-נתונים של טבלאות בלי להעתיק קבצים. בהתאם לספק הקטלוג המרוחק, Lakehouse מבצע אימות באמצעות Secret Manager או איחוד אסימוני OIDC עם Google כספק הזהויות.
  2. תעבורת נתונים מאובטחת: ניתוב תעבורת הנתונים דרך Cross-Cloud Interconnect מפחית באופן משמעותי את עלויות העברת הנתונים בהשוואה לאינטרנט הציבורי, ומאפשר לחזות את זמן האחזור בצורה מדויקת.
  3. ביצוע אופטימלי: כשמפעילים שמירה במטמון חוצה-עננים בקטלוג המאוחד או בחיבור, Lakehouse שומר במטמון בלוקים של קבצים שאוחזרו באופן מקומי באזור של Google Cloud שבו מריצים את השאילתה. שאילתות עוקבות שמטרגטות את אותם בלוקים של קבצים נקראות ישירות מהמטמון המקומי במקום לאחזר מחדש את הקבצים מהענן המרוחק. כך אפשר להפחית את עלויות תעבורת הנתונים היוצאת (egress) חוצה-עננים (cross-cloud) ולשפר את ביצועי השאילתות.

קטלוגים נתמכים

ב-Lakehouse אפשר לשלוח שאילתות על נתונים מספקי הקטלוגים המרוחקים הבאים:

מושגי ליבה

גישה לנתונים חוצי-עננים מפרידה בין רענון המטא-נתונים ברקע לבין העברת נתוני השאילתות, כך שאפשר לנתב את אחת משכבות התנועה או את שתיהן באופן פרטי, בהתאם לדרישות האבטחה והעלות.

שכבת מטא-נתונים

שכבת המטא-נתונים בקטלוג הייעודי לזמן ריצה של Lakehouse מתחברת לנקודות קצה מרוחקות של קטלוג REST של Apache Iceberg, כדי לסנכרן את המטא-נתונים של מרחב השמות והטבלאות של Apache Iceberg על סמך מרווח רענון. ‫Lakehouse מבצע אימות באמצעות פרטי כניסה שמאוחסנים ב-Secret Manager או באמצעות איחוד אסימוני OIDC.

כברירת מחדל, בקשות האימות ורענון המטא-נתונים ברקע עוברות באינטרנט הציבורי באמצעות TLS. אם בקטלוג המרוחק יש הגבלה על הגישה לרשת הציבורית, או אם דרישות המדיניות של האבטחה דורשות תעבורת נתונים פרטית במישור הבקרה, אתם יכולים להגדיר שירות ספריות (--metadata-service-directory-name) למטא-נתונים בשביל AWS Glue Data Catalog (ב-AWS), בשביל Databricks Unity Catalog (ב-AWS וב-Azure) ובשביל Snowflake Horizon Catalog (ב-AWS וב-Azure). ההגדרה הזו מנתבת את המטא-נתונים ואת תעבורת הנתונים של האימות דרך Cross-Cloud Interconnect (ל-AWS), בנפרד או ביחד עם העברת השאילתות (--service-directory-name).

שכבת התעבורה

שכבת התעבורה מאפשרת ל-BigQuery ולמנועי קוד פתוח לשלוח שאילתות לקובצי טבלאות מרוחקים באמצעות המטא-נתונים המסונכרנים משכבת המטא-נתונים. בקטלוגים מרוחקים נתמכים, Lakehouse תומך בשליחת שאילתות על נתונים דרך האינטרנט הציבורי או Cross-Cloud Interconnect.

בוחרים את שיטת ההעברה שמתאימה לדרישות הארכיטקטורה והאבטחה:

Cross-Cloud Interconnect

אתם יכולים להגדיר את BigQuery לשליחת שאילתות על נתונים שמאוחסנים במאגרי נתונים של Amazon S3 או במאגרי נתונים של Azure Data Lake Storage Gen2‏ (ADLS Gen2) דרך Cross-Cloud Interconnect.

לשימוש ב-Cross-Cloud Interconnect יש את היתרונות הבאים:

  • אבטחה משופרת: הנתונים עוברים בחיבור לרשת פרטית בין Google Cloud ל-AWS או ל-Azure, ולא באינטרנט הציבורי.
  • עלויות נמוכות יותר: יכול להיות שחיובי תעבורת הנתונים היוצאת מ-AWS או מ-Azure יהיו נמוכים יותר בהשוואה לתעבורת נתונים לאינטרנט, במיוחד בשילוב עם הקיבולת של Cross-Cloud Interconnect.
  • ביצועים עקביים: רוחב פס וזמן אחזור ברשת שניתנים לחיזוי, בהשוואה לאינטרנט הציבורי.

סקירה כללית של הארכיטקטורה

כדי להפעיל שאילתות פרטיות, צריך להגדיר נתיב מ-BigQuery לקטגוריה ב-Amazon S3 או למאגר ב-ADLS Gen2 דרך Cross-Cloud Interconnect. רכיב מרכזי ב Google Cloud ענן וירטואלי פרטי (VPC) הוא מאזן עומסים פנימי. מאזן העומסים הפנימי מפיץ בקשות מ-BigQuery לנקודות הקצה הפרטיות של Amazon S3 ב-VPC של AWS (שהוקצה באמצעות AWS PrivateLink) או של ADLS Gen2 ברשת הווירטואלית של Azure ‏(VNet), שהוקצתה באמצעות Azure Private Link.

כדי לאזן עומסים, לשנות את קנה המידה ולשמור על זמינות גבוהה, חשוב להשתמש במאזן עומסים פנימי עם כמה ממשקי רשת אלסטיים (ENI) או כרטיסי רשת (NIC) כקצוות עורפיים.

תהליך העבודה של שאילתה פרטית:

  1. ב-BigQuery משתמשים בחיבור שמוגדר עם שירות של Service Directory.
  2. ‫Service Directory מחזיר את כתובת ה-IP הפנימית של מאזן העומסים הפנימי של Google Cloud .
  3. מאזן העומסים הפנימי מקבל את הבקשות מ-BigQuery ומפיץ אותן לקצוות העורפיים שהוגדרו.
  4. רכיבי ה-backend של מאזן העומסים הפנימי הם קבוצות של נקודות קצה ברשת (NEG) עם קישוריות היברידית, שכל אחת מהן מפנה לכתובת ה-IP הפרטית של ENI ב-VPC של AWS או של NIC ב-VNet של Azure.
  5. התנועה זורמת ממאזן העומסים הפנימי, דרך ה-NEGs, דרך Cross-Cloud Interconnect, אל ה-AWS ENIs או ה-Azure NICs.
  6. ממשקי ה-ENI של AWS, שהם חלק מנקודת קצה (endpoint) של ממשק VPC ב-Amazon S3‏ (AWS PrivateLink), או ממשקי ה-NIC של Azure, שהם חלק מנקודת קצה פרטית של ADLS Gen2‏ (Azure Private Link), מספקים גישה פרטית לשירות Amazon S3 או ADLS Gen2.

אינטרנט ציבורי

אם לא תגדירו את Cross-Cloud Interconnect, כברירת מחדל השאילתות לקטלוג המרוחק יעברו דרך האינטרנט הציבורי.

כששולחים שאילתות על נתונים דרך האינטרנט הציבורי, חשוב להביא בחשבון את ההשלכות הבאות:

  • הצפנה רגילה: בקשות גישה לנתונים והעברות נתונים מוצפנות בזמן ההעברה באמצעות פרוטוקולי TLS רגילים באינטרנט הציבורי.
  • עלויות תעבורת נתונים יוצאת: העברת נתונים כרוכה בחיובים רגילים על תעבורת נתונים לאינטרנט מספק שירותי הענן המרוחק (לדוגמה, AWS או Azure), שבדרך כלל גבוהים יותר מהתעריפים של תעבורת נתונים יוצאת ב-Cross-Cloud Interconnect.
  • זמן אחזור משתנה: הביצועים, רוחב הפס וזמן האחזור של הרשת תלויים בניתוב ובעומס באינטרנט הציבורי, ולכן זמני הביצוע של השאילתות פחות צפויים בהשוואה ל-Cross-Cloud Interconnect.
  • הגדרה פשוטה: לא צריך תשתית רשת נוספת, קישור בין רשתות VPC שכנות (peering) או הגדרה של ספריית שירותים ב- Google Cloud או אצל ספק שירותי הענן המרוחק.

סקירה כללית של הארכיטקטורה

כששולחים שאילתות על נתונים באינטרנט הציבורי, Lakehouse מתחבר ישירות לנקודות הקצה של הקטלוג המרוחק ושל מאגר האובייקטים, בלי צורך בתשתית פרטית או בתשתית רשת בענן מרוחק. Google Cloud

תהליך העבודה של שאילתות באינטרנט הציבורי:

  1. מערכת BigQuery מפעילה שאילתה על טבלה מרוחקת שמוגדרת בקטלוג של Lakehouse.
  2. ‫Lakehouse מבצע אימות מאובטח מול קטלוג Apache Iceberg המרוחק באמצעות פרטי כניסה ששמורים ב-Secret Manager או איחוד אסימוני OIDC.
  3. ‫Lakehouse מאחזר את המטא-נתונים של הטבלה ואת קובצי המניפסט דרך האינטרנט הציבורי כדי לזהות את קובצי הנתונים הבסיסיים הרלוונטיים (לדוגמה, ב-Amazon S3 או ב-ADLS Gen2).
  4. בקשות גישה לנתונים של האובייקטים הבסיסיים נשלחות ישירות מ-Google Cloud דרך האינטרנט הציבורי, באמצעות הצפנת TLS רגילה.
  5. שירות האחסון המרוחק מאמת את הבקשה באמצעות פרטי כניסה זמניים עם היקף הרשאות מוגדר שסופקו על ידי Lakehouse, ומחזיר את בלוקי הקבצים המבוקשים דרך האינטרנט הציבורי אל Google Cloud.

שמירה חכמה במטמון

כדי להפחית את עלויות תעבורת הנתונים היוצאת חוצה-עננים ולהאיץ שאילתות שקוראות את אותם בלוקים של קבצים, אתם יכולים להפעיל שמירה במטמון חוצה-עננים בקטלוגים המאוחדים של Lakehouse ובחיבורים חוצי-עננים של BigQuery ללא תשלום נוסף.

כשמפעילים את השמירה במטמון חוצה-עננים, Lakehouse שומר במטמון בלוקים של קבצים שאוחזרו מ-Amazon S3 או מ-Azure Blob Storage באופן מקומי באזור של הפעלת השאילתה ב- Google Cloud . שאילתות עוקבות, כולל שאילתות שונות שמטרגטות את אותם בלוקים של קבצים, קוראות ישירות מהמטמון המקומי במקום לאחזר מחדש את הקבצים מהענן המרוחק.

‫Google מנהלת באופן אוטומטי את הקיבולת, השמירה והפינוי של המטמון. החיסכון בפועל בעלויות של תעבורת הנתונים היוצאת תלוי במבנה השאילתות, בתדירות השינויים בקובצי המקור ובשמירת המטמון באזור היעד של Google Cloud. לפני הצגת נתונים שנשמרו במטמון, כל שאילתה מאמתת את המטא-נתונים ואת הרשאות הגישה מול מקור האחסון המרוחק, כדי שלא תקראו נתונים לא עדכניים או תעקפו הרשאות שבוטלו.

התכונה "שמירה במטמון חוצה-עננים" מושבתת כברירת מחדל. אתם יכולים להפעיל או להשבית את השמירה במטמון כשאתם יוצרים או מעדכנים קטלוג מאוחד של Lakehouse או חיבור חוצה-עננים של BigQuery. הוראות להגדרה מופיעות במדריך ההגדרה של ספק הקטלוגים הנתמך או במאמר יצירת חיבורים חוצי-עננים.

אימות השימוש במטמון והחיסכון בעלויות של תעבורת נתונים יוצאת

כדי לאמת את שיעורי המציאה במטמון ולמדוד את החיסכון בעלויות של תעבורת הנתונים היוצאת, בודקים את פרטי המשימה במסוף BigQuery או את השדה objectStorageStats (object_storage_stats) בנתונים הסטטיסטיים של משימת השאילתה ב-JobStatistics2:

  • ‫cloudProvider ‏(cloud_provider): ספק שירותי הענן שמארח את מאגר האובייקטים (לדוגמה, AWS או AZURE).
  • ‫cacheBytesRead (cache_bytes_read): מספר הבייטים הכולל שנקראו מהמטמון המקומי של Google Cloud , בלי לקרוא ממאגר אובייקטים מרוחק.
  • ‫objectStorageBytesRead (object_storage_bytes_read): מספר הבייטים הכולל שנקראו ישירות מאחסון האובייקטים של ספק שירותי הענן.

במאמר מעקב אחרי השימוש במטמון והחיסכון בעלויות של תעבורת נתונים יוצאת מוסבר איך לאחזר את המדדים האלה באמצעות כלי שורת הפקודה של BigQuery.

שיקולים לגבי מיקום אחסון הנתונים וסמכות השיפוט

כשמפעילים שמירה במטמון חוצה-עננים, Lakehouse שומר באופן זמני עותקים של הקבצים המרוחקים במטמון במצב מנוחה באזור ב- Google Cloud שבו השאילתה פועלת. לפני שמפעילים שמירה במטמון של קבצים שנמצאים באזור גיאוגרפי או בתחום שיפוט אחר (לדוגמה, Amazon S3 או Azure Blob Storage באיחוד האירופי שנשלחה אליהם שאילתה מ-us-east4), צריך לוודא שאחסון עותקים זמניים במטמון באזור היעד שלGoogle Cloud עומד בדרישות של הארגון בנוגע למיקום אחסון הנתונים ולתאימות.

תמיכה בהצפנה וב-CMEK

הנתונים במטמון מוצפנים במנוחה באמצעות ברירת המחדל שלGoogle-owned and Google-managed encryption keys. אי אפשר להשתמש במפתחות הצפנה בניהול הלקוח (CMEK) לשמירה במטמון חוצה-עננים.

אם בארגון שלכם נאכף אילוץ מדיניות הארגון הגבלת שירותים שאינם CMEK (constraints/gcp.restrictNonCmekServices), Lakehouse משבית באופן אוטומטי את השמירה במטמון של שאילתות שניגשות לטבלאות מוגבלות. השאילתות עדיין פועלות, אבל הן קוראות ישירות מהאחסון המרוחק בלי לשמור במטמון בלוקים של קבצים.

מצב זהות

‫Lakehouse תומך בשני מצבי זהות לגישה לנתונים חוצי-עננים:

  • זהות השירות (ברירת המחדל): גם רענון המטא-נתונים ברקע וגם השאילתות מבוצעים באמצעות חשבון השירות של הקטלוג, שאפשר להגדיר באמצעות OIDC (מומלץ) או אימות מבוסס-סוד.
  • איחוד שירותי אימות הזהות של המשתמשים: רענון המטא-נתונים ברקע מתבצע באמצעות חשבון השירות של הקטלוג, אבל השאילתות מתבצעות באמצעות הזהות של משתמש הקצה ומופצות לקטלוג המרוחק. כך הקטלוג המרוחק יכול לשייך שאילתות מ- Google Cloud למשתמשי קצה, לאכוף הרשאות וליצור יומן ביקורת. צריך להגדיר איחוד שירותי אימות זהות בקטלוג המרוחק.

המאמרים הבאים