מבוא למשילות מידע ב-BigQuery

יכולות הממשל המובנות ב-BigQuery מאפשרות לכם לגלות, לנהל, לנטר ולפקח על נתונים ועל נכסי AI לאורך מחזור החיים של הנתונים. צוותי נתונים יכולים לאסוף מערכי נתונים, להעשיר מטא-נתונים, לעקוב אחרי האיכות ולאכוף מדיניות תאימות, תוך שיתוף נכסים באופן מאובטח ובקנה מידה נרחב.

היכולות האלה מבוססות על Knowledge Catalog, מנוע תלוי הקשר אוניברסלי שפועל תמיד ומשתמש במטא-נתונים טכניים ובסמנטיקה עסקית בכל מאגר הנתונים שלכם כדי ליצור תרשים הקשר של למידה עצמית לאפליקציות במורד הזרם ולמנתחי נתונים.

גילוי נתונים

‫BigQuery מאתר נתונים בכל הארגון ב- Google Cloud, בין שהנתונים נמצאים ב-BigQuery, ב-Spanner, ב-Cloud SQL, ב-Pub/Sub או ב-Cloud Storage. המטא-נתונים נשלפים באופן אוטומטי ונשמרים ב-Knowledge Catalog. לדוגמה, אתם יכולים לחלץ מטא-נתונים של נתונים מובְנים ולא מובְנים מ-Cloud Storage, וליצור באופן אוטומטי טבלאות BigLake שמוכנות לשאילתות בקנה מידה נרחב. כך אפשר לבצע ניתוח נתונים באמצעות מנוע קוד פתוח בלי לשכפל נתונים.

אתם יכולים גם לחלץ מטא-נתונים ממקורות נתונים של צד שלישי ולקטלג אותם באמצעות מחברים בהתאמה אישית.

ב-BigQuery יש את היכולות הבאות לגילוי נתונים:

  • חיפוש. חיפוש נתונים ומשאבי AI בפרויקטים ובארגון. ב-BigQuery במסוף Google Cloud , אתם יכולים להשתמש בחיפוש סמנטי (גרסת טרום-השקה (Preview)) כדי לחפש משאבים בשפה טבעית. אפשר גם למצוא משאבים באמצעות חיפוש מילות מפתח ב-Knowledge Catalog.
  • גילוי אוטומטי של נתונים ב-Cloud Storage סריקת נתונים בקטגוריות של Cloud Storage כדי לחלץ מטא-נתונים וליצור מהם קטלוג. הגילוי האוטומטי יוצר טבלאות גם לנתונים מובְנים וגם לנתונים לא מובְנים.
  • ייבוא מטא-נתונים. לייבא מטא-נתונים בקנה מידה גדול ממערכות של צד שלישי אל Knowledge Catalog. אתם יכולים ליצור מחברים בהתאמה אישית כדי לחלץ נתונים ממקורות הנתונים, ואז להריץ צינורות עיבוד נתונים מנוהלים לקישוריות, שמתזמרים את תהליך העבודה של ייבוא המטא-נתונים.
  • ייצוא מטא-נתונים. ייצוא מטא-נתונים בקנה מידה גדול מ-Knowledge Catalog. אתם יכולים לנתח את המטא-נתונים שיוצאו באמצעות BigQuery, או לשלב אותם באפליקציות בהתאמה אישית או בתהליכי עבודה פרוגרמטיים.

ניהול ואחריות על נתונים

כדי לשפר את יכולת הגילוי והשימוש בנתונים, מנהלי מערכת ומנהלי מדיניות מידע ארגונית יכולים להשתמש ב-BigQuery כדי לבדוק, לעדכן ולנתח מטא-נתונים. יכולות הניהול והאחריות על הנתונים ב-BigQuery עוזרות לוודא שהנתונים מדויקים, עקביים ותואמים למדיניות של הארגון.

ב-BigQuery יש את היכולות הבאות לאיסוף ולניהול נתונים:

  • מילון המונחים הארגוני. כדי לשפר את ההקשר, שיתוף הפעולה והחיפוש, אתם יכולים להגדיר את המונחים של הארגון במילון מונחים. מזהים את מנהלי המידע של המונחים ומצרפים את המונחים לשדות של נכסי הנתונים.
  • תובנות מנתונים. ‫Gemini משתמש במטא-נתונים כדי ליצור שאלות בשפה טבעית על הטבלה ושאילתות SQL כדי לענות עליהן. תובנות מנתונים אלה עוזרות לכם לזהות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי.
  • יצירת פרופיל נתונים. לזהות מאפיינים סטטיסטיים נפוצים של העמודות בטבלאות ב-BigQuery כדי להבין ולנתח את הנתונים בצורה יעילה יותר.
  • איכות הנתונים. להגדיר ולהריץ בדיקות של איכות הנתונים בטבלאות ב-BigQuery וב-Cloud Storage, ולהחיל אפשרויות לניהול השימוש בנתונים קבועות ומתמשכות בסביבות BigQuery.
  • שושלת נתונים. מעקב אחרי תנועת הנתונים במערכות: מאיפה הם מגיעים, לאן הם מועברים ואילו טרנספורמציות מוחלות עליהם. ב-BigQuery אפשר לעקוב אחרי שושלת הנתונים ברמת הטבלה וברמת העמודה.

השלבים הבאים לאיסוף נתונים ולניהול מדיניות מידע ארגונית

בטבלה הבאה מפורטים השלבים הבאים שאתם יכולים לבצע כדי לקבל מידע נוסף על תכונות של ניהול נתונים וניהול מידע ארגוני:

ניסיון תוכנית לימודים
משתמשים חדשים בענן
משתמשי ענן מנוסים

אבטחה ובקרת גישה

ניהול הרשאות גישה לנתונים הוא תהליך שבו מגדירים, אוכפים ומנטרים את הכללים וכללי המדיניות שקובעים למי יש גישה לנתונים. ניהול הרשאות גישה מבטיח שרק מי שמורשה לגשת לנתונים יוכל לגשת אליהם.

ב-BigQuery יש את יכולות האבטחה ובקרת הגישה הבאות:

  • ניהול זהויות והרשאות גישה (IAM). בעזרת IAM אתם יכולים לקבוע למי תהיה גישה למשאבים שלכם ב-BigQuery, כמו פרויקטים, מערכי נתונים, טבלאות ותצוגות. אתם יכולים להקצות תפקידי IAM למשתמשים, לקבוצות ולחשבונות שירות. התפקידים האלה מגדירים מה הם יכולים לעשות עם המשאבים שלכם.
  • אמצעי בקרת גישה ברמת העמודה ואמצעי בקרת גישה ברמת השורה. אמצעי בקרת גישה ברמת העמודה וברמת השורה מאפשרים להגביל את הגישה לעמודות ולשורות ספציפיות בטבלה, על סמך מאפייני משתמשים או ערכי נתונים. אמצעי הבקרה הזה מאפשר להטמיע גישה מפורטת כדי להגן על מידע אישי רגיש מפני גישה לא מורשית.
  • ניהול העברת נתונים. בעזרת VPC Service Controls אפשר ליצור גבולות גזרה מסביב למשאבים ב- Google Cloud, ולשלוט בגישה למשאבים האלה על סמך כללי המדיניות של הארגון.
  • יומני ביקורת. יומני ביקורת מספקים תיעוד מפורט של פעילות המשתמשים ואירועי המערכת בארגון. היומנים האלה עוזרים לאכוף את מדיניות משילות המידע (data governance) ולזהות סיכוני אבטחה פוטנציאליים.
  • אנונימיזציה של נתונים. הסתרת מידע מאפשרת להסתיר מידע רגיש בטבלה, ועדיין לאפשר למשתמשים מורשים לגשת לנתונים שמסביב. הסתרת מידע יכולה גם להסתיר נתונים שתואמים לדפוסים של מידע רגיש, וכך להגן מפני חשיפה מקרית של מידע.
  • הצפנה. ב-BigQuery כל הנתונים מוצפנים באופן אוטומטי במצב מנוחה ובזמן העברה, ואתם יכולים להתאים אישית את הגדרות ההצפנה בהתאם לדרישות הספציפיות שלכם.

השלבים הבאים להגדרת האבטחה ובקרת הגישה

בטבלה הבאה מפורטים השלבים הבאים שתוכלו לבצע כדי לקבל מידע נוסף על תכונות של בקרת גישה:

ניסיון תוכנית לימודים
משתמשים חדשים בענן
משתמשי ענן מנוסים

נתונים ותובנות משותפים

בעזרת BigQuery אתם יכולים לשתף נתונים ותובנות בקנה מידה נרחב בתוך הארגון ומחוצה לו. יש לה מסגרת אבטחה ופרטיות חזקה באמצעות פלטפורמה מובנית להחלפת נתונים. באמצעות שיתוף ב-BigQuery, אתם יכולים לגלות ספריית נתונים שאצרו מגוון רחב של ספקי נתונים, לגשת אליה ולהשתמש בה.

אלה יכולות השיתוף של BigQuery:

  • שיתוף של יותר מנתונים. אתם יכולים לשתף מגוון רחב של נתונים ונכסי AI, כמו מערכי נתונים, טבלאות, תצוגות, סטרימינג בזמן אמת עם נושאי Pub/Sub, פרוצדורות מאוחסנות ב-SQL ומודלים של BigQuery ML.
  • גישה למערכי הנתונים של Google. אתם יכולים להרחיב את הפרויקטים שקשורים לניתוח נתונים ול-ML באמצעות מערכי הנתונים של Google, כמו מגמות החיפוש, המודלים של DeepMind WeatherNext, ‏Google Maps Platform, ‏Google Earth Engine ועוד.
  • שילוב עם עקרונות של משילות מידע (data governance). בעלי הנתונים שומרים על השליטה בנתונים שלהם ויכולים להגדיר כללים או כללי מדיניות כדי להגביל את הגישה והשימוש.
  • שיתוף נתונים בזמן אמת ללא העתקה. הנתונים משותפים במקום בלי צורך בשילוב, בהעברת נתונים או בשכפול, וכך הניתוח מבוסס על המידע העדכני ביותר. מערכי הנתונים המקושרים שנוצרו הם מצביע בזמן אמת לנכס המשותף.
  • שיפור מצב האבטחה. אתם יכולים להשתמש באמצעי בקרת גישה כדי לצמצם את הקצאת היתר של הרשאות גישה, כולל תמיכה מובנית ב-VPC Service Controls.
  • הגברת החשיפה באמצעות מדדי שימוש של ספקים. בעלי הנתונים יכולים לראות ולעקוב אחרי השימוש בנכסים המשותפים, כמו מספר המשימות שבוצעו, סך הבייטים שנסרקו והמנויים בכל ארגון.
  • שיתוף פעולה במידע אישי רגיש באמצעות חדרים נקיים לנתונים. חדרים נקיים לנתונים מספקים סביבה מאובטחת שבה כמה גורמים יכולים לשתף, לאחד ולנתח את נכסי הנתונים שלהם בלי להעביר או לחשוף את הנתונים הבסיסיים.
  • מבוסס על BigQuery. אתם יכולים להשתמש ביכולות העיבוד המסיביות ובמדרגיות של BigQuery כדי לשתף פעולה בקנה מידה גדול.

השלבים הבאים לשיתוף

בטבלה הבאה מפורטים השלבים הבאים שתוכלו לבצע כדי לקבל מידע נוסף על תכונות השיתוף:

ניסיון תוכנית לימודים
משתמשים חדשים בענן
משתמשי ענן מנוסים

המאמרים הבאים