במאמר הזה מפורטות תשובות לשאלות נפוצות בנושא Google CloudKnowledge Catalog (לשעבר Dataplex Universal Catalog).
סקירה כללית על Knowledge Catalog
מושגים כלליים
שאלות נפוצות על התכונות של Knowledge Catalog.
מה זה Knowledge Catalog?
Knowledge Catalog הוא פתרון חכם לניהול נתונים ונכסי AI ב- Google Cloud. הוא מספק מלאי מרכזי שבו אפשר לגלות, לנהל ולפקח על הנתונים במקורות נתונים ב- Google Cloud , כמו BigQuery, Cloud Storage, Pub/Sub ו-Spanner.
ב-Knowledge Catalog נעשה שימוש ב-AI כדי להפוך את גילוי הנתונים, העשרת המטא-נתונים ואיכות הנתונים לאוטומטיים. באמצעות קטלוג הנתונים המנוהל, Knowledge Catalog מספק את הבסיס החיוני שסוכני AI צריכים כדי ליצור תוכן באיכות גבוהה.
למה משמש Knowledge Catalog?
Knowledge Catalog פותר את הבעיה של "הפעלה במצב התחלתי (cold start) של נתונים" – הזמן שמתבזבז בניסיון למצוא נתונים, להבין אותם ולסמוך עליהם לפני שאפשר להשתמש בהם בפועל. השימושים העיקריים שלו כוללים:
איתור נתונים מהיר יותר: במקום לנווט בין מאגרי מידע ארגוניים מורכבים כדי לאתר נתונים, אתם יכולים להשתמש בחיפוש בשפה טבעית (לדוגמה, "הצג את הנתונים העדכניים ביותר על נטישת לקוחות") כדי למצוא נכסים במשאביGoogle Cloud באופן מיידי, וכך להגביר את הפרודוקטיביות של צרכני הנתונים.
התבססות על סוכני AI: הוא משמש כ "מקור האמת" ל-AI גנרטיבי או ל-ADK. הקישור בין נתונים פיזיים להגדרות עסקיות מבטיח שסוכני AI (כמו אלה שמבוססים על Vertex AI) ישתמשו בנתונים באיכות גבוהה, וכך מפחית באופן משמעותי את ההזיות של ה-AI ומשפר את האמון בתובנות שנוצרות על ידי AI.
משילות מידע אוטומטית: המערכת סורקת את הנתונים באופן אוטומטי כדי לזהות מידע רגיש (כלומר, פרטים אישיים מזהים), עוקבת אחרי מקור הנתונים (שושלת) ובודקת את הדיוק שלהם (איכות נתונים אוטומטית). היכולות האלה עוזרות לשפר את האמינות, האבטחה והתאימות של הנתונים בפחות מאמץ ידני.
גילוי "נתונים אפלים": אפשר לסרוק קבצים לא מובְנים (לדוגמה, קובצי PDF או תמונות ב-Cloud Storage), לחלץ את המידע שבתוכם ולהפוך אותו לניתן לחיפוש ולשאילתות ב-BigQuery, וכך לקבל תובנות מנתונים שלא היו נגישים קודם לכן.
כדי להתחיל לעבוד עם התרחישים האלה, קראו את המאמר תרחישים לדוגמה של Knowledge Catalog.
אילו סוגים של מטא-נתונים נשמרים ב-Knowledge Catalog?
ב-Knowledge Catalog מאוחסנים שלושה סוגים של מטא-נתונים:
מטא-נתונים טכניים: סכימות, שמות של טבלאות ומאפייני מערכת שנאספים באופן אוטומטי.
מטא-נתונים של העסק: הקשר שמוגדר על ידי המשתמש, כמו תיאורי העסק, מונחים במילון המונחים ובעלות.
מטא-נתונים של זמן ריצה: מידע על שושלת נתונים, ציוני איכות נתונים ונתונים סטטיסטיים של פרופיל נתונים.
חיוב על תובנות מנתונים
כאן תוכלו למצוא שאלות נפוצות על חיוב מבוסס-אסימונים, מדידת שימוש ואמצעי בקרה אדמיניסטרטיביים לתכונה "תובנות מנתונים" ב-Knowledge Catalog.
מתי אתחיל להיות מחויב על השימוש בתובנות מנתונים?
החיוב הפעיל על תובנות מנתונים יתחיל ב-27 באוקטובר 2026.
איך מחויב השימוש בתובנות מנתונים?
השימוש נמדד באסימוני נתונים. אסימוני נתונים מייצגים את היחידות הבסיסיות של הטקסט והמטא-נתונים שמודל Gemini מעבד. האסימונים האלה מחולקים לשתי קטגוריות:
- טוקנים של קלט: ההקשר, ההוראות וההיסטוריה שנשלחים למודל.
- טוקנים של פלט: התיאורים, הקשרים והשאילתות בשפה טבעית שהמודל מחזיר.
מידע נוסף זמין במאמר התמחור של Data Cloud Agent.
האם חשבונות שירות מקבלים מכסה בחינם לתובנות מנתונים?
לא. חשבונות שירות לא מקבלים מכסה חינמית לכל משתמש. עם זאת, השימוש שלהם נמדד באותו אופן כמו משתמשים רגילים.
איך אפשר למנוע חיוב אוטומטי על תובנות מנתונים?
כדי להימנע מחיובים, צריך לבדוק את הסריקות שפועלות ולהפסיק להפעיל סריקות חדשות. אדמינים יכולים גם להשבית את היכולת של תובנות מנתונים על ידי השבתת Dataplex API בפרויקט הרלוונטי.
איך אפשר לדעת כמה אשלם על תובנות מנתונים?
Google Cloud מספק מדידה של טוקנים של נתונים. המעקב הזה מאפשר לאדמינים ולבעלי הנציגים לעקוב אחרי צריכת הטוקנים שלהם. כדי לעקוב אחרי צריכת הטוקנים של סריקות של תובנות מנתונים וליצור מרכזי בקרה בהתאמה אישית ב-Cloud Monitoring, קראו את המאמר מעקב אחרי השימוש בטוקנים של תובנות מנתונים.
איך אפשר לשלוט בעלויות ולהגדיר מגבלות טוקנים לתובנות מנתונים?
כדי לנהל את העלויות ולהגביל את השימוש בטוקנים של תובנות מנתונים, קראו את המאמר מכסות ומגבלות של תובנות מנתונים.
מה קורה כשמגיעים למגבלות המכסה של תובנות מנתונים?
לפני שמתחילה סריקה, Knowledge Catalog בודק את מכסות הטוקנים של הקלט והפלט, ומנכה את הטוקנים שנוצלו אחרי שהסריקה מסתיימת.
מה קורה לסריקות שכבר מתבצעות כשחורגים מהמגבלה?
Knowledge Catalog בודק את המכסה רק בתחילת הסריקה, ולא באמצע הסריקה. אם סריקה מתחילה כשהמכסה עדיין זמינה והשימוש שלה בטוקנים גורם לפרויקט לחרוג מהמגבלה היומית, הסריקה מסתיימת כרגיל והתובנות שנוצרו על ידי AI מתפרסמות. אחרי שההתאמה של החיוב לאחר הסריקה מסתיימת, Knowledge Catalog מסמן את קטגוריית המכסה היומית ככזו שנוצלה (100%) למשך שארית היום.
מה קורה לסריקות הבאות שמופעלות אחרי שמגיעים למגבלה?
אחרי שמכסת הטוקנים היומית לקלט או לפלט נגמרת, Knowledge Catalog חוסם מיד כל סריקה חדשה של תובנות לפי דרישה או מתוזמנת לפני שהיא מתבצעת. סריקות שנדחו לא מחויבות בטוקנים.
מה רואים במסוף Google Cloud ?
אם הסריקה נכשלת כי חרגתם ממכסת האסימונים, BigQuery Studio ו-Knowledge Catalog במסוף Google Cloud יתנהגו באופן הבא:
בטבלה או במערך נתונים עם תובנות קיימות: היצירה מחדש נכשלת ומופיע באנר השגיאה הבא:
Knowledge Catalog Insights token quota limit exceeded for this project.כל התיאורים וההצעות לשאילתות SQL שנוצרו בעבר עדיין גלויים וזמינים לשימוש.
בטבלה או בקבוצת נתונים חדשה בלי תובנות קודמות: היצירה נכשלת ומוצג באנר השגיאה של חריגה מהמכסה במצב הריק. הלחצן יצירת תובנות עדיין זמין כדי לנסות שוב.
איך אפשר להמשיך ליצור תובנות מנתונים?
כדי להמשיך ליצור תובנות מנתונים, צריך לבצע אחת מהפעולות הבאות:
- לחכות לאיפוס היומי: מוני הטוקנים היומיים מתאפסים אוטומטית ל-0 בחצות לפי שעון החוף המערבי (00:00 PT).
- הגדלת מגבלת המכסה: אדמין של פרויקט יכול להגדיל את המגבלה היומית (או לאפס אותה ללא הגבלה) בדף Quotas & System Limits במסוףGoogle Cloud כדי להמשיך מיד ביצירת התובנות.
מעקב אחרי חיובים ועלויות
שאלות נפוצות על מעקב אחרי עלויות המחשוב ושיוך שלהן ב-Knowledge Catalog.
איך עוקבים אחרי עלויות ה-DCU של Knowledge Catalog ומשייכים אותן לאיכות הנתונים, לפרופיל הנתונים ולשושלת הנתונים?
יחידות המחשוב של DataScan ב-Knowledge Catalog (איכות נתונים אוטומטית ויצירת פרופילים של נתונים) ויחידות המחשוב של שושלת נתונים (DCU) פועלות במחשוב בלי שרת (serverless computing) בתשתית שמנוהלת על ידי Google, ולא מפרסמות מדדים של סדרות זמנים ב-Cloud Monitoring בקטע dataplex.googleapis.com/*.
כדי לעקוב אחרי העלויות של יחידות ה-DCU של Knowledge Catalog, לשלוח התראות לגביהן ולשייך אותן לפרויקטים ולסריקות, אתם יכולים לייצא את נתוני החיוב ב-Cloud ל-BigQuery ולשלוח שאילתות לגבי תוויות המערכת שמצורפות לרשומות החיוב של Knowledge Catalog:
- לסריקות של איכות הנתונים וסריקות פרופיל נתונים, משתמשים בתוויות
goog-dataplex-datascan-*(כמוgoog-dataplex-datascan-id,goog-dataplex-datascan-data-source-projectו-goog-dataplex-datascan-data-source-bigquery-table). - לעיבוד של שושלת נתונים, משתמשים בתווית
goog-dataplex-workload-typeעם הערךLINEAGE.
במאמר מעקב אחרי עלויות ה-DCU של Knowledge Catalog ושיוך שלהן באמצעות ייצוא של נתוני החיוב ב-Cloud מופיעות הגדרות מפורטות של התוויות ושאילתות SQL לדוגמה ב-BigQuery.