מיפוי של שיטות Data Catalog API ל-Knowledge Catalog

השירות Data Catalog הוצא משימוש. אם אתם מעבירים תהליכי עבודה, סקריפטים, ספריות לקוח או הגדרות של Terraform מ-Data Catalog ל-Knowledge Catalog, אתם צריכים לעדכן את הקוד כך שישתמש ב-Dataplex API.

במאמר הזה מפורט מיפוי מקיף של המשאבים, התכונות ושיטות ה-API של Data Catalog למקבילות שלהם ב-Dataplex API.

הוראות מפורטות לתהליך ההעברה מופיעות במאמר בנושא מעבר מ-Data Catalog ל-Knowledge Catalog. מאמרי העזרה של ה-API זמינים במאמרי העזרה של Dataplex API REST ובמאמרי העזרה של Dataplex API RPC.

מיפוי משאבים

בטבלה הבאה מוסבר איך משאבים ב-Data Catalog תואמים למשאבים ב-Knowledge Catalog:

משאב Data Catalog משאב ב-Knowledge Catalog תיאור
תבנית ליצירת תג ציבורית סוג היחס (global) תבניות תגים הן משאבים אזוריים ב-Data Catalog שאפשר להשתמש בהם באזורים שונים. הם תואמים ל-global סוגי היבטים ב-Knowledge Catalog.
תג ציבורי היבט אופציונלי תגים ציבוריים תואמים להיבטים אופציונליים שמצורפים לרשומה או לעמודה ב-Knowledge Catalog.
קבוצת רשומות קבוצת רשומות קבוצות של רשומות משמשות כקונטיינרים ארגוניים ואבטחתיים בשני השירותים. במקורות Google Cloud , קבוצות של רשומות במערכת כמו @bigquery נוצרות באופן אוטומטי לכל פרויקט.
רשומה בהתאמה אישית רשומה מותאמת אישית (עם היבטים נדרשים) מאפיינים רגילים של רשומות בהתאמה אישית מוגדרים כמאפיינים נדרשים שמוגדרים על ידי EntryType של הרשומה בהתאמה אישית.
רשומה (Google Cloud) של המערכת רשומה במערכת (עם היבטים נדרשים) מטא-נתונים שמתארים ישויות מובנות (כמו Schema לטבלאות BigQuery) נשמרים בהיבטים הנדרשים של סוגי היבטים שמוגדרים על ידי המערכת.
מילוני מונחים עסקיים מילוני מונחים עסקיים טקסונומיות של מונחים עסקיים שמבצעות סטנדרטיזציה של ההקשר העסקי בכל הארגון.

השוואה בין תכונות

בטבלה הבאה מוצגת השוואה בין היכולות של Knowledge Catalog ו-Data Catalog לניהול מטא-נתונים:

תכונה Knowledge Catalog Data Catalog
מקורות נתמכים Google Cloud כל המקורות שמתוארים במאמר בנושא מקורות נתמכים Google Cloud . כל המקורות שמתוארים במסמכי התיעוד של Data Catalog.
הטמעה של מקורות מותאמים אישית

הטמעה ברשומות בהתאמה אישית עם מבנה מנוהל שמוגדר על ידי סוגי רשומות.

רשומות מותאמות אישית וקבוצות רשומות מ-Data Catalog זמינות ב-Knowledge Catalog בסוג הרשומה generic.

 הטמעה של נתונים ברשומות גנריות בהתאמה אישית.
העשרת מטא-נתונים

המידע הזה נאסף באמצעות מילוני מונחים עסקיים, היבטים וסוגי היבטים.

יש תמיכה בקישורים להצטרפות. אפשר לצרף היבטים ישירות לקישורים של רשומות.

הנתונים נאספים באמצעות מילונים עסקיים, תגים ותבניות תגים.

אין תמיכה בקישורי כניסה.
קישורים לכניסה יש תמיכה סוגים מובנים כמו synonym,‏ definition,‏ related ו-schema-join מאפשרים לכם לקשר בין רשומות ועמודות. לא זמין.
פידים של שינויים במטא-נתונים התראות על שינויים במטא-נתונים בסטרימינג כמעט בזמן אמת ל-Pub/Sub. לא זמין.
חיפוש החיפוש מתבצע בכל המקורות Google Cloud הנתמכים, הרשומות המותאמות אישית, ההיבטים והתוכן שהועבר מ-Data Catalog באותו ארגון ובאותו גבול גזרה של VPC Service Controls. החיפוש מתבצע במקורות נתמכים, בערכים מותאמים אישית ובתגים שנוצרו ב-Data Catalog.
שושלת נתונים אחזור פרטי רשומות לצמתי נכסים באמצעות Dataplex API. הצגת היבטים מצורפים במסוף Google Cloud . אחזור פרטי רשומה באמצעות Data Catalog API.
מילוני מונחים עסקיים מאפשרת לכם ליצור טקסונומיות של מונחים עסקיים ולשייך אותם גם לנכסי נתונים (רשומות) וגם לעמודות. מאפשר לשייך מונחים לעמודות.

מיפוי של שיטות Data Catalog API ל-Knowledge Catalog

בטבלאות הבאות מוצגת מיפוי בין Data Catalog API‏ (google.cloud.datacatalog.v1) לבין Dataplex API‏ (google.cloud.dataplex.v1.CatalogService), לפי שיטה.

קבוצות של רשומות

הקונספט של קבוצות כניסה זהה בשני השירותים:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)		 ‫projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
‫projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)		 ‫projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
‫projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)		 ‫projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
‫projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)		 ‫projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
‫projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)		 ‫projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)

דפים

המושג 'רשומות', שמייצג נכסי נתונים, זהה בשני השירותים:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)		 ‫projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)		 ‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: אפשר גם להשתמש בשיטות projects.locations.modifyEntry (REST) ו-ModifyEntry (RPC) כדי לעדכן רשומות במערכת באמצעות הרשאות של מערכת המקור במקום הרשאות של הקטלוג.
‫projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)		 ‫projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
‫projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)		 ‫projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
‫entries.lookup (REST)
LookupEntry (RPC)		 ‫projects.locations.lookupEntry (REST)
LookupEntry (RPC)

הערה: כדי להשתמש ב-lookupEntry, צריך לציין את שם הרשומה. כדי לתרגם שם SQL, שם מוגדר במלואו או שם של משאב מקושר ב-BigQuery לשם של רשומה, קודם צריך להתקשר אל projects.locations.searchEntries (REST) או אל SearchEntries (RPC).
‫projects.locations.entryGroups.entries.modifyEntryContacts (REST)
ModifyEntryContacts (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: משתמשים ב-update_mask כדי לשנות רק את ההיבט contacts.
‫projects.locations.entryGroups.entries.modifyEntryOverview (REST)
ModifyEntryOverview (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: משתמשים ב-update_mask כדי לשנות רק את ההיבט overview.
‫projects.locations.entryGroups.entries.tags.reconcile (REST)
ReconcileTags (RPC)		 projects.locations.metadataJobs.create (REST)
CreateMetadataJob (RPC),
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

הערה: אפשר להשתמש ב-CreateMetadataJob עם סוג העבודה של הייבוא כדי לייבא תוכן של מטא-נתונים לכמה רשומות בבת אחת. כדי לעדכן את כל ההיבטים של רשומה אחת, משתמשים ב-UpdateEntry.
‫catalog.search (REST)
SearchCatalog (RPC)		 ‫projects.locations.searchEntries (REST)
SearchEntries (RPC)

הערה: searchEntries מחפש בתוך הארגון של המתקשר. צריך להפעיל חיפושים בין ארגונים בנפרד לכל ארגון.

תבניות תגים וסוגי היבטים

סוגי היבטים הם הדור הבא של תבניות התגים של Data Catalog:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.create (REST)
CreateTagTemplate (RPC)		 ‫projects.locations.aspectTypes.create (REST)
CreateAspectType (RPC)
‫projects.locations.tagTemplates.get (REST)
GetTagTemplate (RPC)		 ‫projects.locations.aspectTypes.get (REST)
GetAspectType (RPC)
‫projects.locations.tagTemplates.patch (REST)
UpdateTagTemplate (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.delete (REST)
DeleteTagTemplate (RPC)		 ‫projects.locations.aspectTypes.delete (REST)
DeleteAspectType (RPC)
‫catalog.search (REST) עם type=tag_template
SearchCatalog (RPC) עם type=tag_template		 ‫projects.locations.aspectTypes.list (REST)
ListAspectTypes (RPC)

שדות של תבנית ליצירת תג

השדות בתבנית ליצירת תג תואמים לתוכן של השדה metadata_template בסוג של היבט. אפשר להשתמש ב-UpdateAspectType עם metadata_template ששונה כדי ליצור, לעדכן, לשנות את השם או למחוק שדות:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.fields.create (REST)
CreateTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.patch (REST)
UpdateTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.rename (REST)
RenameTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
‫projects.locations.tagTemplates.fields.delete (REST)
DeleteTagTemplateField (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

ערכי enum של שדות בתבנית ליצירת תג

כדי לשנות ערכי enum, מעדכנים את השדה metadata_template בסוג ההיבט המתאים:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.tagTemplates.fields.enumValues.rename (REST)
RenameTagTemplateFieldEnumValue (RPC)		 ‫projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

תגים ומאפיינים

היבטים הם הדור הבא של תגי Data Catalog. המאפיינים מוצפנים ישירות ברשומות האב או בקישורי הרשומות שלהם, ומנוהלים באמצעות השיטה UpdateEntry עם update_mask:

שיטת Data Catalog API שיטת Dataplex API
‫projects.locations.entryGroups.entries.tags.create (REST)
CreateTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.list (REST)
ListTags (RPC)		 ‫projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)

הערה: כדי לסנן את ההיבטים בתשובה, משתמשים בפרמטרים views, aspect_types ו-paths.
‫projects.locations.entryGroups.entries.tags.patch (REST)
UpdateTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
‫projects.locations.entryGroups.entries.tags.delete (REST)
DeleteTag (RPC)		 ‫projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

תגי מדיניות וטקסונומיות

ממשקי ה-API של תגי המדיניות והטקסונומיות לא משתנים ולא נדרש מעבר לגרסה חדשה.

תכונות שלא נתמכות בקטלוג הידע

התכונות וההתנהגויות הבאות של Data Catalog לא נתמכות ב-Knowledge Catalog או שהן פועלות בו באופן שונה:

  • סוגי מאפיינים פרטיים: אין מושג של מאפיינים פרטיים וסוגי מאפיינים פרטיים (המקבילים לתגים פרטיים ולתבניות תגים פרטיות ב-Data Catalog). כל סוגי ההיבטים המותאמים אישית כפופים להרשאות ניהול הזהויות והרשאות הגישה (IAM) של הפרויקט ושל קבוצת הרשומות.
  • חיפוש תגי מדיניות: אי אפשר לחפש תגי מדיניות באמצעות הפרדיקטים policytag או policytagid בחיפוש בקטלוג.
  • העברת הרשאות: כשמייבאים קבוצות רשומות בהתאמה אישית, רשומות בהתאמה אישית, תבניות תגים ותגים של Data Catalog אל Knowledge Catalog, ההרשאות המקוריות שלהם לא מועברות. צריך להגדיר הרשאות IAM למשאבים המיובאים. השוואה מפורטת בין ההרשאות הקודמות לבין ההרשאות החדשות מופיעה במאמר מיפוי הרשאות IAM בין Data Catalog לבין Knowledge Catalog.
  • תוצאות הבדיקה של Sensitive Data Protection: אי אפשר לשלוח את תוצאות הבדיקה של Sensitive Data Protection ישירות אל Knowledge Catalog. במקום זאת, אפשר לשלוח את תוצאות הבדיקה ל-Data Catalog ולהעביר את התוצאות ל-Knowledge Catalog.
  • הצגת רשימה של סוגי פרויקטים: הצגת רשימה של סוגי רשומות, סוגי קישורים לרשומות וסוגי היבטים בפרויקטים שונים באמצעות קריאה ל-API אחת אינה נתמכת. הבקשות צריכות להיות מוגבלות לפרויקט אחד.
  • חיפוש אדמין: חיפוש אדמין (שחזור מלא) לא נתמך. במקום זאת, אפשר לייצא מטא-נתונים ל-Cloud Storage ולהריץ עליהם שאילתות באמצעות BigQuery.

המאמרים הבאים

מדריך

מדריך מפורט להעברת תבניות תגים, רשומות מותאמות אישית ותהליכי עבודה.

Concept

מידע על מטא-מודל גמיש של קטלוג הידע ועל Active Context Graph

מקור מידע

אפשר לעיין במאמרי העזרה של ה-API בארכיטקטורת REST של שירות Dataplex Catalog.

מקור מידע

אפשר לעיין במקורות המידע בנושא gRPC API עבור שירות Dataplex Catalog.