יצירת מוצרי נתונים באמצעות מיומנויות של סוכנים
סקירה כללית
במדריך הזה נסביר איך להשתמש במיומנויות מיוחדות של סוכני Cortex Framework – שסופקו ישירות על ידי Cortex Framework במאגר GitHub – עם עוזר דיגיטלי מבוסס-AI לתכנות (כמו Gemini בשילוב עם מסגרת הפיתוח מבוססת הסוכנים Antigravity) כדי ליצור מוצרי נתונים בהתאמה אישית שפועלים לפי השיטות המומלצות של Cortex Framework.
Cortex Framework מספק סקילים אג'נטיים ספציפיים כדי להרחיב את היכולות שלו, ומאפשר לעוזר אישי מבוסס-AI שלכם להדריך אתכם בתהליך של יצירת מוצרי נתונים בהתאם לשיטות המומלצות של Cortex Framework. היכולות האלה מאפשרות לכם להשתמש בשפה טבעית כדי לבקש מוצר נתונים חדש על סמך דרישות עסקיות ספציפיות. לדוגמה, אתם יכולים לבקש מוצר נתונים לצריכה של חשבונות לתשלום כדי לקבל תובנות לגבי הסכום הכולל לתשלום, סכומים שמועד התשלום שלהם עבר והמחזור. התוצאה היא מוצר נתונים משולב לחלוטין של Cortex Framework, שנוצר על סמך הדרישות והנתונים הספציפיים של הלקוח ומוכן להפעלה.
סקילים אג'נטיים
כישורי סוכן הם פורמט פתוח וקל משקל להרחבת היכולות של סוכני AI באמצעות ידע ותהליכי עבודה מיוחדים. סקיל הוא בעצם תיקייה שמכילה קובץ SKILL.md (שכולל מטא-נתונים והוראות) וגם סקריפטים, הפניות ונכסים אופציונליים שמנחים את הסוכן איך לבצע משימה ספציפית. מיומנויות הן חבילות של ידע פרוצדורלי והקשר בתיקיות ניידות שהסוכנים טוענים לפי דרישה, ומספקות מומחיות בתחום ותהליכי עבודה שניתן לחזור עליהם. המיומנויות של Cortex Framework מאוחסנות בספרייה .agent.
סקילים אג'נטיים ב-Cortex Framework
הכלי Agentic Data Product Builder הופך את מחזור החיים של פיתוח מוצרי נתונים מקצה לקצה לאוטומטי ב-Cortex Framework. כשמנחים את העוזר האישי מבוסס-AI לבצע תהליכי פיתוח מובְנים, לא צריך ליצור באופן ידני מבני קבצים, לנווט בסכימות SAP מורכבות, להגדיר שכבות בסיס, לנהל מרחבי שמות בהתאמה אישית ולכתוב קוד Dataform SQLX סטנדרטי.
העוזר האישי מבוסס-AI מנהל את המשימות העיקריות הבאות:
- תכנון ומיפוי דרישות: תרגום דרישות עסקיות קונקרטיות לתוכנית פיתוח ומודל נתונים שניתן לפעול לפיהם.
- חיפוש סכימה בזמן אמת: מריץ סקריפטים ששולחים שאילתות לטבלאות משוכפלות של SAP Data Dictionary (DDIC) כדי לספק מידע על ההקשר הספציפי ללקוח, כמו שדות Z בהתאמה אישית.
- תבנית בסיסית: יוצרת באופן אוטומטי את כל קובצי התצורה, המטא-נתונים ורכיבי הקוד ב-SQLX או ב-JavaScript שנדרשים.
- שערי איכות נתונים: מאמתים את מוצרי הנתונים על ידי הרצת גרסאות build מקומיות, הידור של קוד SQL, ביצוע בדיקות יחידה ובדיקות שילוב ואימות התאימות לתקני מתן שמות.
- יצירת מסמכים: יוצרת באופן אוטומטי נכסי מסמכים, כולל תצוגה חזותית של דיאגרמות של קשרי ישויות (ER) ומפתחות ראשיים של מודול מוצר הנתונים.
פיתוח מוצרי נתונים עם מיומנויות מבוססות-סוכנים הוא תהליך איטרטיבי. אתם יכולים להתחיל עם היעדים הראשוניים, לבדוק את תוכנית ההטמעה שהסוכן מציע, כולל דיאגרמות ER וסכימות, ולבקש מהעוזר האישי מבוסס-AI לשפר את הלוגיקה תוך כדי שיחה. הסוכן מאיץ את הפיתוח, אבל אתם שומרים על שליטה מלאה ויכולים לבדוק ולאשר את כל הקוד שנוצר לפני שאתם שומרים אותו במאגר. בנוסף, מכיוון שהסקריפטים האלה פועלים באופן מקומי באמצעות פרטי הכניסה המאומתים שלכם, הם פועלים באופן טבעי בהתאם למגבלות הגישה הקיימות שלכם ב-Google Cloud וב-BigQuery.
דרישות מוקדמות
לפני שמשתמשים במיומנויות של סוכנים, צריך לוודא שסביבת הפיתוח עומדת בדרישות הבאות כדי לאפשר שאילתות סכימה בזמן אמת, הידור נתונים ואימות אוטומטי:
Google Cloud SDK (
gcloud): התקנה ואימות של ה-CLI (gcloud) באמצעות חשבון המשתמש שלכם. מידע נוסף זמין במסמכי התיעוד בנושא פריסהApplication Default Credentials (ADC): מגדירים את ה-ADC המקומי ואת יעדי הפרויקט כדי שכלי הידור מקומיים וחבילות pytest יוכלו לתקשר עם BigQuery. מידע נוסף זמין במאמר הכנת פרויקט ברירת המחדל ב- Google Cloud .
טבלאות משוכפלות של מילון הנתונים (DDIC) של SAP: כדי לאפשר לסוכן לבצע בדיקות סכימה ללא תלות ברישיות ולאמת במדויק את אורכי השדות, צריך לשכפל את טבלאות המטא-נתונים הבאות של SAP במערך הנתונים הגולמי של BigQuery:
DD03L(שדות בטבלה)DD04T(טקסטים של רכיבי נתונים)-
DD08L(קשרים בין טבלאות) DD01L(דומיינים)-
DD07L(ערכי דומיין – אופציונלי) DD07T(טקסטים של ערכי דומיין – אופציונלי)
סביבת Python מקומית: מתקינים תלויות מקומיות ומריצים את כלי הסנכרון באמצעות
uvכדי לוודא שספריות האימות ובדיקות היחידה פועלות כמו שצריך. מידע נוסף זמין במאמרי העזרה.
הגדרה ותצורה של IDE
לפני שמתחילים, כדאי לעיין במסמכי התיעוד של עזרה בתכנות מבוסס-AI המועדף עליך כדי לקבל הוראות להתקנה ולהגדרה (לדוגמה, Antigravity).
אוספים את פריטי המידע שנדרשים להתקנה ומשכפלים את המאגר. מידע נוסף זמין במאמר רכיבי התקנה.
פותחים את טביעת הרגל של קוד המקור המשוכפל של Google Cloud Cortex Framework בכלי העזרה בתכנות שבחרתם.
היכולות האג'נטיות של Google Cloud Cortex Framework נחשפות באמצעות קבוצה של מיומנויות מיוחדות שנמצאות בספרייה .agents/skills/ של המאגר. אתם יכולים להשתמש במיומנויות האלה בכמה סביבות פיתוח:
Antigravity framework: Antigravity מגלה, מוסיפה לאינדקס ומפעילה באופן אוטומטי את כל המיומנויות בסביבת העבודה בזמן ההפעלה. אין צורך לקבוע הגדרות נוספות בשביל זה. כדי לבדוק, אומרים ל-Assistant:
אילו מיומנויות יש לך?
VSCode עם Gemini Code Assist:
- מתקינים את התוסף Gemini Code Assist מ-VS Code Marketplace.
- פותחים את התיקייה
cortex-framework-coreכסביבת עבודה. העוזר הדיגיטלי סורק וטוען באופן אוטומטי את המיומנויות מהספרייה.agents/skills/.
כלי AI אחרים של CLI: אפשר להפנות לספריית המיומנויות באופן מקורי בהנחיות. לדוגמה:
קוראים את המיומנות create-data-product בספרייה .agents/skills/ ויוצרים את התבנית...
יצירת מוצר נתונים בהתאמה אישית
השלבים הבאים מתארים את תהליך העבודה המובנה של המפתחים לשימוש במיומנויות של סוכנים כדי ליצור מוצר נתונים בהתאמה אישית.
שלב 1: מספקים דרישות והקשר
בממשק הצ'אט של עזרה בתכנות, מזינים הנחיה שמתארת את דרישות הנתונים הספציפיות. לדוגמה:
יצירת מוצר נתונים של Cortex Framework לתובנות לגבי חשבונות זכאים שמיועדים ל-SAP S/4HANA ול-ECC. משתמשים במרחב השמות: custom_finance. הדרישה העסקית העיקרית היא לעקוב אחרי הסכומים הכוללים לתשלום והסכומים בפיגור אצל הספקים שלנו, ולחשב את שיעור המחזור של החשבונות לתשלום לפי קוד החברה.
שימו לב שאפשר גם להפנות לדרישות קיימות או למסמכי מפרט ישירות בהנחיה. המסמכים האלה (שיכולים להיות בפורמט Markdown או בפורמטים מובְנים אחרים) מספקים לנציג הקשר חיוני, כמו:
- הקשר עסקי ודומיין: יעדים מפורטים, סיפורי משתמשים וצרכני יעד.
- מפרט נתוני הקלט: רשימה של טבלאות מקור (למשל,
LFA1,BSIK,BSEG,Z...), פרטי ניהול גרסאות (ECC לעומת S/4HANA), כללי החרגה, שדות בהתאמה אישית ועוד. - לוגיקת טרנספורמציה וכללים עסקיים: אילוצי מיפוי עיקריים, סינון לקוחות (
mandt), מחיקות רכות (loekz), טיפול במיפויים של אינדיקטורים לחסימת תשלומים (zlspr) וכללי התאמה (לדוגמה, החרגת עסקאות של ספקים בין חברות כדי למנוע שיעורי תחלופה מעוותים). - תקינות הנתונים וטענות נכונות (assertions) לבדיקה: תרחישי אימות (לדוגמה, אימות הייחודיות של הגרעיניות ולוודא שסכום החשבוניות הפתוחות בפלט הסופי תואם בדיוק לטבלאות המקור הגולמיות).
שלב 2: בודקים את תוכנית ההטמעה
אחרי שמגדירים את הדרישות, הנציג משתמש בכמה מיומנויות, כמו מיומנות query-sap-ddic, כדי לשלוח שאילתות לטבלאות המטא-נתונים הגולמיות של BigQuery DDIC. כך הנציג יכול לזהות ולאמת את טבלאות המקור הנדרשות, ולוודא שסוגי השדות והקשרים מדויקים. הסוכן יכול גם להפעיל מיומנויות אחרות כדי לוודא שהדרישות שלכם תואמות באופן מושלם לשיטות המומלצות של Cortex Framework.
לפני תחילת ההטמעה, הנציג יספק תוכנית הטמעה קצרה לבדיקה שלכם. התוכנית הזו כוללת את טבלאות המקור שזוהו, מיפויים ואת המבנה הארכיטקטוני המוצע של מוצר הנתונים. כדאי לעבור על התוכנית ולבקש שינויים לפני שמאשרים אותה.
שלב 3: יוצרים את מוצר הנתונים
אחרי שאתם מאשרים את תוכנית ההטמעה, הנציג משתמש במיומנות create-data-product כדי ליצור את מבנה הספרייה. כך אפשר לבודד את הפיתוחים החדשים בהתאמה אישית מעדכוני הפלטפורמה העיקריים במרחב השמות הייעודי בהתאמה אישית:
src/data_modules/<custom_namespace>/products/<dataproductname>/
├── manifest.yaml
├── table_settings.default.yaml
├── README.md
├── definitions/
│ └── [ecc|s4]/
│ └── <product_name>.js
└── annotations/
└── [ecc|s4]/
└── <product_name>.yaml
מידע נוסף על מבנה התיקיות ועל הקבצים השונים זמין במסמכי התיעוד של המדריך להרחבה.
בשלב הזה, אתם יכולים גם לבקש מהסוכן להמחיש באופן אוטומטי את הקשרים באמצעות המיומנות generate-er-diagram, או ליצור טענות נכונות (assertions) באמצעות המיומנות create-python-tests.
שלב 4: מפעילים את שערי האיכות ומאמתים את הנתונים
בהתאם להרשאות שניתנו לו, הנציג יבצע באופן אוטומטי את שלבי האימות הבאים או יבקש מכם להפעיל אותם. במהלך התהליך הזה, הנציג יוצר דוחות סטטוס מפורטים כדי שתוכלו לבדוק את התוצאות:
- אימות ה-build: מריץ את
uv run cortex-build --config config/config.yamlכדי לוודא שכל מודלי ה-SQL שנוצרו עוברים קומפילציה, ויוצר סיכום של ה-build. - הרצת Pytest: הרצה של כל חבילת בדיקות היחידה של Python, והפקת דוח ביצוע בדיקה שמאמת את הלוגיקה העסקית וטענות הנכוֹנוּת (assertions) העיקריות.
- Linter and audits: משתמש במיומנות של
validate-data-productכדי לבצע בדיקות קפדניות של שוויון בין שדות ולוודא שהשמות תואמים לכללי מתן השמות, ומספק דוח מפורט על מידת המוכנות.
שלב 5: פריסה והפעלה
אחרי שבודקים את דוחות האימות ומאשרים את הקוד שנוצר, אפשר לפרוס את הנכסים של מוצר הנתונים.
- פריסת נכסים: כדי להעביר את ההגדרות המקומפלות של מוצר הנתונים לסביבת העבודה שהגדרתם ב-Dataform, מריצים את סקריפט הפריסה באופן מקומי (לדוגמה, uv run cortex-deploy --config config/config.yaml).
- התממשות הנתונים: משלימים את תהליך העבודה הסופי אחרי הפריסה כדי להפעיל את צינורות עיבוד הנתונים שנוצרו ב-Dataform, וכך הטבלאות והתצוגות החדשות מתממשות ישירות ב-BigQuery.
- הפקת תובנות: אחרי שהנתונים המותאמים אישית שלכם הופכים למוצר, אתם יכולים לקשר אותו לאפליקציות ניתוח נתונים כמו Gemini Enterprise, כדי לקבל תשובות חכמות ושימושיות לשאלות העסקיות המקוריות שלכם.
עדכון של מוצר נתונים קיים
אחרי שיוצרים מוצר נתונים בהתאמה אישית, לא צריך להתחיל מאפס כדי לבצע שינויים. אתם יכולים להשתמש במיומנות update-data-product כדי להוסיף שדות חדשים, לשנות את הלוגיקה העסקית או לשלב טבלאות מקור חדשות לגמרי. לדוגמה:
עדכון מוצר הנתונים custom_finance AP. מוסיפים את השדה של תנאי התשלום (ZTERM) מטבלת המקור LFA1, ומוודאים שהוא ממופה כמו שצריך לתצוגת הפלט הסופית. בסיום, מריצים את אימות ה-build.
הסוכן יאתר את ההגדרה, יריץ שאילתה ב-DDIC של BigQuery כדי למצוא את הדרישות המדויקות של השדה, יעדכן את הקוד של Dataform ויריץ את בדיקות ה-build הנדרשות כדי לאמת את השינוי.
שיטות מומלצות ומגבלות
- כשלים בשאילתות סכימה: אם הסוכן לא מצליח לאחזר סכימות של מטא-נתונים של SAP, ודאו שפרטי הכניסה של ברירת המחדל של האפליקציה (ADC) המקומית פעילים וכוללים את תפקיד ה-IAM של צופה בנתוני BigQuery עבור מערך הנתונים הגולמיים של היעד.
- מגבלות הקשר: אם אתם יוצרים מוצר נתונים גדול במיוחד שכולל עשרות טבלאות, יכול להיות שהנציג יאבד את ההקשר. כדי להגדיל את שיעור ההצלחה, כדאי לתת הוראות קטנות וממוקדות (לדוגמה, להורות לנציג לבנות קודם את המאפיינים ברמת הכותרת, ואז להוסיף עובדות ברמת הפריט בהנחיית המשך נפרדת).