במאמר הזה נסביר על הארכיטקטורה הכללית להטמעה של תהליכי עבודה לניתוח נתונים חוצה-עננים באמצעות סוכני AI. המסמך מיועד לאדריכלי ענן, למהנדסי מערכות מידע ולמדעני נתונים שרוצים להשתמש ב-AI אקטיבי לתהליכי עבודה של ניתוח נתונים באגמי נתונים (data lakes) בעננים מרובים, במחסני נתונים מובְנים ובמאגרי נתונים לא מובְנים. ההנחה במסמך היא שיש לכם הבנה בסיסית במושגים של AI אקטיבי, ניתוח נתונים וארכיטקטורת ענן.
בקטע פריסה במסמך הזה יש Codelab שבו אפשר ללמוד איך ליצור פתרון לניתוח נתונים מבוסס-סוכנים.
ארכיטקטורה
התרשים הבא מציג ארכיטקטורה של פתרון לניתוח נתונים מבוסס-סוכנים, שמפיק תובנות עסקיות מנתונים מובְנים ולא מובְנים שפזורים בכמה מאגרי נתונים וספקי שירותי ענן.
הרכיבים בארכיטקטורה הזו מאורגנים בשכבות הבאות:
פעולות של משתמשים ופעולות של סוכנים
- סביבת פיתוח מבוססת-סוכנים: מומחי נתונים, כמו מהנדסי מערכות מידע ומדעני נתונים, שולחים בקשות בשפה טבעית באחת מהשיטות הבאות:
- סביבת פיתוח מבוססת-סוכנים כמו Google Antigravity IDE או Microsoft Visual Studio Code.
- סוכן CLI כמו Antigravity CLI, Claude Code או Codex.
- Google Cloud Data Agent Kit: ערכת הכלים Data Agent Kit מאפשרת לסוכנים לגשת לנתונים מהימנים ב-Google Cloud על ידי טעינת מיומנויות מתאימות והתחברות לשרתי MCP מרוחקים של שירותי Google Cloud .
- מודל בסיס: כדי ליצור תובנות עסקיות מהקשר ונתונים מהימנים, סביבת הפיתוח של הסוכנים משתמשת במודל בסיס, כמו מודל ממשפחת Gemini. המודל משתמש במיומנויות המתאימות מ-Data Agent Kit ובכלי השרת הנדרשים של שרת MCP כדי להטמיע תהליכי עבודה מורכבים של ניתוח נתונים.
- סביבת פיתוח מבוססת-סוכנים: מומחי נתונים, כמו מהנדסי מערכות מידע ומדעני נתונים, שולחים בקשות בשפה טבעית באחת מהשיטות הבאות:
תהליכי עבודה ב-Analytics
- Borderless Lakehouse: Lakehouse מספק קטלוג מטא-נתונים מאוחד עם ביצועים גבוהים, שמשלב את פורמט הטבלה הפתוח של Apache Iceberg עם אחסון ברמה שמתאימה לארגונים ב- Google Cloud. באמצעות גישה לנתונים חוצי-עננים, Lakehouse מאפשר לאחד קטלוגים חיצוניים כמו Databricks Unity Catalog בלי להעביר או להעתיק נתונים.
- Managed Service for Apache Spark: רכיב הליבה לעיבוד נתונים בארכיטקטורה. התכונה Lightning Engine ב-Managed Service for Apache Spark תומכת בעיבוד נתונים ללא שרת (serverless) עם ביצועים גבוהים, במצב אינטראקטיבי ובמצב אצווה. משימות עיבוד הנתונים של Spark משתמשות במטא-נתונים מקטלוג Iceberg ב-Lakehouse, קוראות נתונים מובְנים מ-BigQuery ומבצעות קריאות ללא העתקה ממקורות חיצוניים כמו Amazon S3.
- Knowledge Catalog: הסוכן משתמש ב-Knowledge Catalog כדי לבצע סריקות חכמות של נתונים לא מובְנים ב-Cloud Storage, לחלץ מטא-נתונים סמנטיים וליצור תרשים הקשר.
מאגרי נתונים מהימנים
- נתונים ב-Google Cloud: BigQuery משמש כמחסן המרכזי לנתונים מובְנים, כולל תמציות מובְנות מנתונים לא מובְנים ב-Cloud Storage.
- נתונים ממקורות חיצוניים: הארכיטקטורה מציגה מקורות נתונים חיצוניים, כמו נתונים בקטגוריות של Amazon S3 ומטא-נתונים ב-Databricks Unity Catalog. Cross-Cloud Interconnect מספק קישוריות ייעודית עם רוחב פס גבוה בין Google Cloudלבין ספקי שירותי ענן אחרים.
המוצרים שהשתמשו בהם
הארכיטקטורה משתמשת במוצרים ובכלים הבאים של Google Cloud :
- Google Cloud Data Agent Kit: תוספים לסוכנים שמאפשרים למדעני נתונים, למהנדסי מערכות מידע ולמפתחי אפליקציות לנהל את כל מחזור החיים של הנתונים מתוך סביבות הפיתוח המועדפות עליהם.
- BigQuery: מחסן נתונים (data warehouse) ארגוני שעוזר לנהל ולנתח את הנתונים באמצעות תכונות מובנות כמו למידת מכונה, ניתוח נתונים גיאו-מרחביים ובינה עסקית (BI).
- Managed Service for Apache Spark: שירות מנוהל שמריץ עומסי עבודה באצווה של Apache Spark בתשתית מחשוב מנוהלת.
- Lakehouse: מנוע אחסון עם ביצועים גבוהים שמאפשר ליצור מאגרי נתונים פתוחים, ומספק ממשק אחיד לניתוח מתקדם ול-AI.
- Knowledge Catalog: שירות מבוסס-AI שמספק קטלוג מאוחד של נכסי נתונים עם מטא-נתונים חכמים ויכולות ניהול.
- Gemini: קבוצה של מודלי AI מולטי-מודאליים שפותחו על ידי Google.
- Cloud Storage: מאגר אובייקטים ללא הגבלה ובעלות נמוכה, לסוגי נתונים שונים. אפשר לגשת לנתונים מתוך Google Cloudומחוץ לו, והם משוכפלים במיקומים שונים כדי ליצור יתירות.
- Cross-Cloud Interconnect: שירות שמספק קישוריות ייעודית עם רוחב פס גבוה וזמן אחזור קצר בין Google Cloud לבין ספקי שירותי ענן אחרים.
- שרתי MCP ב-Google Cloud: שירותים מרוחקים שמנוהלים על ידי Google ומטמיעים את Model Context Protocol (MCP) כדי לספק לאפליקציות מבוססות-AI גישה למוצרים ולשירותים של Google ושל Google Cloud .
תרחישים לדוגמה
הארכיטקטורה שמתוארת במסמך הזה מתאימה לתרחישי השימוש הבאים:
- ניתוח נתונים בכמה עננים: אפשר לשלוח שאילתות ולנתח ביעילות נתונים שפזורים ב- Google Cloud ובספקי שירותי ענן אחרים, בלי להעביר קבצים או לבנות צינורות עיבוד נתונים מורכבים של חילוץ, טרנספורמציה וטעינה (ETL). לדוגמה, מנהל שיווק בחברה קמעונאית גלובלית יכול לנתח את היעילות של קמפיינים שיווקיים על ידי שילוב של נתוני מועדון הלקוחות ב-Amazon S3 עם נתוני פעולות השיווק ב-BigQuery.
- איתור נתונים חכם: שימוש בהנחיות בשפה טבעית ובסוכני AI כדי לאתר, לשלוח שאילתות ולעבד מערכי נתונים מאוחדים בסביבות שונות. לדוגמה, מומחה רכש יכול לקבוע מהן הסיבות הנפוצות לשיבושים בשרשרת האספקה על סמך נתונים מובְנים במערכת לניהול שרשרת אספקה (SCM), בשילוב עם תובנות מתקשורת לא מובְנית באימייל ומדוחות של הערכת נזקים.
- חילוץ נתונים מובְנים ממקורות לא מובְנים: סריקת כמויות גדולות של נתונים לא מובְנים, הפקת מטא-נתונים סמנטיים ואחסון תמציות של נתונים מובְנים ב-BigQuery לצורך ניתוח בהמשך. לדוגמה, מנהל תפעול יכול לנתח ביעילות הוצאות על ידי חילוץ נתונים מובְנים מאלפי חשבוניות שמאוחסנות בפורמט לא מובְנה, כמו קובצי PDF.
שיקולי אבטחה
כדי להתמודד עם סיכוני האבטחה הייחודיים של סוכני AI, Google ממליצה על גישה שמשלבת אמצעי אבטחה דטרמיניסטיים עם הגנות דינמיות שמבוססות על הסקת מסקנות:
- פיקוח אנושי: שלבו תהליך של האדם שבתהליך במערכות קריטיות לעסק, כדי שמפקחים אנושיים יוכלו לבדוק את הפלט ולאשר, לשנות או להשהות את הפעולות של הסוכן.
- Agent Identity: מקצים לכל סוכן זהות שקשורה לעומס העבודה כדי לאכוף בקרת גישה לפי הרשאות מינימליות, ולנהל באופן מרוכז את פרטי הכניסה לכלים חיצוניים.
- Agent Gateway: אכיפת הפיקוח על תנועת הנתונים הנכנסת והיוצאת, כללי מדיניות של דחיית גישה כברירת מחדל, ובדיקה של הנחיות וכלים מוטמעים באמצעות Model Armor.
- Agent Registry: מוודאים שהסוכנים מתחברים רק לסוכני משנה ולכלי MCP שאושרו.
ההנחיות בקטע הזה הן חלקיות. למידע נוסף על גורמי תכנון ושיטות מומלצות, ועל המלצות לבנייה ולפריסה של מערכת AI אקטיבי עם כמה סוכנים, קראו את המאמר מערכת AI אקטיבי עם כמה סוכנים ב- Google Cloud.
במאמר נקודת מבט על AI ו-ML: אבטחה ב-Well-Architected Framework מפורטים עקרונות אבטחה והמלצות שספציפיים לעומסי עבודה של AI ו-ML.
פריסה
ב-Codelab מנתונים גולמיים לתחזיות תוך שניות באמצעות סוכני AI מוסבר איך ליצור פתרון לניתוח נתונים באמצעות סוכנים בעזרת Data Agent Kit. ב-Codelab הזה נסביר איך Data Agent Kit מאפשר לנתח נתונים ביעילות מתוך סביבת הפיתוח המועדפת שלכם לסוכנים. כל הנתונים לדוגמה שמשמשים ב-Codelab מאוחסנים ב-Google Cloud.
המאמרים הבאים
- איך משתמשים ב-Notebooks ב-Data Agent Kit כדי לשנות ולנתח נתונים
- תרחישים לדוגמה של Knowledge Catalog
- מידע נוסף על גישה לנתונים חוצי-עננים באמצעות Lakehouse
- איך מאיצים את עומסי העבודה של Apache Spark באמצעות Lightning Engine
- איך משתמשים ב-Knowledge Catalog כשכבת ניהול וסוכנים ב-BigQuery
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: Kumar Dhanagopal | מפתח פתרונות למוצרים שונים
תורמים אחרים:
- אבירמי סוקומראן | אחראית קשרי מפתחים (Developers Advocate)
- ארטי פראסאד | כותבת טכנית
- בראד מירו | אחראי קשרי מפתחים (Developers Advocate) בכיר
- מתיו רהמן | מנהל מוצר בכיר
- Ranadip Chatterjee | מהנדס פתרונות
- רמיגיוס סמבורסקי | מהנדס ראשי לקשרי מפתחים