כלים של מאגרי נתונים משתמשים במאגרי נתונים כדי למצוא תשובות לשאלות של משתמשי קצה מהנתונים שלכם. מאגרי נתונים הם אוסף של אתרים, מסמכים או נתונים במערכות של צד שלישי, שכל אחד מהם מפנה לנתונים שלכם.
כששואלים את הנציג שאלה, הוא מחפש תשובה בתוכן המקור שניתן ומסכם את הממצאים לתשובה קוהרנטית. הוא גם מספק קישורים למקורות של התשובה כדי לעזור לכם לקבל מידע נוסף. הנציג יכול לספק עד חמישה קטעי תשובות לשאלה נתונה.
מקורות של מאגרי נתונים
אתם יכולים להשתמש במקורות שונים לנתונים:
- כתובות אתרים: סריקה אוטומטית של תוכן האתר מרשימה של דומיינים או דפי אינטרנט.
- BigQuery: ייבוא נתונים מהטבלה ב-BigQuery.
- Cloud Storage: ייבוא נתונים מהקטגוריה שלכם ב-Cloud Storage.
- AlloyDB: ייבוא נתונים מאשכול AlloyDB ל-PostgreSQL.
- Bigtable: ייבוא נתונים מטבלה ב-Bigtable.
- Firestore: ייבוא נתונים מהאוסף שלכם ב-Firestore.
- Cloud SQL: ייבוא נתונים מהטבלה ב-Cloud SQL.
- Spanner: ייבוא נתונים מטבלת Spanner.
מקורות של מאגרי נתונים עם גישה מוגבלת
Google מציעה הרבה מקורות נוספים של מאגרי נתונים מאינטראקציה ישירה (First-Party) ומצד שלישי כתכונה עם גישה מוגבלת (RAF). כדי לראות את המקורות הזמינים ולבקש גישה, עיינו במקורות נוספים של מאגרי נתונים.
תוכן האתר
כשמוסיפים תוכן מאתר כמקור, אפשר להוסיף ולהחריג כמה אתרים.
כשמציינים אתר, אפשר להשתמש בדפים ספציפיים או ב-* כתו כללי לחיפוש תבנית. המערכת מעבדת את כל התוכן בפורמט HTML ו-PDF.
לאמת את הדומיין כשמשתמשים בתוכן מהאתר כמקור.
מגבלות:
- כדי שקבצים מכתובות URL ציבוריות יופיעו באינדקס החיפוש, הם צריכים להיסרק על ידי הסורק של חיפוש Google. אתם יכולים לבדוק את זה באמצעות Google Search Console.
- עד 200,000 דפים נוספים לאינדקס. אם מאגר הנתונים מכיל יותר דפים, ההוספה לאינדקס נכשלת בשלב הזה, אבל כל תוכן שכבר נוסף לאינדקס נשאר.
ייבוא נתונים
אפשר לייבא נתונים מ-BigQuery או מ-Cloud Storage. הנתונים האלה יכולים להיות נתונים של שאלות נפוצות, נתונים לא מובְנים, נתונים עם מטא-נתונים או נתונים בלי מטא-נתונים.
אלה האפשרויות לייבוא נתונים:
- הוספה או עדכון של נתונים: הוספת המסמכים שצוינו למאגר הנתונים. אם למסמך חדש יש מזהה זהה לזה של מסמך קיים, המסמך החדש מחליף את המסמך הישן.
- שינוי נתונים קיימים: מחיקה של כל הנתונים הקיימים והעלאה של נתונים חדשים. אי אפשר לבטל את הפעולה הזו.
מאגר נתונים של שאלות נפוצות
מאגרי נתונים יכולים להכיל תשובות לשאלות נפוצות. כשהנציג מתאים ברמת סמך גבוהה בין שאלות של משתמשים לבין שאלה שהועלתה, הוא מחזיר את התשובה לשאלה הזו בלי שינויים. אתם יכולים להוסיף כותרת וכתובת URL לכל זוג של שאלה ותשובה שהנציג מציג.
מעלים נתונים למאגר הנתונים בפורמט CSV. כל קובץ חייב לכלול שורת כותרת שמתארת את העמודות.
לדוגמה:
"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""
אפשר להשמיט את העמודות title ו-url:
"answer","question"
"42","What is the meaning of life?"
במהלך תהליך ההעלאה, אתם יכולים לבחור תיקייה שבה כל קובץ מעובד כקובץ CSV, בלי קשר לסיומת הקובץ.
מגבלות:
- תו רווח מיותר אחרי פסיק גורם לשגיאה.
- שורות ריקות (אפילו בסוף הקובץ) גורמות לשגיאה.
מאגר נתונים לא מובנים
מאגרי נתונים לא מובְנים יכולים להכיל תוכן בפורמטים הבאים:
- HTML
- TXT
- CSV
אתם יכולים לייבא קבצים מקטגוריה של Cloud Storage בפרויקט אחר. כדי לעשות את זה, צריך לתת גישה מפורשת לתהליך הייבוא. פועלים לפי ההוראות שבהודעת השגיאה, שמכילה את שם המשתמש שצריך גישת קריאה לקטגוריה כדי לבצע את הייבוא.
מגבלות:
- גודל הקובץ המקסימלי הוא 2.5MB לפורמטים מבוססי-טקסט ו-100MB לפורמטים אחרים.
מאגר נתונים עם מטא-נתונים
אפשר להוסיף שם וurl כמטא-נתונים. במהלך שיחה, הנציג יכול לספק את המידע הזה כדי לעזור לכם לקשר במהירות לדפי אינטרנט פנימיים שאין גישה אליהם דרך האינדקס של חיפוש Google.
כדי לייבא תוכן עם מטא-נתונים, צריך לספק קובץ אחד או יותר בפורמט JSON Lines. כל שורה בקובץ הזה מתארת מסמך אחד. אתם לא מעלים ישירות את המסמכים עצמם, אלא מספקים בקובץ ה-JSON Lines מזהי URI שמקשרים לנתיבים ב-Cloud Storage.
כדי לשלוח את קובצי ה-JSON Lines, צריך לספק תיקיית Cloud Storage שמכילה את הקבצים האלה. אל תשימו קבצים אחרים בתיקייה הזו.
תיאורי השדות:
| שדה | סוג | תיאור |
|---|---|---|
| id | מחרוזת | המזהה הייחודי של המסמך. |
| content.mimeType | מחרוזת | סוג ה-MIME של המסמך. יש תמיכה ב-"application/pdf" וב-"text/html". |
| content.uri | מחרוזת | ה-URI של המסמך ב-Cloud Storage. |
| structData | מחרוזת | אובייקט JSON בשורה אחת עם שדות אופציונליים של title ו-url. |
לדוגמה:
{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }
מאגר נתונים בלי מטא-נתונים
לתוכן הזה אין מטא-נתונים. במקום זאת, אתם מספקים קישורי URI למסמכים הנפרדים. סוג התוכן נקבע לפי סיומת הקובץ.
הגדרות הניתוח והחלוקה לחלקים
בהתאם למקור הנתונים, אתם יכולים לקבוע את הגדרות הניתוח והחלוקה לחלקים שמוגדרות ב-Agent Search.
שימוש ב-Cloud Storage למסמך במאגר נתונים
אם התוכן לא ציבורי, מומלץ לאחסן אותו ב-Cloud Storage. כשיוצרים מסמכים במאגר נתונים, צריך לספק את כתובות ה-URL של האובייקטים ב-Cloud Storage בפורמט הבא: gs://bucket-name/folder-name. כל מסמך בתיקייה מתווסף למאגר הנתונים.
כשיוצרים את הקטגוריה של Cloud Storage:
- בוחרים את הפרויקט שבו משתמשים לנציג.
- משתמשים בסוג האחסון Standard.
- מגדירים את מיקום הקטגוריה לאותו מיקום של הנציג.
יוצרים קטגוריה ומעלים קבצים באמצעות המדריך למתחילים של Cloud Storage.
שפות
מידע נוסף על השפות הנתמכות מופיע בעמודה של מאגר הנתונים בהפניית השפה.
כדי לקבל את הביצועים הכי טובים, כדאי ליצור מאגרי נתונים בשפה אחת.
אחרי שיוצרים מאגר נתונים, אפשר לציין את השפה של מאגר הנתונים. אם מגדירים את השפה של מאגר הנתונים, אפשר לקשר את מאגר הנתונים לנציג שמוגדר לשפה אחרת. לדוגמה, אתם יכולים ליצור מאגר נתונים בצרפתית שמחובר לנציג באנגלית.
אזורים נתמכים
מידע על האזורים הנתמכים מופיע בהפניה לאזור.
(גישה מוגבלת) מקורות נוספים של מאגרי נתונים
בטבלה הבאה מפורטים סוגים נוספים של מאגרי נתונים. הן זמינות כתכונות עם גישה מוגבלת (RAF). כדי לבקש גישה, אתם יכולים למלא את טופס הבקשה לגישה. אחרי שהבקשה תאושר, האפשרויות האלה יופיעו כשתיצרו מאגר נתונים ב-Vertex AI Agent Builder.
מקורות של מאגרי נתונים של צד שלישי
| מקור מאגר הנתונים | תיאור |
|---|---|
| Box | ייבוא נתונים מהאתר של הארגון ב-Box. |
| Confluence Cloud | ייבוא נתונים מסביבת העבודה שלכם ב-Confluence Cloud. |
| Dropbox | ייבוא נתונים מהאחסון ב-Dropbox. |
| EntraID | ייבוא נתונים ממערכת EntraID של הארגון. |
| Jira Cloud | ייבוא נתונים ממערכת ניהול המשימות של Jira. |
| OneDrive | ייבוא נתונים מהאחסון של הארגון ב-OneDrive. |
| Microsoft Outlook | אפשר לייבא נתונים מ-Microsoft Outlook. |
| Salesforce | ייבוא נתונים מ-Salesforce. |
| ServiceNow | ייבוא נתונים מ-ServiceNow. |
| SharePoint | ייבוא נתונים ממערכת SharePoint של הארגון. |
| Slack | ייבוא נתונים מ-Slack. |
| Microsoft Teams | אפשר לייבא נתונים מ-Microsoft Teams. |
הגדרת מאגר נתונים של צד שלישי באמצעות מחבר
בקטע הזה מוסבר איך להגדיר מאגר נתונים באמצעות נתונים של צד שלישי. הוראות ספציפיות לכל מקור נתונים של צד שלישי מפורטות במסמכי התיעוד של Vertex AI Agent Builder.
ספקי זהויות
ספקי זהויות מאפשרים לכם לנהל משתמשים, קבוצות ואימות. כשמגדירים מאגר נתונים של צד שלישי, אפשר להשתמש ב-Google Identity או בספק זהויות של צד שלישי.
Google Identity:
- המשתמשים של הסוכן נכנסים באמצעות פרטי הכניסה שלהם ב-Google. כל כתובת אימייל של
@gmail.comאו כל חשבון שמשתמש ב-Google כספק זהויות (לדוגמה, Google Workspace). השלב הזה לא רלוונטי אם המשתמשים מדברים עם הנציג ישירות באמצעות Google Cloud , כי זהות Google מובנית במערכת באופן אוטומטי. - אתם יכולים להקצות גישה לחשבונות Google באמצעות ניהול זהויות והרשאות גישה (IAM).
ספק זהויות של צד שלישי:
- המשתמשים של הסוכן נכנסים באמצעות פרטי כניסה שלא שייכים ל-Google, למשל כתובת אימייל של מיקרוסופט.
- אתם צריכים ליצור מאגר של כוח עבודה באמצעותGoogle Cloud , שמכיל את ספקי הזהויות שהם לא של Google. לאחר מכן תוכלו להשתמש ב-IAM כדי לתת גישה למאגר כולו או למשתמשים ספציפיים במאגר.
- אי אפשר להשתמש בשיטה הזו באף פרויקט ב- Google Cloud שמוגדר בארגון
@google.com.
מחברים
מאגרי נתונים של צד שלישי מוטמעים באמצעות מחבר. כל מחבר יכול להכיל כמה מאגרי נתונים, שמאוחסנים כישויות במערכת Dialogflow CX.
- לפני שיוצרים מאגר נתונים, צריך להגדיר לכל אזור ספק זהויות אחד ב-Google Cloud > Agent Builder > Settings. כל מאגרי הנתונים באותו אזור משתמשים באותו ספק זהויות. אתם יכולים לבחור Google Identity או זהות של צד שלישי במאגר של כוח עבודה. אותם פרטי כניסה של Google נחשבים לזהות אחרת אם הם נמצאים במאגר של כוח עבודה.
לדוגמה,
test@gmail.comנחשבת זהות שונה מ-workforcePools/test-pool/subject/test@gmail.com.- יוצרים מאגר כוח עבודה (אם צריך).
- עוברים אל הגדרות Agent Builder ובוחרים באפשרות Google Identity או זהות של צד שלישי. לוחצים על שמירה כדי לשמור את הזהות באזור.
- עכשיו אפשר ליצור מאגר נתונים באזור.
- כל מאגר נתונים שומר את נתוני רשימה של בקרת גישה (ACL) עם כל מסמך. הרשומה הזו עוקבת אחרי המשתמשים או הקבוצות שיש להם גישת קריאה לישויות מסוימות. בזמן הריצה, משתמש או חבר בקבוצה מקבלים תשובות מהנציג רק אם מקור התשובות הוא ישויות שיש להם גישת קריאה אליהן. אם למשתמש אין גישת קריאה לישויות במאגר הנתונים, הנציג מחזיר תשובה ריקה.
- הנתונים במאגר הנתונים הם עותק של המכונה של הצד השלישי, ולכן צריך לרענן אותם מדי פעם. אפשר להגדיר את מרווחי הזמן לרענון בשעות או בימים.
- אחרי שמגדירים את מאגר הנתונים ולוחצים על Create, יכול להיות שיעבור עד שעה עד שמאגר הנתונים יופיע ברשימת מאגרי הנתונים.
מעקב אחרי מאגר הנתונים
התכונה הזו כוללת שני חלקים:
- הצגת המעקב אחרי הביצוע הפנימי של מאגר הנתונים וזמני האחזור של השלבים בסימולטור של הנציג.
- ייצוא של מעקבי הביצוע הפנימיים וזמני האחזור של השלבים במאגר הנתונים אל Cloud Logging ו-BigQuery.
הצגת נתונים בסימולטור
כדי להציג את נתוני המעקב וההרצה בסימולטור של הנציג, מרחיבים את הפרטים של מהלך השיחה בלחיצה על החץ להרחבה שמשמאל לתשובה של הנציג.
בכרטיסייה execution מוצגים עקבות הביצוע של מאגר הנתונים הפנימי, כולל הרכיבים הבאים:
- הקלט המקורי של המשתמש.
- השאילתה כפי שנכתבה מחדש על ידי מנוע מאגר הנתונים.
- אותות איכות משלבי הביצוע, כולל סטטוס בדיקת האבטחה, סטטוס בדיקת היציבות, תוצאת בדיקת העיגון וסטטוס בדיקת הבטיחות.
- תקצירי תוצאות חיפוש מחיפוש במאגר נתונים.
- רשימת מסמכים תומכים ל-snippet.
בכרטיסייה latency מוצג תרשים זמן של שלבי הביצוע השונים של מאגר הנתונים. השלבים משתנים בהתאם לאופן שבו מגדירים את מאגר הנתונים ואת תהליך ההפעלה. בכרטיסייה יכולים להופיע הנתונים הבאים:
- התאמה לשאלות נפוצות: ביצוע שלב התאמה לשאלות נפוצות.
- כתיבה מחדש של שאילתות: כתיבה מחדש של שאילתת המשתמש המקורית.
- חיפוש: חיפוש של קטעי קוד.
- סיכום: סיכום של התשובה.
- בדיקות בטיחות: מבצע שלבים של בדיקת בטיחות.
הצגת נתוני מעקב במיקומים אחרים
- אם מגדירים את הסוכן בממשק שיחה עם רישום ביומן של היסטוריית השיחות, אפשר לראות את המעקב אחרי מאגר הנתונים בהיסטוריית השיחות.
- אם מגדירים את הסוכן בממשק שיחה עם Logging, אפשר לראות את המעקבים וזמני האחזור ב-Logs Explorer בענן.
- אם מגדירים את הסוכן בממשק שיחה עם ייצוא ל-BigQuery, אפשר לראות את המעקבים וזמני האחזור בטבלה שיוצאה ל-BigQuery.
המאמרים הבאים
במסמכי התיעוד של הכלים של מאגר הנתונים מוסבר איך ליצור מאגר נתונים ולהשתמש בו עם נציג.