הכנת נתונים למקורות נתונים בהתאמה אישית

לארגונים יש לעיתים קרובות אפליקציות בהתאמה אישית שמפותחות בתוך הארגון. אם אתם רוצים ש-Gemini Enterprise יתחבר למקורות הנתונים באפליקציות האלה, קודם אתם צריכים להכין את הנתונים. אופן הכנת הנתונים תלוי בסוג הנתונים שאתם מייבאים ממקור הנתונים המותאם אישית ובדרך שבה אתם בוחרים לייבא אותם. קודם כל, צריך לבחור את סוג הנתונים שרוצים לייבא:

במאמר מידע על קישור של כמה מאגרי נתונים מפורטות המגבלות על חיפוש משולב, שבו אפשר לקשר כמה מאגרי נתונים לאפליקציה אחת.

נתונים לא מובְנים

‫Gemini Enterprise תומך בחיפוש במסמכים בפורמטים TXT,‏ PDF,‏ HTML,‏ DOCX,‏ PPTX,‏ XLSX ו-XLSM.

בטבלה הבאה מפורטות מגבלות הגודל של כל סוג קובץ עם הגדרות אישיות שונות (מידע נוסף זמין במאמר ניתוח מסמכים וחלוקה שלהם לחלקים). אפשר לייבא עד 100,000 קבצים בכל פעם.

סוג קובץ ייבוא ברירת מחדל
קבצים מבוססי-טקסט כמו HTML,‏ TXT,‏ JSON,‏ XHTML ו-XML פחות מ-200MB
‫PPTX,‏ DOCX,‏ XLSX ו-XLSM פחות מ-200MB
PDF פחות מ-200MB

אם אתם מתכננים לכלול הטמעות בנתונים הלא מובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

אם יש לכם קובצי PDF שלא ניתנים לחיפוש (קובצי PDF סרוקים או קובצי PDF עם טקסט בתוך תמונות, כמו אינפוגרפיקה), מומלץ להפעיל את מנתח הפריסה במהלך יצירת מאגר הנתונים. כך Gemini Enterprise יכול לחלץ רכיבים כמו בלוקים של טקסט וטבלאות. אם יש לכם קובצי PDF שניתן לחפש בהם, שמורכבים בעיקר מטקסט קריא למכונה ומכילים הרבה טבלאות, אתם יכולים להפעיל את עיבוד ה-OCR עם האפשרות של טקסט קריא למכונה כדי לשפר את הזיהוי והניתוח. מידע נוסף זמין במאמר ניתוח וחלוקה של מסמכים.

אם אתם רוצים להשתמש ב-Gemini Enterprise ליצירת תוכן מבוסס-אחזור (RAG), הפעילו את חלוקת המסמכים לחלקים כשאתם יוצרים את מאגר הנתונים. מידע נוסף זמין במאמר ניתוח וחלוקה של מסמכים.

אתם יכולים לייבא נתונים לא מובְנים מהמקורות הבאים:

Cloud Storage

אתם יכולים לייבא נתונים מ-Cloud Storage עם או בלי מטא-נתונים באמצעות מסוףGoogle Cloud , באמצעות השיטה ImportDocuments או באמצעות הטמעת עדכונים בזמן אמת דרך שיטות CRUD. מידע על הפניות ל-API זמין במאמרים DocumentService ו-documents.

ייבוא הנתונים הוא רקורסיבי. כלומר, אם יש תיקיות בתוך הקטגוריה או התיקייה שציינתם, הקבצים בתיקיות האלה מיובאים.

אם אתם מתכננים לייבא מסמכים מ-Cloud Storage בלי מטא-נתונים, שימו את המסמכים ישירות בקטגוריה של Cloud Storage. מזהה המסמך הוא דוגמה למטא-נתונים.

למטרות בדיקה, אתם יכולים להשתמש בתיקיות הבאות של Cloud Storage שזמינות לכולם ומכילות קובצי PDF:

  • gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs
  • gs://cloud-samples-data/gen-app-builder/search/CUAD_v1
  • gs://cloud-samples-data/gen-app-builder/search/kaiser-health-surveys
  • gs://cloud-samples-data/gen-app-builder/search/stanford-cs-224

אם אתם מתכננים לייבא נתונים מ-Cloud Storage עם מטא-נתונים, שימו קובץ JSON שמכיל את המטא-נתונים בקטגוריה של Cloud Storage, וציינו את המיקום שלה במהלך הייבוא.

המסמכים הלא מובְנים יכולים להיות באותה קטגוריה של Cloud Storage כמו המטא-נתונים, או בקטגוריה אחרת.

קובץ המטא-נתונים חייב להיות קובץ JSON Lines או NDJSON. מזהה המסמך הוא דוגמה למטא-נתונים. כל שורה בקובץ המטא-נתונים צריכה להיות באחד מהפורמטים הבאים של JSON:

  • שימוש ב-jsonData:

    { "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }

  • שימוש ב-structData:

    { "id": "<your-id>", "structData": { <JSON object> }, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }

בשדה uri בכל שורה, מציינים את המיקום של המסמך ב-Cloud Storage.

הנה דוגמה לקובץ מטא-נתונים בפורמט NDJSON של מסמך לא מובנה. בדוגמה הזו, כל שורה בקובץ המטא-נתונים מפנה למסמך PDF ומכילה את המטא-נתונים של המסמך הזה. בשתי השורות הראשונות נעשה שימוש ב-jsonData ובשתי השורות הבאות נעשה שימוש ב-structData. ב-structData אין צורך להוסיף תו בריחה (escape) למירכאות שמופיעות בתוך מירכאות.

{"id":"doc-0","jsonData":"{\"title\":\"test_doc_0\",\"uri\":\"https://test_doc_0.html\",\"description\":\"This document uses a blue color theme\",\"color_theme\":\"blue\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_0.pdf"}}
{"id":"doc-1","jsonData":"{\"title\":\"test_doc_1\",\"uri\":\"https://test_doc_1.html\",\"description\":\"This document uses a green color theme\",\"color_theme\":\"green\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_1.pdf"}}
{"id":"doc-2","structData":{"title":"test_doc_2","uri":"https://test_doc_2.html","description":"This document uses a red color theme","color_theme":"red"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_3.pdf"}}
{"id":"doc-3","structData":{"title":"test_doc_3","uri":"https://test_doc_3.html","description":"This is document uses a yellow color theme","color_theme":"yellow"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_4.pdf"}}

כדי ליצור את מאגר הנתונים, עיינו במאמר קישור של מקור נתונים של Google.

BigQuery

אם אתם מתכננים לייבא מטא-נתונים מ-BigQuery, בצעו את השלבים הבאים:

  1. יוצרים טבלה ב-BigQuery שמכילה מטא-נתונים. מזהה המסמך הוא דוגמה למטא-נתונים.

  2. שומרים את המסמכים הלא מובְנים בקטגוריה של Cloud Storage.

    אפשר לייבא באמצעות מסוףGoogle Cloud , באמצעות ה-method‏ ImportDocuments או באמצעות הטמעת עדכונים בזמן אמת דרך שיטות CRUD. מידע על הפניות ל-API זמין במאמרים DocumentService ו-documents.

משתמשים בסכימה הבאה של BigQuery. משתמשים בשדה uri בכל רשומה כדי להפנות למיקום של המסמך ב-Cloud Storage.

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "mode": "NULLABLE",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "content",
    "type": "RECORD",
    "mode": "NULLABLE",
    "fields": [
      {
        "name": "mimeType",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "uri",
        "type": "STRING",
        "mode": "NULLABLE"
      }
    ]
  }
]

למידע נוסף, קראו את המאמר יצירה ושימוש בטבלאות במאמרי העזרה של BigQuery.

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים ב-Google.

Google Drive

אפשר לסנכרן נתונים מ-Google Drive כדי לחפש בהם.

אם אתם מתכננים לייבא נתונים מ-Google Drive, אתם צריכים להגדיר את Google Identity כספק הזהויות שלכם ב-Gemini Enterprise. במאמר זהות והרשאות מוסבר איך מגדירים בקרת גישה.

כדי ליצור את מאגר הנתונים, עיינו במאמר קישור של מקור נתונים של Google.

נתונים מובְנים

מכינים את הנתונים בהתאם לשיטת הייבוא שבה מתכוונים להשתמש.

אתם יכולים לייבא נתונים מובְנים מהמקורות הבאים:

כשמייבאים נתונים מובְנים מ-BigQuery או מ-Cloud Storage, אפשר לייבא את הנתונים עם מטא-נתונים. (נתונים מובְנים עם מטא-נתונים נקראים גם נתונים מובְנים משופרים).

BigQuery

אתם יכולים לייבא נתונים מובְנים מקבוצות נתונים ב-BigQuery.

הסכימה מזוהה באופן אוטומטי. אחרי הייבוא, Google ממליצה לערוך את הסכימה שזוהתה באופן אוטומטי כדי למפות מאפיינים חשובים, כמו כותרות. אם אתם מייבאים באמצעות ה-API במקום דרך מסוף Google Cloud , אתם יכולים לספק סכימה משלכם כאובייקט JSON. מידע נוסף זמין במאמר הגדרת סכימה או זיהוי אוטומטי שלה.

דוגמאות לנתונים מובְנים שזמינים לכולם אפשר למצוא במערכי הנתונים הציבוריים של BigQuery.

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

אם אתם בוחרים לייבא נתונים מובְנים עם מטא-נתונים, אתם כוללים שני שדות בטבלאות ב-BigQuery:

  • שדה id לזיהוי המסמך. אם מייבאים נתונים מובְנים בלי מטא-נתונים, המערכת יוצרת את ה-id. הוספת מטא-נתונים מאפשרת לציין את הערך של id.

  • שדה jsonData שמכיל את הנתונים. לדוגמאות של מחרוזות jsonData, עיינו בקטע הקודם Cloud Storage.

כדי לייבא נתונים מובְנים עם מטא-נתונים, צריך להשתמש בסכימה הבאה של BigQuery:

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "mode": "NULLABLE",
    "type": "STRING",
    "fields": []
  }
]

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים ב-Google.

Cloud Storage

נתונים מובְנים ב-Cloud Storage צריכים להיות בפורמט JSON Lines או NDJSON. כל קובץ צריך להיות קטן מ-2GB, וכל שורה בקובץ צריכה להיות קטנה מ-1MB. אפשר לייבא עד 1,000 קבצים בבקשת ייבוא אחת.

כדי לראות דוגמאות לנתונים מובְנים שזמינים באופן ציבורי, אפשר לעיין בתיקיות הבאות ב-Cloud Storage, שמכילות קובצי NDJSON:

  • gs://cloud-samples-data/gen-app-builder/search/kaggle_movies
  • gs://cloud-samples-data/gen-app-builder/search/austin_311

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

הנה דוגמה לקובץ מטא-נתונים בפורמט NDJSON של נתונים מובְנים. כל שורה בקובץ מייצגת מסמך ומורכבת מקבוצה של שדות.

{"id": 10001, "title": "Hotel 1", "location": {"address": "1600 Amphitheatre Parkway, Mountain View, CA 94043"}, "available_date": "2024-02-10", "non_smoking": true, "rating": 3.7, "room_types": ["Deluxe", "Single", "Suite"]}
{"id": 10002, "title": "Hotel 2", "location": {"address": "Manhattan, New York, NY 10001"}, "available_date": "2023-07-10", "non_smoking": false, "rating": 5.0, "room_types": ["Deluxe", "Double", "Suite"]}
{"id": 10003, "title": "Hotel 3", "location": {"address": "Moffett Park, Sunnyvale, CA 94089"}, "available_date": "2023-06-24", "non_smoking": true, "rating": 2.5, "room_types": ["Double", "Penthouse", "Suite"]}

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים של Google.

נתוני JSON מקומיים

אתם יכולים להעלות ישירות מסמך או אובייקט בפורמט JSON באמצעות ה-API.

כדי לקבל תוצאות טובות יותר, Google ממליצה לספק סכימה משלכם כאובייקט JSON. אם לא תספקו סכימה משלכם, המערכת תזהה את הסכימה באופן אוטומטי. אחרי הייבוא, מומלץ לערוך את הסכימה שזוהתה באופן אוטומטי כדי למפות מאפייני מפתח, כמו כותרות. מידע נוסף זמין במאמר הגדרת סכימה או זיהוי אוטומטי שלה.

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

כדי ליצור את מאגר הנתונים, עיינו במאמר קישור של מקור נתונים של Google.