הערכת איכות החיפוש

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בשלב טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

כחלק מחוויית החיפוש ב-Gemini Enterprise, אתם יכולים להעריך את איכות תוצאות החיפוש באפליקציות חיפוש בהתאמה אישית באמצעות קבוצות של שאילתות לדוגמה.

אתם יכולים להעריך את הביצועים של אפליקציות חיפוש בהתאמה אישית שמכילות נתונים מובְנים ולא מובְנים.

אי אפשר להעריך את הביצועים של אפליקציות עם כמה מאגרי נתונים.

בדף הזה מוסבר למה, מתי ואיך להעריך את איכות החיפוש באמצעות שיטת ההערכה.

סקירה כללית

בקטע הזה מוסבר למה ומתי כדאי לבצע הערכה של איכות החיפוש. במאמר תהליך הערכת האיכות של החיפוש מוסבר איך לבצע הערכת איכות של החיפוש.

סיבות לביצוע הערכה

הערכת איכות החיפוש מספקת מדדים שעוזרים לבצע משימות כמו:

• ברמה המצטברת, אתם יכולים לבדוק את הביצועים של מנוע החיפוש שלכם
• ברמת השאילתה, מאתרים דפוסים כדי להבין הטיות או חסרונות פוטנציאליים באלגוריתמים של הדירוג.
• השוואה בין תוצאות הערכה היסטוריות כדי להבין את ההשפעה של שינויים בהגדרות החיפוש

רשימה של מדדים מופיעה בקטע הסבר על התוצאות.

מתי לבצע הערכה

‫Gemini Enterprise מרחיב כמה הגדרות חיפוש כדי לשפר את חוויית החיפוש. כדי לבצע הערכה של איכות החיפוש, צריך לבצע את השינויים הבאים:

• הגדרת אמצעי בקרה על הצגת מודעות בחיפוש
• סינון תוצאות החיפוש
• שיפור תוצאות החיפוש

אפשר גם להריץ את בדיקות ההערכה באופן קבוע, כי התנהגות החיפוש מתעדכנת מדי פעם.

מידע על קבוצות של שאילתות לדוגמה

קבוצות של שאילתות לדוגמה משמשות להערכת איכות. קבוצת השאילתות לדוגמה צריכה להיות בפורמט שנקבע, והיא צריכה להכיל רשומות של שאילתות עם השדות המקוננים הבאים:

• שאילתות: השאילתה שתוצאות החיפוש שלה משמשות ליצירת מדדי ההערכה ולקביעת איכות החיפוש. ‫Google ממליצה להשתמש במגוון שאילתות שמשקפות את דפוסי החיפוש וההתנהגות של המשתמשים.

• יעדים: ה-URI של המסמך שצפוי להופיע בתוצאות החיפוש של השאילתה לדוגמה. כדי להבין את ההגדרה של מסמך לנתונים מובְנים ולא מובְנים, קראו את המאמר מושגים בנושא מחברים ומאגרי נתונים.

  כשמשווים בין מסמכי היעד למסמכים שאוחזרו בתגובה לחיפוש, נוצרים מדדי ביצועים. המדדים נוצרים באמצעות שתי השיטות הבאות:

  • התאמת מסמכים: השוואה בין מזהי ה-URI של מסמכי היעד לבין מזהי ה-URI של המסמכים שאוחזרו. כך אפשר לבדוק אם המסמכים הצפויים מופיעים בתוצאות החיפוש. במהלך ההשוואה, ה-API להערכה מנסה לחלץ את השדות הבאים בסדר הבא, ולהשתמש בערך הזמין הראשון כדי להתאים את היעד למסמך שאוחזר:
    • ‫cdoc_url בשדה structData של הגדרת המסמך
    • ‫uri בשדה structData של הגדרת המסמך
    • ‫link בשדה derivedStructData של הגדרת המסמך
    • ‫url בשדה derivedStructData של הגדרת המסמך
  • התאמת דפים: כשכוללים מספרי דפים ביעדים לדוגמה, ה-API להערכה משווה את התוצאות ברמת הדף. ההגדרה הזו קובעת אם הדפים שמוזכרים ביעדים מצוטטים גם בתגובה לחיפוש. כדי להפעיל התאמה ברמת הדף, צריך להפעיל תשובות חילוץ. ה-API להערכה מתאים את הדף מהתשובה הראשונה שחולצה בתוצאת החיפוש.

המטרה של קבוצות השאילתות לדוגמה

כדי למדוד את תוצאות איכות החיפוש בצורה עקבית ומהימנה, כדאי להשתמש באותה קבוצת שאילתות לדוגמה בכל הערכות איכות החיפוש במאגר נתונים מסוים. כך גם נוצרת מערכת הוגנת שניתן לחזור עליה.

התוצאות של כל הערכה מושוות לתוצאות היעד של כל שאילתה לדוגמה כדי לחשב מדדים שונים, כמו זיכרון, דיוק ורווח מצטבר מנורמל (NDCG). המדדים הכמותיים האלה משמשים לדירוג התוצאות מהגדרות חיפוש שונות.

מכסות ומגבלות

המגבלה הבאה חלה על קבוצות השאילתות לדוגמה:

• כל קבוצת שאילתות לדוגמה יכולה להכיל עד 20,000 שאילתות.

המכסה הבאה חלה על קבוצות השאילתות לדוגמה:

• אפשר ליצור עד 100 קבוצות של שאילתות לדוגמה בכל פרויקט, ועד 500 קבוצות של שאילתות לדוגמה בכל ארגון. מידע נוסף זמין במאמר מכסות ומגבלות.

פורמט לדוגמה של קבוצת שאילתות

קבוצת השאילתות צריכה להתאים לסכימה הבאה כשיוצרים אותה בפורמט JSON. קבוצת השאילתות יכולה להכיל כמה רשומות של שאילתות, עם שאילתה אחת בכל רשומה. כשמציגים את השאילתות בפורמט JSON מופרד בשורות חדשות (NDJSON), כל רשומת שאילתה צריכה להיות בשורה חדשה.

ייבוא מ-BigQuery ומ-Cloud Storage

בקטע הבא מופיעות תבניות לדוגמה של קבוצות שאילתות לייבוא מ-BigQuery ומ-Cloud Storage.

נתונים לא מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים לא מובְנים עם מטא-נתונים.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה שמשמשת לבדיקת איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצאת התוצאה הצפויה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי שמציין את מספרי הדפים בקובץ ה-PDF שבהם נמצאת התשובה הצפויה לשאילתה. האפשרות הזו שימושית כשיש בקובץ כמה דפים.
• ‫CDOC_URL: שדה אופציונלי שמציין את השדה של מזהה המסמך בהתאמה אישית cdoc_url במטא-נתונים של המסמך בסכימה של מאגר הנתונים ב-Gemini Enterprise.

נתונים מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים מובְנים מ-BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקת איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את השדה המותאם אישית cdoc_url של שדה הנתונים המובְנים בסכימה של מאגר הנתונים ב-Gemini Enterprise.

דוגמה לקבוצת שאילתות בפורמטים JSON ו-NDJSON:

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

ייבוא ממערכת קבצים מקומית

בקטע הבא מופיעות תבניות לדוגמה של קבוצות שאילתות לייבוא ממערכת הקבצים המקומית.

נתונים לא מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים לא מובְנים עם מטא-נתונים.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקת איכות החיפוש
• ‫PATH/TO/CLOUD/STORAGE/LOCATION: הנתיב למיקום ב-Cloud Storage שבו נמצא קובץ הנתונים הלא מובנים שרוצים לשלוח אליו שאילתה. זה הערך של השדה link בשדה derivedStructData של הגדרת המסמך.
• ‫PAGE_NUMBER_1: שדה אופציונלי שמציין את מספרי הדפים שבהם נמצאת התשובה הנדרשת לשאילתה בקובץ ה-PDF. האפשרות הזו שימושית אם בקובץ יש כמה דפים.
• ‫CDOC_URL: שדה אופציונלי שמציין את השדה של מזהה המסמך בהתאמה אישית cdoc_url במטא-נתונים של המסמך בסכימה של מאגר הנתונים ב-Gemini Enterprise.

נתונים מובְנים

אתם יכולים להשתמש בתבנית הבאה כדי ליצור קובץ שאילתה לדוגמה בפורמט JSON, כדי להעריך נתונים מובְנים מ-BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫SAMPLE_QUERY: השאילתה ששימשה לבדיקת איכות החיפוש
• ‫CDOC_URL: שדה חובה שמציין את השדה המותאם אישית cdoc_url של שדה הנתונים המובְנים בסכימה של מאגר הנתונים ב-Gemini Enterprise.

דוגמה לקבוצת שאילתות:

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

תהליך הערכת האיכות של החיפוש

תהליך הערכת האיכות של החיפוש מתבצע באופן הבא:

1. יצירת קבוצת שאילתות לדוגמה.
2. ייבוא שאילתה לדוגמה שתואמת לפורמט JSON שנקבע.
3. הרצת הערכה של איכות החיפוש.
4. איך לפרש את התוצאות

בקטעים הבאים מוסבר איך לבצע את השלבים האלה באמצעות שיטות של API בארכיטקטורת REST.

לפני שמתחילים

• המגבלה הבאה חלה:
  • בכל פעם, אפשר להפעיל רק הערכה אחת לכל פרויקט.
• המכסה הבאה חלה:
  • אפשר לשלוח עד חמש בקשות להערכה ביום לכל פרויקט. מידע נוסף זמין במאמר מכסות ומגבלות.
• כדי לקבל מדדים ברמת הדף, צריך להפעיל תשובות חילוץ.

יצירת קבוצת שאילתות לדוגמה

אתם יכולים ליצור קבוצת שאילתות לדוגמה ולהשתמש בה כדי להעריך את איכות התשובות לחיפוש במאגר נתונים מסוים. כדי ליצור קבוצת שאילתות לדוגמה:

REST

בדוגמה הבאה מוסבר איך ליצור את קבוצת השאילתות לדוגמה באמצעות השיטה sampleQuerySets.create.

1. יוצרים את קבוצת השאילתות לדוגמה.

   curl -X POST \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json" \
       -H "X-Goog-User-Project: PROJECT_ID" \
       "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
       -d '{
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: מזהה מותאם אישית לקבוצת השאילתות לדוגמה.
   • ‫SAMPLE_QUERY_SET_DISPLAY_NAME: שם בהתאמה אישית לקבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו:

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID",
     "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME",
     "createTime": "CREATION_DATETIME"
   }
   

ייבוא נתונים של שאילתות לדוגמה

אחרי שיוצרים את קבוצת השאילתות לדוגמה, מייבאים את נתוני השאילתות לדוגמה. כדי לייבא את נתוני השאילתה לדוגמה, אתם יכולים לבצע אחת מהפעולות הבאות:

• ייבוא מ-Cloud Storage: ייבוא של קובץ NDJSON ממיקום ב-Cloud Storage.
• ייבוא מ-BigQuery: ייבוא נתונים מטבלה ב-BigQuery. כדי ליצור את הטבלה ב-BigQuery מקובץ ה-NDJSON, קראו את המאמר טעינת נתוני JSON מ-Cloud Storage.
• ייבוא ממערכת הקבצים המקומית: יוצרים את קבוצת השאילתות לדוגמה במערכת הקבצים המקומית ומייבאים אותה.

Cloud Storage

1. יוצרים את קבוצות השאילתות לדוגמה שתואמות לפורמט של קבוצת השאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-Cloud Storage באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "gcsSource": {
       "inputUris": ["INPUT_FILE_PATH"],
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫INPUT_FILE_PATH: הנתיב למיקום ב-Cloud Storage של קבוצת השאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו נרשמים קובצי שגיאות כשמתרחשות שגיאות בייבוא. ‫Google ממליצה להשאיר את השדה הזה ריק או להסיר את השדה errorConfig כדי ש-Gemini Enterprise יוכל ליצור מיקום זמני באופן אוטומטי.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, בתגובה מופיע השדה failureCount שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_NUMBER_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

BigQuery

1. יוצרים את קבוצות השאילתות לדוגמה שתואמות לפורמט של קבוצת השאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום ב-BigQuery באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   -d '{
     "bigquerySource": {
       "projectId": "PROJECT_ID",
       "datasetId":"DATASET_ID",
       "tableId": "TABLE_ID"
     },
     "errorConfig": {
       "gcsPrefix": "ERROR_DIRECTORY"
     }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫DATASET_ID: המזהה של קבוצת הנתונים ב-BigQuery שמכילה את קבוצת השאילתות לדוגמה.
   • ‫TABLE_ID: המזהה של הטבלה ב-BigQuery שמכילה את קבוצת השאילתות לדוגמה.
   • ‫ERROR_DIRECTORY: שדה אופציונלי שבו מציינים את הנתיב למיקום ב-Cloud Storage שבו נרשמים קובצי השגיאות כשמתרחשות שגיאות בייבוא. ‫Google ממליצה להשאיר את השדה הזה ריק או להסיר את השדה errorConfig, כדי ש-Gemini Enterprise יוכל ליצור מיקום זמני באופן אוטומטי.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, התגובה תכלול את השדה failureCount, שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

מערכת הקבצים המקומית

1. יוצרים את קבוצות השאילתות לדוגמה שתואמות לפורמט של קבוצת השאילתות לדוגמה.

2. מייבאים את קובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה ממיקום במערכת קבצים מקומית באמצעות השיטה sampleQueries.import.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
   --data @PATH/TO/LOCAL/FILE.json
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫PATH/TO/LOCAL/FILE.json: הנתיב לקובץ ה-JSON שמכיל את קבוצת השאילתות לדוגמה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של OPERATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את הסטטוס של הפעולה הממושכת (LRO).

   {
     "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata"
     }
   }
   

3. בודקים את הסטטוס של הפעולה הממושכת (LRO) באמצעות השיטה operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"
   

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: אם יש שגיאות והייבוא נכשל, התגובה תכלול את השדה failureCount, שמציין את מספר השאילתות לדוגמה שהייבוא שלהן נכשל.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesMetadata",
      "createTime": "CREATE_TIME",
      "updateTime": "UPDATE_TIME",
      "successCount": "SUCCESS_COUNT",
      "totalCount": "TOTAL_COUNT"
    },
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1beta.ImportSampleQueriesResponse",
      "errorConfig": {
        "gcsPrefix": "gs://PROJECT_ID_us_import/ERROR_CONFIG_FOLDER"
      }
    }
   }
   

הרצת הערכה של איכות החיפוש

אחרי שמייבאים את נתוני השאילתות לדוגמה לקבוצות השאילתות לדוגמה, פועלים לפי השלבים הבאים כדי להריץ את הערכת איכות החיפוש.

REST

1. להתחיל הערכה של איכות החיפוש.

   הערה: אתם יכולים להעריך את ביצועי החיפוש של אפליקציה ושל מאגר נתונים. לפני שמבצעים את הפעולות הבאות, מומלץ לבדוק את ביצועי החיפוש של האפליקציה.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
   -d '{
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    }
   }'
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫SAMPLE_QUERY_SET_ID: המזהה המותאם אישית של קבוצת השאילתות לדוגמה שהגדרתם במהלך היצירה של קבוצת השאילתות לדוגמה.
   • ‫APP_ID: המזהה של אפליקציית Gemini Enterprise שאת איכות החיפוש שלה רוצים להעריך.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: שימו לב לערך של EVALUATION_ID. תצטרכו את הערך הזה בשלב הבא כדי לדגום את סטטוס ההערכה, שהיא פעולה ממושכת (LRO).

   {
    "name": "projects/PROJECT_NUMBER/locations/global/operations/OPERATION_ID",
    "done": true,
    "response": {
      "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.Evaluation",
      "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
      "evaluationSpec": {
        "querySetSpec": {
          "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
        },
        "searchRequest": {
          "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
        }
      },
      "state": "PENDING"
    }
   }
   

2. עוקבים אחרי ההתקדמות של ההערכה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כשהתחלתם את ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: סטטוס ההערכה מוצג בתור PENDING עד שההערכה מסתיימת.

   {
   "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
   "evaluationSpec": {
     "querySetSpec": {
       "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
     },
     "searchRequest": {
       "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
     }
   },
   "state": "PENDING"
   "createTime": "CREATION_DATETIME"
   }
   

3. אחזור התוצאות המצטברות.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כשהתחלתם את ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: סטטוס ההערכה מוצג בתור PENDING עד שההערכה מסתיימת.

   {
    "name": "projects/PROJECT_NUMBER/locations/global/evaluations/EVALUATION_ID",
    "evaluationSpec": {
      "querySetSpec": {
        "sampleQuerySet": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
      },
      "searchRequest": {
        "servingConfig": "projects/PROJECT_NUMBER/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
      }
    },
    "qualityMetrics": {
      "docRecall": {
        "top1": DOC_RECALL_TOP_1,
        "top3": DOC_RECALL_TOP_3,
        "top5": DOC_RECALL_TOP_5,
        "top10": DOC_RECALL_TOP_10
      },
      "docPrecision": {
        "top1": DOC_PRECISION_TOP_1,
        "top3": DOC_PRECISION_TOP_3,
        "top5": DOC_PRECISION_TOP_5,
        "top10": DOC_PRECISION_TOP_10
      },
      "docNdcg": {
        "top1": DOC_NDCG_TOP_1,
        "top3": DOC_NDCG_TOP_3,
        "top5": DOC_NDCG_TOP_5,
        "top10": DOC_NDCG_TOP_10
      },
      "pageRecall": {
        "top1": PAGE_RECALL_TOP_1,
        "top3": PAGE_RECALL_TOP_3,
        "top5": PAGE_RECALL_TOP_5,
        "top10": PAGE_RECALL_TOP_10
      },
      "pageNdcg": {
        "top1": PAGE_NDCG_TOP_1,
        "top3": PAGE_NDCG_TOP_3,
        "top5": PAGE_NDCG_TOP_5,
        "top10": PAGE_NDCG_TOP_10
       }
     },
    "state": "SUCCEEDED",
    "error": {},
    "createTime": "CREATION_DATETIME",
    "endTime": "END_DATETIME"
   }
   

4. אחזור תוצאות ברמת השאילתה.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט.
   • ‫EVALUATION_ID: המזהה של משימת ההערכה שהוחזר בשלב הקודם כשהתחלתם את ההערכה.

   תשובה

   אתם אמורים לקבל תגובת JSON שדומה לזו: סטטוס ההערכה מוצג בתור PENDING עד שההערכה מסתיימת.

   {
    "evaluationResults": [
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_1",
          "queryEntry": {
            "query": "SAMPLE_QUERY_1",
            "targets": [
              {
                "uri": "URI_1"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      },
      {
        "sampleQuery": {
          "name": "projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries/QUERY_ID_2",
          "queryEntry": {
            "query": "SAMPLE_QUERY_2",
            "targets": [
              {
                "uri": "URI_2"
              }
            ]
          }
        },
        "qualityMetrics": {
          "docRecall": {
            "top1": DOC_RECALL_TOP_1,
            "top3": DOC_RECALL_TOP_3,
            "top5": DOC_RECALL_TOP_5,
            "top10": DOC_RECALL_TOP_10
          },
          "docPrecision": {
            "top1": DOC_PRECISION_TOP_1,
            "top3": DOC_PRECISION_TOP_3,
            "top5": DOC_PRECISION_TOP_5,
            "top10": DOC_PRECISION_TOP_10
          },
          "docNdcg": {
            "top1": DOC_NDCG_TOP_1,
            "top3": DOC_NDCG_TOP_3,
            "top5": DOC_NDCG_TOP_5,
            "top10": DOC_NDCG_TOP_10
          },
          "pageRecall": {
            "top1": PAGE_RECALL_TOP_1,
            "top3": PAGE_RECALL_TOP_3,
            "top5": PAGE_RECALL_TOP_5,
            "top10": PAGE_RECALL_TOP_10
          },
          "pageNdcg": {
            "top1": PAGE_NDCG_TOP_1,
            "top3": PAGE_NDCG_TOP_3,
            "top5": PAGE_NDCG_TOP_5,
            "top10": PAGE_NDCG_TOP_10
           }
         }
      }
    ]
   }
   

הסבר על התוצאות

בטבלה הבאה מתוארים המדדים שמוחזרים בתוצאות ההערכה.

שם	תיאור	דרישות
docRecall	אחזור לכל מסמך, ברמות שונות של סף top-k. אחזור הוא החלק של המסמכים הרלוונטיים שאוחזרו מתוך כל המסמכים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: בשאילתה אחת, אם 3 מתוך 5 מסמכים רלוונטיים מאוחזרים ב-5 המובילים, אפשר לחשב את docRecall כ-3/5 או 0.6.	השאילתה לדוגמה חייבת להכיל את השדה URI.
pageRecall	היזכרות לכל דף, ברמות שונות של סף top-k. אחזור הוא החלק של הדפים הרלוונטיים שאוחזרו מתוך כל הדפים הרלוונטיים. לדוגמה, הערך top5 מציין את הדברים הבאים: בשאילתה אחת, אם 3 מתוך 5 דפים רלוונטיים מאוחזרים ב-5 התוצאות המובילות, אפשר לחשב את ה-pageRecall כך: 3/5 = 0.6	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התשובות המבוססות על חילוץ מידע.
docNdcg	רווח מצטבר מנוכה מהוון (NDCG) לכל מסמך, ברמות שונות של ערכי סף של Top-K. המדד NDCG בודק את איכות הדירוג, ונותן רלוונטיות גבוהה יותר לתוצאות המובילות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG (רווח מצטבר מופחת מנורמל).	השאילתה לדוגמה חייבת להכיל את השדה URI.
pageNdcg	רווח מצטבר מנוכה מנורמל (NDCG) לכל דף, ברמות שונות של ערכי סף של Top-K. ‫NDCG מודד את איכות הדירוג, ונותן רלוונטיות גבוהה יותר לתוצאות המובילות. אפשר לחשב את ערך ה-NDCG לכל שאילתה לפי Normalized CDG.	השאילתה לדוגמה חייבת להכיל את השדות URI ו-pages. צריך להפעיל את התשובות המבוססות על חילוץ מידע.
docPrecision	דיוק לכל מסמך, ברמות שונות של ערכי סף של Top-K. דיוק הוא החלק של המסמכים שאוחזרו שהם רלוונטיים. לדוגמה, הערך top3 מציין את הדברים הבאים: בשאילתה אחת, אם 4 מתוך 5 המסמכים שאוחזרו ב-5 המובילים רלוונטיים, אפשר לחשב את הערך של docPrecision בתור 4/5 או 0.8.	השאילתה לדוגמה חייבת להכיל את השדה URI.

על סמך הערכים של המדדים הנתמכים האלה, אתם יכולים לבצע את המשימות הבאות:

• ניתוח מדדים נצברים:
  • בודקים מדדים כלליים כמו שליפה ממוצעת, דיוק ורווח מצטבר מנוכה מנורמל (NDCG).
  • המדדים האלה מספקים תמונה כללית של ביצועי מנוע החיפוש.
• בודקים את התוצאות ברמת השאילתה:
  • אפשר להתעמק בשאילתות ספציפיות כדי לזהות תחומים ספציפיים שבהם מנוע החיפוש פועל היטב או לא.
  • מחפשים דפוסים בתוצאות כדי להבין הטיות או חסרונות אפשריים באלגוריתמים של הדירוג.
• השוואת תוצאות לאורך זמן:
  • כדאי להריץ הערכות באופן קבוע כדי לעקוב אחרי שינויים באיכות החיפוש לאורך זמן.
  • אתם יכולים להשתמש בנתונים היסטוריים כדי לזהות מגמות ולהעריך את ההשפעה של שינויים שאתם מבצעים במנוע החיפוש.

המאמרים הבאים

• משתמשים ב-Cloud Scheduler כדי להגדיר הערכת איכות מתוזמנת. למידע נוסף, ראו שימוש באימות עם יעדי HTTP.