Évaluer la qualité de la recherche

Dans le cadre de votre expérience de recherche avec Gemini Enterprise, vous pouvez évaluer la qualité des résultats de recherche pour les applications de recherche personnalisées à l'aide d'exemples d'ensembles de requêtes.

Vous pouvez évaluer les performances des applications de recherche personnalisée qui contiennent des données structurées et non structurées.

Vous ne pouvez pas évaluer les performances des applications comportant plusieurs datastores.

Cette page explique pourquoi, quand et comment évaluer la qualité de la recherche à l'aide de la méthode d'évaluation.

Présentation

Cette section explique pourquoi et quand effectuer une évaluation de la qualité de la recherche. Pour savoir comment évaluer la qualité de la recherche, consultez Processus d'évaluation de la qualité de la recherche.

Raisons d'effectuer une évaluation

L'évaluation de la qualité de votre recherche vous fournit des métriques qui vous aident à effectuer des tâches telles que les suivantes :

  • Évaluer les performances de votre moteur de recherche au niveau global
  • Au niveau des requêtes, identifiez des schémas pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparez les résultats d'évaluation historiques pour comprendre l'impact des modifications apportées à votre configuration de recherche.

Pour obtenir la liste des métriques, consultez Comprendre les résultats.

Quand effectuer une évaluation

Gemini Enterprise propose plusieurs configurations de recherche pour améliorer votre expérience de recherche. Vous pouvez effectuer une évaluation de la qualité de la recherche après avoir apporté les modifications suivantes :

Vous pouvez également exécuter régulièrement les tests d'évaluation, car le comportement de recherche est mis à jour régulièrement.

À propos des exemples d'ensembles de requêtes

Des exemples d'ensembles de requêtes sont utilisés pour l'évaluation de la qualité. L'ensemble d'exemples de requêtes doit respecter le format prescrit et contenir des entrées de requête comportant les champs imbriqués suivants :

  • Requêtes : requête dont les résultats de recherche sont utilisés pour générer les métriques d'évaluation et déterminer la qualité de la recherche. Google recommande d'utiliser un ensemble varié de requêtes qui reflète le modèle et le comportement de recherche de vos utilisateurs.

  • Cibles : URI du document attendu comme résultat de recherche de l'exemple de requête. Pour comprendre la définition d'un document pour les données structurées et non structurées, consultez Concepts de data store et de datastore.

    Lorsque les documents cibles sont comparés aux documents récupérés dans la réponse de recherche, des métriques de performances sont générées. Les métriques sont générées à l'aide de ces deux techniques :

    • Correspondance des documents : les URI des documents cibles sont comparés aux URI des documents récupérés. Cela permet de déterminer si les documents attendus sont présents dans les résultats de recherche. Lors de la comparaison, l'API d'évaluation tente d'extraire les champs suivants dans l'ordre indiqué, puis utilise la première valeur disponible pour faire correspondre la cible au document récupéré :
    • Correspondance de page : lorsque vous incluez des numéros de page dans vos cibles d'échantillon, l'API d'évaluation compare les résultats au niveau de la page. Cela détermine si les pages mentionnées dans les cibles sont également citées dans la réponse de recherche. Vous devez activer les réponses extractives pour activer la correspondance au niveau de la page. L'API d'évaluation met en correspondance la page de la première réponse extractive dans le résultat de recherche.

Objectif des exemples d'ensembles de requêtes

L'utilisation du même ensemble d'exemples de requêtes pour toutes vos évaluations de la qualité de la recherche pour un data store donné garantit une méthode cohérente et fiable pour mesurer les résultats de la qualité de la recherche. Cela permet également d'établir un système équitable et reproductible.

Les résultats de chaque évaluation sont comparés aux résultats cibles pour chaque exemple de requête afin de calculer différentes métriques, telles que le rappel, la précision et le gain cumulé actualisé normalisé (NDCG). Ces métriques quantitatives permettent de classer les résultats de différentes configurations de recherche.

Quotas et limites

La limite suivante s'applique aux ensembles d'exemples de requêtes :

  • Chaque ensemble d'exemples de requêtes peut contenir jusqu'à 20 000 requêtes.

Le quota suivant s'applique aux exemples d'ensembles de requêtes :

  • Vous pouvez créer jusqu'à 100 ensembles d'exemples de requêtes par projet et 500 ensembles d'exemples de requêtes par organisation. Pour en savoir plus, consultez la page Quotas et limites.

Format de l'exemple d'ensemble de requêtes

L'ensemble de requêtes doit être conforme au schéma suivant lorsqu'il est construit au format JSON. L'ensemble de requêtes peut contenir plusieurs entrées de requête, avec une requête dans chaque entrée. Lorsqu'elles sont présentées au format JSON délimité par un saut de ligne (NDJSON), chaque entrée de requête doit se trouver sur une nouvelle ligne.

Importer depuis BigQuery et Cloud Storage

La section suivante fournit les exemples de modèles d'ensembles de requêtes pour l'importation depuis BigQuery et Cloud Storage.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer des données non structurées avec des métadonnées.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
      },
      {
        "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
        "pageNumbers": [
        PAGE_NUMBER_1,
        PAGE_NUMBER_2
        ]
      },
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY : requête utilisée pour tester l'évaluation de la qualité de la recherche.
  • PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le résultat attendu. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page du fichier PDF où se trouve la réponse attendue à la requête. Cela est utile lorsque le fichier comporte plusieurs pages.
  • CDOC_URL : champ facultatif permettant d'indiquer le champ d'ID de document personnalisé cdoc_url dans les métadonnées du document dans le schéma du data store Gemini Enterprise.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "queryEntry": {
    "query": "SAMPLE_QUERY",
    "targets": [
      {
        "uri": "CDOC_URL"
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY : requête utilisée pour tester l'évaluation de la qualité de la recherche.
  • CDOC_URL : champ obligatoire pour indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Gemini Enterprise.

Voici un exemple d'ensemble d'exemples de requêtes aux formats JSON et NDJSON :

JSON

[
  {
    "queryEntry": {
      "query": "2018 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
        },
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
        }
      ]
    }
  },
  {
    "queryEntry": {
      "query": "2019 Q4 Google revenue",
      "targets": [
        {
          "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
        }
      ]
    }
  }
]

NDJSON

{"queryEntry":{"query":"2018 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"},{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"}]}}
{"queryEntry":{"query":"2019 Q4 Google revenue","targets":[{"uri":"gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"}]}}

Importer depuis un système de fichiers local

La section suivante fournit les exemples de modèles d'ensemble de requêtes pour l'importation à partir du système de fichiers local.

Données non structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer des données non structurées avec des métadonnées.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_1.docx"
            },
            {
              "uri": "gs://PATH/TO/CLOUD/STORAGE/LOCATION_2.pdf",
              "pageNumbers": [
                PAGE_NUMBER_1,
                PAGE_NUMBER_2
              ]
            },
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY : requête utilisée pour tester l'évaluation de la qualité de la recherche.
  • PATH/TO/CLOUD/STORAGE/LOCATION : chemin d'accès à l'emplacement Cloud Storage où se trouve le fichier de données non structurées à interroger. Il s'agit de la valeur du champ link dans le champ derivedStructData de la définition du document.
  • PAGE_NUMBER_1 : champ facultatif permettant d'indiquer les numéros de page où se trouve la réponse requise pour la requête dans le fichier PDF. Cette option est utile si le fichier comporte plusieurs pages.
  • CDOC_URL : champ facultatif permettant d'indiquer le champ d'ID de document personnalisé cdoc_url dans les métadonnées du document dans le schéma du data store Gemini Enterprise.

Données structurées

Utilisez le modèle suivant pour rédiger un exemple de fichier de requête au format JSON afin d'évaluer les données structurées de BigQuery.

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "SAMPLE_QUERY",
          "targets": [
            {
              "uri": "CDOC_URL"
            }
          ]
        }
      }
    ]
  }
}

Remplacez les éléments suivants :

  • SAMPLE_QUERY : requête utilisée pour tester l'évaluation de la qualité de la recherche.
  • CDOC_URL : champ obligatoire pour indiquer le champ cdoc_url personnalisé pour le champ de données structurées dans le schéma du data store Gemini Enterprise.

Voici un exemple d'ensemble d'exemples de requêtes :

JSON

{
  "inlineSource": {
    "sampleQueries": [
      {
        "queryEntry": {
          "query": "2018 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2018Q4_alphabet_earnings_release.pdf"
            },
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/201802024_alphabet_10K.pdf"
            }
          ]
        }
      },
      {
        "queryEntry": {
          "query": "2019 Q4 Google revenue",
          "targets": [
            {
              "uri": "gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs/2019Q4_alphabet_earnings_release.pdf"
            }
          ]
        }
      }
    ]
  }
}

Processus d'évaluation de la qualité de la recherche

Le processus d'évaluation de la qualité de la recherche est le suivant :

  1. Créez un exemple d'ensemble de requêtes.
  2. Importez un exemple de requête conforme au format JSON prescrit.
  3. Exécuter une évaluation de la qualité de la recherche
  4. Comprendre les résultats

Les sections suivantes expliquent comment effectuer ces étapes à l'aide des méthodes de l'API REST.

Avant de commencer

  • La limite suivante s'applique :
    • À un moment donné, vous ne pouvez avoir qu'une seule évaluation active par projet.
  • Le quota suivant s'applique :
    • Vous pouvez lancer au maximum cinq demandes d'évaluation par jour et par projet. Pour en savoir plus, consultez la page Quotas et limites.
  • Pour obtenir des métriques au niveau de la page, vous devez activer les réponses extractives.

Créer un exemple d'ensemble de requêtes

Vous pouvez créer un exemple d'ensemble de requêtes et l'utiliser pour évaluer la qualité des réponses de recherche pour un data store donné. Pour créer un exemple d'ensemble de requêtes, procédez comme suit.

REST

L'exemple suivant montre comment créer l'ensemble d'exemples de requêtes à l'aide de la méthode sampleQuerySets.create.

  1. Créez l'ensemble d'exemples de requêtes.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets?sampleQuerySetId=SAMPLE_QUERY_SET_ID" \
    -d '{
  "displayName": "SAMPLE_QUERY_SET_DISPLAY_NAME"
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble d'exemples de requêtes.
    • SAMPLE_QUERY_SET_DISPLAY_NAME : nom personnalisé de votre exemple d'ensemble de requêtes.

Importer des exemples de données de requête

Après avoir créé l'ensemble d'exemples de requêtes, importez les données d'exemples de requêtes. Pour importer les exemples de données de requête, vous pouvez effectuer l'une des opérations suivantes :

  • Importer depuis Cloud Storage : importez un fichier NDJSON depuis un emplacement Cloud Storage.
  • Importer depuis BigQuery : importez des données BigQuery à partir d'une table BigQuery. Pour créer la table BigQuery à partir de votre fichier NDJSON, consultez Charger des données JSON à partir de Cloud Storage.
  • Importer à partir de votre système de fichiers local : créez l'ensemble d'exemples de requêtes dans votre système de fichiers local et importez-le.

Cloud Storage

  1. Créez les exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'ensemble d'exemples de requêtes à partir d'un emplacement Cloud Storage à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "gcsSource": {
    "inputUris": ["INPUT_FILE_PATH"],
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de la création de l'ensemble d'exemples de requêtes.
    • INPUT_FILE_PATH : chemin d'accès à l'emplacement Cloud Storage de votre exemple d'ensemble de requêtes.
    • ERROR_DIRECTORY : champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés lorsque des erreurs d'importation se produisent. Google recommande de laisser ce champ vide ou de supprimer le champ errorConfig afin que Gemini Enterprise puisse créer automatiquement un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

BigQuery

  1. Créez les exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'ensemble d'exemples de requêtes à partir d'un emplacement BigQuery à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
-d '{
  "bigquerySource": {
    "projectId": "PROJECT_ID",
    "datasetId":"DATASET_ID",
    "tableId": "TABLE_ID"
  },
  "errorConfig": {
    "gcsPrefix": "ERROR_DIRECTORY"
  }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de la création de l'ensemble d'exemples de requêtes.
    • DATASET_ID : ID de l'ensemble de données BigQuery contenant l'ensemble d'exemples de requêtes.
    • TABLE_ID : ID de votre table BigQuery contenant l'ensemble d'exemples de requêtes.
    • ERROR_DIRECTORY : champ facultatif permettant de spécifier le chemin d'accès à l'emplacement Cloud Storage où les fichiers d'erreur sont consignés lorsque des erreurs d'importation se produisent. Google recommande de laisser ce champ vide ou de supprimer le champ "errorConfig" afin que Gemini Enterprise puisse créer automatiquement un emplacement temporaire.

  3. Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Système de fichiers local

  1. Créez les exemples d'ensembles de requêtes conformes au format d'exemple d'ensemble de requêtes.

  2. Importez le fichier JSON contenant l'ensemble d'exemples de requêtes à partir d'un emplacement du système de fichiers local à l'aide de la méthode sampleQueries.import.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/sampleQueries:import" \
--data @PATH/TO/LOCAL/FILE.json

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de la création de l'ensemble d'exemples de requêtes.
    • PATH/TO/LOCAL/FILE.json : chemin d'accès au fichier JSON contenant l'ensemble d'exemples de requêtes.

  3. Obtenez l'état de l'opération de longue durée (LRO) à l'aide de la méthode operations.get.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_NUMBER/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID/operations/OPERATION_ID"

Exécuter l'évaluation de la qualité de la recherche

Après avoir importé les exemples de données de requête dans les exemples d'ensembles de requêtes, procédez comme suit pour exécuter l'évaluation de la qualité de la recherche.

REST

  1. Lancez une évaluation de la qualité de la recherche.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations" \
-d '{
 "evaluationSpec": {
   "querySetSpec": {
     "sampleQuerySet": "projects/PROJECT_ID/locations/global/sampleQuerySets/SAMPLE_QUERY_SET_ID"
   },
   "searchRequest": {
     "servingConfig": "projects/PROJECT_ID/locations/global/collections/default_collection/engines/APP_ID/servingConfigs/default_search"
   }
 }
}'

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • SAMPLE_QUERY_SET_ID : ID personnalisé de votre ensemble d'exemples de requêtes que vous avez défini lors de sa création.
    • APP_ID : ID de l'application Gemini Enterprise dont vous souhaitez évaluer la qualité de recherche.

  2. Surveillez la progression de l'évaluation.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  3. Récupérez les résultats agrégés.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID"

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

  4. Récupérer les résultats au niveau de la requête.

    curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/evaluations/EVALUATION_ID:listResults"

    Remplacez les éléments suivants :

    • PROJECT_ID : par l'ID du projet.
    • EVALUATION_ID : ID de votre job d'évaluation renvoyé à l'étape précédente lorsque vous avez lancé l'évaluation.

Comprendre les résultats

Le tableau suivant décrit les métriques renvoyées dans les résultats de votre évaluation.

Nom Description Conditions requises
docRecall

Rappel par document, à différents niveaux de seuil top-k.

Le rappel est la fraction de documents pertinents récupérés parmi tous les documents pertinents. Par exemple, la valeur top5 signifie ce qui suit :

Pour une seule requête, si trois documents pertinents sur cinq sont récupérés dans les cinq premiers résultats, la valeur docRecall peut être calculée comme suit : 3/5 ou 0,6.

 L'exemple de requête doit contenir le champ URI.
pageRecall

Rappel par page, à différents niveaux de seuil top-k.

Le rappel correspond à la fraction de pages pertinentes récupérées par rapport à l'ensemble des pages pertinentes. Par exemple, la valeur top5 signifie ce qui suit :

Pour une seule requête, si trois des cinq pages pertinentes sont récupérées dans les cinq premiers résultats, le pageRecall peut être calculé comme suit : 3/5 = 0,6.
  • L'exemple de requête doit contenir les champs "uri" et "pages".
  • Les réponses extractives doivent être activées.
docNdcg

Gain cumulé réduit normalisé (NDCG) par document, à différents niveaux de seuil top-k.

Le NDCG mesure la qualité du classement, en accordant une plus grande pertinence aux meilleurs résultats. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.

 L'exemple de requête doit contenir le champ URI.
pageNdcg

Gain cumulé réduit normalisé (NDCG) par page, à différents niveaux de seuil top-k.

Le NDCG mesure la qualité du classement, en accordant une plus grande pertinence aux meilleurs résultats. La valeur NDCG peut être calculée pour chaque requête selon le CDG normalisé.
  • L'exemple de requête doit contenir les champs "uri" et "pages".
  • Les réponses extractives doivent être activées.
docPrecision

Précision par document, à différents niveaux de seuil top-k.

La précision est la fraction des documents récupérés qui sont pertinents. Par exemple, la valeur top3 signifie ce qui suit :

Pour une seule requête, si quatre des cinq documents récupérés dans le top 5 sont pertinents, la valeur docPrecision peut être calculée comme suit : 4/5 ou 0,8.

 L'exemple de requête doit contenir le champ URI.

En fonction des valeurs de ces métriques compatibles, vous pouvez effectuer les tâches suivantes :

  • Analysez les métriques agrégées :
    • Examinez les métriques globales telles que le rappel moyen, la précision et le gain cumulé réduit normalisé (NDCG).
    • Ces métriques fournissent une vue d'ensemble des performances de votre moteur de recherche.
  • Examinez les résultats au niveau de la requête :
    • Examinez en détail des requêtes spécifiques pour identifier les domaines dans lesquels le moteur de recherche est performant ou non.
    • Recherchez des tendances dans les résultats pour comprendre les biais ou les lacunes potentiels des algorithmes de classement.
  • Comparez les résultats au fil du temps :
    • Exécutez régulièrement des évaluations pour suivre l'évolution de la qualité de la recherche au fil du temps.
    • Utilisez les données historiques pour identifier les tendances et évaluer l'impact des modifications que vous apportez à votre moteur de recherche.

Étapes suivantes