Lorsque vous importez des données structurées à l'aide de la console Google Cloud , Gemini Enterprise détecte automatiquement le schéma. Vous pouvez utiliser ce schéma détecté automatiquement dans votre moteur ou utiliser l'API pour fournir un schéma indiquant la structure des données.
Si vous fournissez un schéma et que vous le mettez à jour ultérieurement avec un nouveau schéma, celui-ci doit être rétrocompatible avec l'original. Sinon, la mise à jour du schéma échoue.
Pour en savoir plus sur le schéma, consultez dataStores.schemas.
Approches pour fournir le schéma de votre data store
Il existe différentes approches pour déterminer le schéma des données structurées.
Détection automatique et modification Laissez Gemini Enterprise détecter automatiquement et suggérer un schéma initial. Ensuite, vous affinez le schéma via l'interface de la console. Google vous recommande vivement de mapper les propriétés clés à tous les champs importants une fois que vos champs ont été détectés automatiquement.
Il s'agit de l'approche que vous utiliserez lorsque vous suivrez les instructions de la console Google Cloud pour les données structurées dans Créer un données first party party.
Fournissez le schéma sous forme d'objet JSON. Fournissez le schéma à Gemini Enterprise sous la forme d'un objet JSON. Vous devez avoir préparé un objet JSON correct. Pour obtenir un exemple d'objet JSON, consultez Exemple de schéma en tant qu'objet JSON. Après avoir créé le schéma, vous importez vos données en fonction de ce schéma.
C'est l'approche que vous pouvez utiliser lorsque vous créez un data store via l'API à l'aide d'une commande curl (ou d'un programme). Par exemple, consultez Importer une fois depuis BigQuery. Consultez également les instructions suivantes : Fournir votre propre schéma.
À propos de la détection et de la modification automatiques
Lorsque vous commencez à importer des données, Gemini Enterprise échantillonne les premiers documents importés. En fonction de ces documents, il propose un schéma pour les données, que vous pouvez ensuite examiner ou modifier.
Si les champs que vous souhaitez mapper aux propriétés clés ne sont pas présents dans les exemples de documents, vous pouvez les ajouter manuellement lorsque vous examinez le schéma.
Si Gemini Enterprise rencontre des champs supplémentaires plus tard lors de l'importation des données, il les importe quand même et les ajoute au schéma. Si vous souhaitez modifier le schéma une fois que toutes les données ont été importées, consultez Mettre à jour votre schéma.
Lorsque Gemini Enterprise détecte automatiquement un schéma, il configure automatiquement les paramètres de champ suivants pour les champs détectés, tant qu'ils ne dépassent pas les limites maximales de champs :
| Type de champ | Paramètres par défaut pour les champs détectés automatiquement |
|---|---|
string |
indexable, retrievable, searchable, dynamicFacetable |
integer, number, boolean |
indexable, retrievable, dynamicFacetable |
Tout autre type, sauf object (datetime, geolocation, array) |
indexable, retrievable |
object |
Aucun |
Exemple de schéma sous forme d'objet JSON
Vous pouvez définir votre propre schéma à l'aide du format JSON Schema, un langage déclaratif Open Source permettant de définir, d'annoter et de valider des documents JSON. Par exemple, voici une annotation de schéma JSON valide :
{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "dynamic": "true", "datetime_detection": true, "geolocation_detection": true, "properties": { "title": { "type": "string", "keyPropertyMapping": "title", "retrievable": true, "completable": true }, "description": { "type": "string", "keyPropertyMapping": "description" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" }, "brand": { "type": "string", "indexable": true, "dynamicFacetable": true }, "location": { "type": "geolocation", "indexable": true, "retrievable": true }, "creationDate": { "type": "datetime", "indexable": true, "retrievable": true }, "isCurrent": { "type": "boolean", "indexable": true, "retrievable": true } } }
Paramètres de schéma de premier niveau
Les champs de premier niveau suivants du schéma JSON contrôlent la manière dont Gemini Enterprise détecte et ajoute des champs lors de l'importation de documents :
dynamic: sidynamicest défini sur la valeur de chaîne"true", toutes les nouvelles propriétés trouvées dans les données importées sont ajoutées au schéma. Sidynamicest défini sur"false", les nouvelles propriétés trouvées dans les données importées sont ignorées. Elles ne sont pas ajoutées au schéma et les valeurs ne sont pas importées.Par exemple, un schéma comporte deux propriétés :
titleetdescription, et vous importez des données contenant des propriétés pourtitle,descriptionetrating. Sidynamicest défini sur"true", la propriété et les données de notes sont importées. Sidynamicest défini sur"false", les propriétésratingne sont pas importées, contrairement àtitleetdescription.La valeur par défaut est
"true".datetime_detection. Sidatetime_detectionest défini sur la valeur booléennetrue, lorsque les données au format datetime sont importées, le type de schéma est défini surdatetime. Les formats acceptés sont RFC 3339 et ISO 8601.Exemple :
2024-08-05 08:30:00 UTC2024-08-05T08:30:00Z2024-08-05T01:30:00-07:002024-08-052024-08-05T08:30:00+00:00
Si
datetime_detectionest défini sur la valeur booléennefalse, lorsque des données au format datetime sont importées, le type de schéma est défini surstring.La valeur par défaut est
true.geolocation_detection. Sigeolocation_detectionest défini sur la valeur booléennetrue, lorsque des données au format de géolocalisation sont importées, le type de schéma est défini surgeolocation. Les données sont détectées en tant que géolocalisation s'il s'agit d'un objet contenant un nombre de latitude et un nombre de longitude, ou d'un objet contenant une chaîne d'adresse.Exemple :
"myLocation": {"latitude":37.42, "longitude":-122.08}"myLocation": {"address": "1600 Amphitheatre Pkwy, Mountain View, CA 94043"}
Si
geolocation_detectionest défini sur la valeur booléennefalse, lorsque des données au format de géolocalisation sont importées, le type de schéma est défini surobject.La valeur par défaut est
true.
Paramètres de champ au niveau de la propriété
Chaque champ de l'objet properties accepte les annotations suivantes pour définir son type de données, son mappage de propriété de clé et son comportement de recherche :
keyPropertyMapping: champ qui mappe des mots clés prédéfinis à des champs critiques de vos documents, ce qui permet de clarifier leur signification sémantique. Les valeurs incluenttitle,description,urietcategory. Notez que le nom de votre champ ne doit pas nécessairement correspondre à la valeurkeyPropertyValues. Par exemple, pour un champ nommémy_title, vous pouvez inclure un champkeyPropertyValuesavec la valeurtitle.Les champs avec une annotation
keyPropertyMappingutilisent des paramètresindexableetsearchableprédéfinis déterminés par la propriété de clé, et ne sont pasretrievable,completableoudynamicFacetablepar défaut. Étant donné queindexableetsearchablesont prédéfinis, vous ne devez pas inclure d'annotations"indexable"ou"searchable"explicites sur le même champ dans votre schéma JSON, même avec une valeur defalse. Sinon, la requête échoue avec une erreurINVALID_ARGUMENT:Key property FIELD_NAME should not contain searchable or indexable annotation.. Vous pouvez toujours inclure"retrievable": truepour que le champ mappé soit renvoyé dans les résultats de recherche.type: type du champ. Il s'agit d'une valeur de chaîne qui estdatetime,geolocationou l'un des types primitifs (integer,boolean,object,array,numberoustring).retrievable: indique si ce champ peut être renvoyé dans une réponse de recherche. Cette option peut être définie pour les champs de typenumber,string,boolean,integer,datetimeetgeolocation. Vous pouvez définir jusqu'à 50 champs comme récupérables. Lorsque vous fournissez ou mettez à jour explicitement un schéma JSON, les champs définis par l'utilisateur et les champskeyPropertyMappingsont définis par défaut surfalsepourretrievable, sauf si vous définissez explicitement"retrievable": truedans votre définition de schéma.indexable: indique si ce champ peut être filtré, facetté, boosté ou trié dans la méthodeservingConfigs.search. Cette option peut être définie pour les champs de typenumber,string,boolean,integer,datetimeetgeolocation. Vous pouvez définir jusqu'à 50 champs comme indexables. Lorsque vous fournissez ou mettez à jour explicitement un schéma JSON, les champs définis par l'utilisateur sont définis par défaut surfalsepourindexable(à l'exception des champs contenantkeyPropertyMapping), sauf si vous définissez explicitement"indexable": truedans votre définition de schéma.dynamicFacetable: indique que le champ peut être utilisé comme attribut dynamique. Cette option peut être définie pour les champs de typenumber,string,booleanetinteger. Pour qu'un champ puisse être utilisé de manière dynamique pour l'affinement, il doit également être indexable : incluez"dynamicFacetable": trueet"indexable": trueavec le champ.searchable: indique si ce champ peut être indexé de manière inversée pour correspondre à des requêtes de texte non structurées. Cette option ne peut être définie que pour les champs de typestring. Vous pouvez définir jusqu'à 50 champs comme interrogeables. Lorsque vous fournissez ou mettez à jour explicitement un schéma JSON, les champs définis par l'utilisateur sont définis par défaut surfalsepoursearchable(à l'exception des champs contenantkeyPropertyMapping), sauf si vous définissez explicitement"searchable": truedans votre définition de schéma.completable: indique si ce champ peut être renvoyé en tant que suggestion de saisie semi-automatique. Cette option ne peut être définie que pour les champs de typestring. Pour qu'un champ puisse être complété, incluez"completable": trueavec le champ.
Fournir votre propre schéma sous forme d'objet JSON
Pour fournir votre propre schéma, vous devez créer un data store contenant un schéma vide, puis mettre à jour le schéma en fournissant votre schéma sous la forme d'un objet JSON. Procédez comme suit :
Préparez le schéma en tant qu'objet JSON, en vous aidant de l'exemple de schéma en tant qu'objet JSON.
Créer un datastore
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "INDUSTRY_VERTICAL" }'Remplacez les éléments suivants :
PROJECT_ID: par l'ID du projet.DATA_STORE_ID: ID du data store que vous souhaitez créer. Cet ID ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.DATA_STORE_DISPLAY_NAME: nom à afficher du data store que vous souhaitez créer.INDUSTRY_VERTICAL:GENERIC
Utilisez la méthode d'API schemas.patch pour fournir votre nouveau schéma JSON en tant qu'objet JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'Remplacez les éléments suivants :
PROJECT_ID: par l'ID du projet.DATA_STORE_ID: ID du data store.JSON_SCHEMA_OBJECT: votre nouveau schéma JSON en tant qu'objet JSON. Exemple :{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Facultatif : examinez le schéma en suivant la procédure Afficher une définition de schéma.