Quando você importa dados estruturados usando o console do Google Cloud , o Gemini Enterprise detecta automaticamente o esquema. É possível usar esse esquema detectado automaticamente no seu mecanismo ou usar a API para fornecer um esquema que indique a estrutura dos dados.
Se você fornecer um esquema e depois atualizá-lo com um novo, o novo esquema precisará ser compatível com versões anteriores do original. Caso contrário, a atualização do esquema vai falhar.
Para informações de referência sobre o esquema, consulte
dataStores.schemas.
Abordagens para fornecer o esquema do seu repositório de dados
Há várias abordagens para determinar o esquema de dados estruturados.
Detecção e edição automáticas. Permita que o Gemini Enterprise detecte e sugira automaticamente um esquema inicial. Em seguida, refine o esquema pela interface do console. O Google recomenda que, depois que os campos forem detectados automaticamente, você mapeie as propriedades principais para todos os campos importantes.
Essa é a abordagem que você vai usar ao seguir as instruções do console do Google Cloud para dados estruturados em Criar um repositório de dados próprios.
Forneça o esquema como um objeto JSON. Forneça o esquema ao Gemini Enterprise como um objeto JSON. É preciso ter preparado um objeto JSON correto. Para ver um exemplo de objeto JSON, consulte Exemplo de esquema como um objeto JSON. Depois de criar o esquema, faça upload dos dados de acordo com ele.
Essa é a abordagem que você pode usar ao criar um repositório de dados por meio da API usando um comando curl (ou programa). Por exemplo, consulte Importar uma vez do BigQuery. Consulte também as instruções a seguir, Fornecer seu próprio esquema.
Sobre a detecção e edição automáticas
Quando você começa a importar dados, o Gemini Enterprise faz uma amostragem dos primeiros documentos importados. Com base nesses documentos, ele propõe um esquema para os dados, que você pode revisar ou editar.
Se os campos que você quer mapear para as propriedades principais não estiverem presentes nos documentos amostrados, adicione-os manualmente ao analisar o esquema.
Se o Gemini Enterprise encontrar outros campos mais tarde na importação de dados, ele ainda vai importar esses campos e adicioná-los ao esquema. Se você quiser editar o esquema depois que todos os dados forem importados, consulte Atualizar seu esquema.
Quando o Gemini Enterprise detecta automaticamente um esquema, ele configura as seguintes definições de campo para os campos detectados, desde que permaneçam dentro dos limites máximos de campo:
| Tipo de campo | Configurações padrão para campos detectados automaticamente |
|---|---|
string |
indexable, retrievable, searchable, dynamicFacetable |
integer, number, boolean |
indexable, retrievable, dynamicFacetable |
Qualquer outro tipo, exceto object (datetime, geolocation, array) |
indexable, retrievable |
object |
Nenhum |
Exemplo de esquema como um objeto JSON
É possível definir seu próprio esquema usando o formato JSON Schema, que é uma linguagem declarativa de código aberto para definir, anotar e validar documentos JSON. Por exemplo, esta é uma anotação de esquema JSON válida:
{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "dynamic": "true", "datetime_detection": true, "geolocation_detection": true, "properties": { "title": { "type": "string", "keyPropertyMapping": "title", "retrievable": true, "completable": true }, "description": { "type": "string", "keyPropertyMapping": "description" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" }, "brand": { "type": "string", "indexable": true, "dynamicFacetable": true }, "location": { "type": "geolocation", "indexable": true, "retrievable": true }, "creationDate": { "type": "datetime", "indexable": true, "retrievable": true }, "isCurrent": { "type": "boolean", "indexable": true, "retrievable": true } } }
Configurações de esquema de nível superior
Os seguintes campos de nível superior no esquema JSON controlam como o Gemini Enterprise detecta e adiciona campos ao importar documentos:
dynamic. Sedynamicfor definido como o valor de string"true", todas as novas propriedades encontradas nos dados importados serão adicionadas ao esquema. Sedynamicfor definido como"false", as novas propriedades encontradas nos dados importados serão ignoradas. Elas não serão adicionadas ao esquema, e os valores não serão importados.Por exemplo, um esquema tem duas propriedades:
titleedescription, e você faz upload de dados que contêm propriedades paratitle,descriptionerating. Sedynamicfor"true", a propriedade e os dados de classificações serão importados. Sedynamicfor"false", as propriedadesratingnão serão importadas, mastitleedescriptionserão.O padrão é
"true".datetime_detection. Sedatetime_detectionfor definido como o booleanotrue, quando os dados no formato datetime forem importados, o tipo de esquema será definido comodatetime. Os formatos aceitos são RFC 3339 e ISO 8601.Exemplo:
2024-08-05 08:30:00 UTC2024-08-05T08:30:00Z2024-08-05T01:30:00-07:002024-08-052024-08-05T08:30:00+00:00
Se
datetime_detectionfor definido como o booleanofalse, quando os dados no formato datetime forem importados, o tipo de esquema será definido comostring.O padrão é
true.geolocation_detection. Segeolocation_detectionestiver definido como o booleanotrue, quando os dados no formato de geolocalização forem importados, o tipo de esquema será definido comogeolocation. Os dados serão detectados como geolocalização se forem um objeto que contém um número de latitude e um número de longitude ou um objeto que contém uma string de endereço.Exemplo:
"myLocation": {"latitude":37.42, "longitude":-122.08}"myLocation": {"address": "1600 Amphitheatre Pkwy, Mountain View, CA 94043"}
Se
geolocation_detectionfor definido como o booleanofalse, quando os dados no formato de geolocalização forem importados, o tipo de esquema será definido comoobject.O padrão é
true.
Configurações de campo no nível da propriedade
Cada campo dentro do objeto properties é compatível com as seguintes anotações para
definir o tipo de dados, o mapeamento de propriedades de chave e o comportamento de pesquisa:
keyPropertyMapping: um campo que mapeia palavras-chave predefinidas para campos críticos nos seus documentos, ajudando a esclarecer o significado semântico deles. Os valores incluemtitle,description,uriecategory. O nome do campo não precisa corresponder ao valor dekeyPropertyValues. Por exemplo, para um campo chamadomy_title, é possível incluir um campokeyPropertyValuescom um valor detitle.Os campos com uma anotação
keyPropertyMappingusam as configurações predefinidasindexableesearchabledeterminadas pela propriedade de chave e não sãoretrievable,completableoudynamicFacetablepor padrão. Comoindexableesearchablesão predefinidos, não inclua anotações explícitas"indexable"ou"searchable"no mesmo campo do esquema JSON, mesmo com um valor defalse. Caso contrário, a solicitação vai falhar com um erroINVALID_ARGUMENT:Key property FIELD_NAME should not contain searchable or indexable annotation.. Ainda é possível incluir"retrievable": truepara que o campo mapeado seja retornado nos resultados da pesquisa.type. É o tipo do campo. Esse é um valor de string que édatetime,geolocationou um dos tipos primitivos (integer,boolean,object,array,numberoustring).retrievable. Indica se esse campo pode ser retornado em uma resposta de pesquisa. Isso pode ser definido para campos do tiponumber,string,boolean,integer,datetimeegeolocation. É possível definir no máximo 50 campos como recuperáveis. Quando você fornece ou atualiza explicitamente um esquema JSON, os campos definidos pelo usuário e os camposkeyPropertyMappingusam como padrãofalsepararetrievable, a menos que você defina explicitamente"retrievable": truena definição do esquema.indexable. Indica se esse campo pode ser filtrado, facetado, impulsionado ou classificado no métodoservingConfigs.search. Isso pode ser definido para campos do tiponumber,string,boolean,integer,datetimeegeolocation. É possível definir no máximo 50 campos como indexáveis. Quando você fornece ou atualiza explicitamente um esquema JSON, os campos definidos pelo usuário usamfalsecomo padrão paraindexable(exceto para campos que contêmkeyPropertyMapping), a menos que você defina explicitamente"indexable": truena definição do esquema.dynamicFacetable. Indica que o campo pode ser usado como um atributo dinâmico. Isso pode ser definido para campos do tiponumber,string,booleaneinteger. Para tornar um campo dinamicamente facetável, ele também precisa ser indexável: inclua"dynamicFacetable": truee"indexable": truecom o campo.searchable. Indica se esse campo pode ser indexado de forma reversa para corresponder a consultas de texto não estruturadas. Isso só pode ser definido para campos do tipostring. É possível definir até 50 campos como pesquisáveis. Quando você fornece ou atualiza explicitamente um esquema JSON, os campos definidos pelo usuário usam como padrãofalseparasearchable(exceto para campos que contêmkeyPropertyMapping), a menos que você defina explicitamente"searchable": truena definição do esquema.completable. Indica se esse campo pode ser retornado como uma sugestão de preenchimento automático. Isso só pode ser definido para campos do tipostring. Para tornar um campo preenchível, inclua"completable": truenele.
Fornecer seu próprio esquema como um objeto JSON
Para fornecer seu próprio esquema, crie um repositório de dados que contenha um esquema vazio e atualize o esquema, fornecendo-o como um objeto JSON. Siga estas etapas:
Prepare o esquema como um objeto JSON, usando o Exemplo de esquema como um objeto JSON como guia.
Crie um repositório de dados.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "INDUSTRY_VERTICAL" }'Substitua:
PROJECT_ID: ID do projeto.DATA_STORE_ID: o ID do repositório de dados que você quer criar. Esse ID só pode conter letras minúsculas, dígitos, sublinhados e hifens.DATA_STORE_DISPLAY_NAME: o nome de exibição do repositório de dados que você quer criar.INDUSTRY_VERTICAL:GENERIC
Use o método de API schemas.patch para fornecer o novo esquema JSON como um objeto JSON.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'Substitua:
PROJECT_ID: ID do projeto.DATA_STORE_ID: o ID do repositório de dados.JSON_SCHEMA_OBJECT: o novo esquema JSON como um objeto JSON. Exemplo:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Opcional: revise o esquema seguindo o procedimento Ver uma definição de esquema.