Schema angeben oder automatisch erkennen lassen

Wenn Sie strukturierte Daten mit der Google Cloud Console importieren, erkennt Gemini Enterprise das Schema automatisch. Sie können entweder dieses automatisch erkannte Schema in Ihrer Engine verwenden oder über die API ein Schema bereitstellen, um die Struktur der Daten anzugeben.

Wenn Sie ein Schema bereitstellen und es später mit einem neuen Schema aktualisieren, muss das neue Schema abwärtskompatibel mit dem ursprünglichen Schema sein. Andernfalls schlägt die Schemaaktualisierung fehl.

Weitere Informationen zum Schema finden Sie unter dataStores.schemas.

Möglichkeiten zum Bereitstellen des Schemas für Ihren Datenspeicher

Es gibt verschiedene Möglichkeiten, das Schema für strukturierte Daten zu bestimmen.

  • Automatische Erkennung und Bearbeitung: Lassen Sie Gemini Enterprise das erste Schema automatisch erkennen und vorschlagen. Anschließend verfeinern Sie das Schema über die Console-Oberfläche. Google empfiehlt dringend, nach der automatischen Erkennung der Felder allen wichtigen Feldern Schlüsselattribute zuzuordnen.

    Dieser Ansatz wird verwendet, wenn Sie der Anleitung für strukturierte Daten in der Google Cloud Console unter Google-Datenquelle verbinden folgen.

  • Schema als JSON-Objekt bereitstellen: Stellen Sie das Schema als JSON-Objekt für Gemini Enterprise bereit. Sie müssen ein korrektes JSON-Objekt vorbereitet haben. Ein Beispiel für ein JSON-Objekt finden Sie unter Beispiel für ein Schema als JSON-Objekt. Nachdem Sie das Schema erstellt haben, laden Sie Ihre Daten entsprechend hoch.

    Dieser Ansatz kann verwendet werden, wenn Sie einen Datenspeicher über die API mit einem curl-Befehl (oder einem Programm) erstellen. Ein Beispiel finden Sie unter Einmaliger Import aus BigQuery. Weitere Informationen finden Sie in der Anleitung Eigenes Schema als JSON-Objekt bereitstellen.

Informationen zur automatischen Erkennung und Bearbeitung

Wenn Sie mit dem Importieren von Daten beginnen, werden in Gemini Enterprise die ersten importierten Dokumente als Beispiele verwendet. Anhand dieser Dokumente wird ein Schema für die Daten vorgeschlagen, das Sie dann überprüfen oder bearbeiten können.

Wenn Felder, die Sie Schlüsselattributen zuordnen möchten, in den Beispieldokumenten nicht vorhanden sind, können Sie sie manuell hinzufügen, wenn Sie das Schema überprüfen.

Wenn Gemini Enterprise später beim Datenimport zusätzliche Felder findet, werden diese Felder trotzdem importiert und dem Schema hinzugefügt. Wenn Sie das Schema bearbeiten möchten, nachdem alle Daten importiert wurden, lesen Sie den Abschnitt Schema aktualisieren.

Wenn Gemini Enterprise ein Schema automatisch erkennt, werden die folgenden Feldeinstellungen für erkannte Felder automatisch konfiguriert, sofern sie die maximalen Feldlimits nicht überschreiten:

Feldtyp Standardeinstellungen für automatisch erkannte Felder
string indexable, retrievable, searchable, dynamicFacetable
integer, number, boolean indexable, retrievable, dynamicFacetable
Alle anderen Typen außer object (datetime, geolocation, array) indexable, retrievable
object Keine

Beispielschema als JSON-Objekt

Sie können Ihr eigenes Schema im Format eines JSON-Schemas definieren. Das ist eine deklarative Open-Source-Sprache zum Definieren, Annotieren und Validieren von JSON-Dokumenten. Beispiel für eine gültige JSON-Schema-Annotation:

{
  "$schema": "https://json-schema.org/draft/2020-12/schema",
  "type": "object",
  "dynamic": "true",
  "datetime_detection": true,
  "geolocation_detection": true,
  "properties": {
    "title": {
      "type": "string",
      "keyPropertyMapping": "title",
      "retrievable": true,
      "completable": true
    },
    "description": {
      "type": "string",
      "keyPropertyMapping": "description"
    },
    "categories": {
      "type": "array",
      "items": {
        "type": "string",
        "keyPropertyMapping": "category"
      }
    },
    "uri": {
      "type": "string",
      "keyPropertyMapping": "uri"
    },
    "brand": {
      "type": "string",
      "indexable": true,
      "dynamicFacetable": true
    },
    "location": {
      "type": "geolocation",
      "indexable": true,
      "retrievable": true
    },
    "creationDate": {
      "type": "datetime",
      "indexable": true,
      "retrievable": true
    },
    "isCurrent": {
      "type": "boolean",
      "indexable": true,
      "retrievable": true
    }
  }
}

Schemaeinstellungen auf oberster Ebene

Die folgenden Felder auf oberster Ebene im JSON-Schema steuern, wie Gemini Enterprise Felder beim Importieren von Dokumenten erkennt und hinzufügt:

  • dynamic: Wenn dynamic auf den Stringwert "true" gesetzt ist, werden alle neuen Attribute, die in den importierten Daten gefunden werden, dem Schema hinzugefügt. Wenn dynamic auf "false" gesetzt ist, werden neue Attribute in importierten Daten ignoriert. Die Attribute werden dem Schema nicht hinzugefügt die Werte werden nicht importiert.

    Angenommen, ein Schema hat zwei Attribute: title und description. Sie laden Daten hoch, die Attribute für title, description und rating enthalten. Wenn dynamic "true" ist, werden das Attribut und die Daten für „rating“ importiert. Wenn dynamic "false" ist, werden die Attribute für rating nicht importiert, title und description aber schon.

    Der Standardwert ist "true".

  • datetime_detection: Wenn datetime_detection auf den booleschen Wert true gesetzt ist, wird der Schematyp beim Import von Daten im Datums-/Uhrzeitformat auf datetime festgelegt. Die unterstützten Formate sind RFC 3339 und ISO 8601.

    Beispiel:

    • 2024-08-05 08:30:00 UTC

    • 2024-08-05T08:30:00Z

    • 2024-08-05T01:30:00-07:00

    • 2024-08-05

    • 2024-08-05T08:30:00+00:00

    Wenn datetime_detection auf den booleschen Wert false gesetzt ist, wird der Schematyp beim Import von Daten im Datums-/Uhrzeitformat auf string festgelegt.

    Der Standardwert ist true.

  • geolocation_detection: Wenn geolocation_detection auf den booleschen Wert true gesetzt ist, wird der Schematyp beim Import von Daten im Format für die Standortbestimmung auf geolocation festgelegt. Daten werden als Standortbestimmung erkannt, wenn es sich um ein Objekt mit einer Breitengrad- und einer Längengradzahl oder um ein Objekt mit einem Adressstring handelt.

    Beispiel:

    • "myLocation": {"latitude":37.42, "longitude":-122.08}

    • "myLocation": {"address": "1600 Amphitheatre Pkwy, Mountain View, CA 94043"}

    Wenn geolocation_detection auf den booleschen Wert false gesetzt ist, wird der Schematyp beim Import von Daten im Format für die Standortbestimmung auf object festgelegt.

    Der Standardwert ist true.

Feldeinstellungen auf Property-Ebene

Jedes Feld im properties-Objekt unterstützt die folgenden Annotationen, um den Datentyp, die Zuordnung von Schlüsselattributen und das Suchverhalten zu definieren:

  • keyPropertyMapping: Ein Feld, in dem vordefinierte Suchbegriffe kritischen Feldern in Ihren Dokumenten zugeordnet werden, um ihre semantische Bedeutung zu verdeutlichen. Mögliche Werte sind title, description, uri und category. Der Feldname muss nicht mit dem Wert keyPropertyValues übereinstimmen. Für ein Feld mit dem Namen my_title können Sie beispielsweise das Feld keyPropertyValues mit dem Wert title einfügen.

    Felder mit einer keyPropertyMapping-Annotation verwenden vordefinierte indexable- und searchable-Einstellungen, die durch das Schlüsselattribut bestimmt werden, und sind standardmäßig nicht retrievable, completable oder dynamicFacetable. Da indexable und searchable vordefiniert sind, dürfen Sie in Ihrem JSON-Schema keine expliziten "indexable"- oder "searchable"-Annotationen für dasselbe Feld angeben, auch nicht mit dem Wert false. Andernfalls schlägt die Anfrage mit dem Fehler INVALID_ARGUMENT fehl: Key property FIELD_NAME should not contain searchable or indexable annotation. Sie können "retrievable": true weiterhin einbeziehen, damit das zugeordnete Feld in den Suchergebnissen zurückgegeben wird.

  • type: Der Typ des Felds. Dies ist ein Stringwert, und zwar datetime, geolocation oder einer der einfachen Typen (integer, boolean, object, array, number oder string).

  • retrievable: Gibt an, ob dieses Feld in einer Suchantwort zurückgegeben werden kann. Dies kann für Felder vom Typ number, string, boolean, integer, datetime und geolocation festgelegt werden. Es können maximal 50 Felder als abrufbar festgelegt werden. Wenn Sie ein JSON-Schema explizit bereitstellen oder aktualisieren, werden benutzerdefinierte Felder und keyPropertyMapping-Felder standardmäßig auf false für retrievable gesetzt, es sei denn, Sie legen in Ihrer Schemadefinition explizit "retrievable": true fest.

  • indexable: Gibt an, ob dieses Feld in der Methode servingConfigs.search gefiltert, facettiert, optimiert oder sortiert werden kann. Dies kann für Felder vom Typ number, string, boolean, integer, datetime und geolocation festgelegt werden. Es können maximal 50 Felder als indexierbar festgelegt werden. Wenn Sie ein JSON-Schema explizit angeben oder aktualisieren, werden benutzerdefinierte Felder standardmäßig auf false für indexable gesetzt (mit Ausnahme von Feldern, die keyPropertyMapping enthalten), es sei denn, Sie legen in Ihrer Schemadefinition explizit "indexable": true fest.

  • dynamicFacetable: Gibt an, dass das Feld als dynamisches Attribut verwendet werden kann. Dies kann für Felder des Typs number, string, boolean und integer festgelegt werden. Damit ein Feld als dynamisches Attribut verwendbar ist, muss es auch indexierbar sein. Fügen Sie dazu "dynamicFacetable": true und "indexable": true in das Feld ein.

  • searchable: Gibt an, ob dieses Feld rückwärts indexiert werden kann, um unstrukturierte Textanfragen abzugleichen. Dieser Wert kann nur für Felder vom Typ string festgelegt werden. Es können maximal 50 Felder als suchbar festgelegt werden. Wenn Sie ein JSON-Schema explizit bereitstellen oder aktualisieren, werden benutzerdefinierte Felder standardmäßig auf false für searchable gesetzt (mit Ausnahme von Feldern, die keyPropertyMapping enthalten), es sei denn, Sie legen in Ihrer Schemadefinition explizit "searchable": true fest.

  • completable: Gibt an, ob dieses Feld als automatisch vervollständigter Vorschlag zurückgegeben werden kann. Dieser Wert kann nur für Felder vom Typ string festgelegt werden. Wenn ein Feld vervollständigbar werden soll, fügen Sie "completable": true hinzu.

Eigenes Schema als JSON-Objekt bereitstellen

Wenn Sie ein eigenes Schema bereitstellen möchten, erstellen Sie einen Datenspeicher, der ein leeres Schema enthält. Anschließend aktualisieren Sie das Schema und stellen Ihr Schema als JSON-Objekt bereit. Gehen Sie so vor:

  1. Bereiten Sie das Schema als JSON-Objekt vor. Verwenden Sie dazu das Beispielschema als JSON-Objekt als Leitfaden.

  2. Erstellen Sie einen Datenspeicher.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
    -d '{
      "displayName": "DATA_STORE_DISPLAY_NAME",
      "industryVertical": "INDUSTRY_VERTICAL"
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die Projekt-ID.
    • DATA_STORE_ID: Die ID des Datenspeichers, der erstellt werden soll. Diese ID darf nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten.
    • DATA_STORE_DISPLAY_NAME: Der Anzeigename des Datenspeichers, der erstellt werden soll.
    • INDUSTRY_VERTICAL: GENERIC
  3. Verwenden Sie die API-Methode schemas.patch, um Ihr neues JSON-Schema als JSON-Objekt bereitzustellen.

    curl -X PATCH \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \
    -d '{
      "structSchema": JSON_SCHEMA_OBJECT
    }'
    

    Ersetzen Sie Folgendes:

    • PROJECT_ID: die Projekt-ID.
    • DATA_STORE_ID: die ID des Datenspeichers.
    • JSON_SCHEMA_OBJECT: Ihr neues JSON-Schema als JSON-Objekt. Beispiel:

      {
        "$schema": "https://json-schema.org/draft/2020-12/schema",
        "type": "object",
        "properties": {
          "title": {
            "type": "string",
            "keyPropertyMapping": "title"
          },
          "categories": {
            "type": "array",
            "items": {
              "type": "string",
              "keyPropertyMapping": "category"
            }
          },
          "uri": {
            "type": "string",
            "keyPropertyMapping": "uri"
          }
        }
      }
  4. Optional: Überprüfen Sie das Schema, indem Sie die Schritte unter Schemadefinition ansehen ausführen.

Nächste Schritte