Memberikan atau mendeteksi skema secara otomatis

Saat Anda mengimpor data terstruktur menggunakan konsol Google Cloud , Gemini Enterprise akan otomatis mendeteksi skema. Anda dapat menggunakan skema yang terdeteksi otomatis ini di mesin Anda atau menggunakan API untuk menyediakan skema yang menunjukkan struktur data.

Jika Anda memberikan skema dan kemudian mengupdatenya dengan skema baru, skema baru tersebut harus kompatibel dengan versi lama dari skema asli. Jika tidak, update skema akan gagal.

Untuk mengetahui informasi referensi tentang skema, lihat dataStores.schemas.

Pendekatan untuk menyediakan skema bagi penyimpanan data Anda

Ada berbagai pendekatan untuk menentukan skema data terstruktur.

  • Deteksi otomatis dan edit. Biarkan Gemini Enterprise mendeteksi otomatis dan menyarankan skema awal. Kemudian, Anda menyaring skema melalui antarmuka konsol. Google sangat menyarankan agar, setelah kolom Anda terdeteksi secara otomatis, Anda memetakan properti utama ke semua kolom penting.

    Ini adalah pendekatan yang akan Anda gunakan saat mengikuti petunjuk konsol Google Cloud untuk data terstruktur di Membuat penyimpanan data pihak pertama.

  • Berikan skema sebagai objek JSON. Berikan skema ke Gemini Enterprise sebagai objek JSON. Anda harus menyiapkan objek JSON yang benar. Untuk contoh objek JSON, lihat Contoh skema sebagai objek JSON. Setelah membuat skema, Anda mengupload data sesuai dengan skema tersebut.

    Ini adalah pendekatan yang dapat Anda gunakan saat membuat penyimpanan data melalui API menggunakan perintah (atau program) curl. Misalnya, lihat Mengimpor sekali dari BigQuery. Lihat juga petunjuk berikut, Menyediakan skema Anda sendiri.

Tentang deteksi dan edit otomatis

Saat Anda mulai mengimpor data, Gemini Enterprise akan mengambil sampel beberapa dokumen pertama yang diimpor. Berdasarkan dokumen ini, alat ini mengusulkan skema untuk data, yang kemudian dapat Anda tinjau atau edit.

Jika kolom yang ingin Anda petakan ke properti kunci tidak ada dalam dokumen sampel, Anda dapat menambahkan kolom ini secara manual saat meninjau skema.

Jika Gemini Enterprise menemukan kolom tambahan nanti dalam impor data, Gemini Enterprise akan tetap mengimpor kolom ini dan menambahkannya ke skema. Jika Anda ingin mengedit skema setelah semua data diimpor, lihat Memperbarui skema.

Saat Gemini Enterprise mendeteksi skema secara otomatis, Gemini Enterprise akan otomatis mengonfigurasi setelan kolom berikut untuk kolom yang terdeteksi, selama kolom tersebut tetap berada dalam batas kolom maksimum:

Jenis kolom Setelan default untuk kolom yang terdeteksi otomatis
string indexable, retrievable, searchable, dynamicFacetable
integer, number, boolean indexable, retrievable, dynamicFacetable
Jenis lainnya kecuali object (datetime, geolocation, array) indexable, retrievable
object Tidak ada

Contoh skema sebagai objek JSON

Anda dapat menentukan skema sendiri menggunakan format Skema JSON, yang merupakan bahasa deklaratif open source untuk menentukan, menganotasi, dan memvalidasi dokumen JSON. Misalnya, ini adalah anotasi skema JSON yang valid:

{
  "$schema": "https://json-schema.org/draft/2020-12/schema",
  "type": "object",
  "dynamic": "true",
  "datetime_detection": true,
  "geolocation_detection": true,
  "properties": {
    "title": {
      "type": "string",
      "keyPropertyMapping": "title",
      "retrievable": true,
      "completable": true
    },
    "description": {
      "type": "string",
      "keyPropertyMapping": "description"
    },
    "categories": {
      "type": "array",
      "items": {
        "type": "string",
        "keyPropertyMapping": "category"
      }
    },
    "uri": {
      "type": "string",
      "keyPropertyMapping": "uri"
    },
    "brand": {
      "type": "string",
      "indexable": true,
      "dynamicFacetable": true
    },
    "location": {
      "type": "geolocation",
      "indexable": true,
      "retrievable": true
    },
    "creationDate": {
      "type": "datetime",
      "indexable": true,
      "retrievable": true
    },
    "isCurrent": {
      "type": "boolean",
      "indexable": true,
      "retrievable": true
    }
  }
}

Setelan skema tingkat teratas

Kolom tingkat atas berikut dalam skema JSON mengontrol cara Gemini Enterprise mendeteksi dan menambahkan kolom saat mengimpor dokumen:

  • dynamic. Jika dynamic ditetapkan ke nilai string "true", properti baru apa pun yang ditemukan dalam data yang diimpor akan ditambahkan ke skema. Jika dynamic ditetapkan ke "false", properti baru yang ditemukan dalam data yang diimpor akan diabaikan; properti tidak ditambahkan ke skema dan nilainya tidak diimpor.

    Misalnya, skema memiliki dua properti: title dan description, dan Anda mengupload data yang berisi properti untuk title, description, dan rating. Jika dynamic adalah "true", properti dan data rating akan diimpor. Jika dynamic adalah "false", properti rating tidak akan diimpor, meskipun title dan description diimpor.

    Nilai defaultnya adalah "true".

  • datetime_detection. Jika datetime_detection ditetapkan ke boolean true, maka, saat data dalam format datetime diimpor, jenis skema ditetapkan ke datetime. Format yang didukung adalah RFC 3339 dan ISO 8601.

    Contoh:

    • 2024-08-05 08:30:00 UTC

    • 2024-08-05T08:30:00Z

    • 2024-08-05T01:30:00-07:00

    • 2024-08-05

    • 2024-08-05T08:30:00+00:00

    Jika datetime_detection ditetapkan ke boolean false, maka, saat data dalam format datetime diimpor, jenis skema akan ditetapkan ke string.

    Nilai defaultnya adalah true.

  • geolocation_detection. Jika geolocation_detection ditetapkan ke boolean true, maka, saat data dalam format geolokasi diimpor, jenis skema ditetapkan ke geolocation. Data terdeteksi sebagai geolokasi jika berupa objek yang berisi angka lintang dan angka bujur atau objek yang berisi string alamat.

    Contoh:

    • "myLocation": {"latitude":37.42, "longitude":-122.08}

    • "myLocation": {"address": "1600 Amphitheatre Pkwy, Mountain View, CA 94043"}

    Jika geolocation_detection ditetapkan ke boolean false, maka, saat data dalam format geolokasi diimpor, jenis skema akan ditetapkan ke object.

    Nilai defaultnya adalah true.

Setelan kolom tingkat properti

Setiap kolom di dalam objek properties mendukung anotasi berikut untuk menentukan jenis data, pemetaan properti kunci, dan perilaku penelusurannya:

  • keyPropertyMapping. Kolom yang memetakan kata kunci yang telah ditentukan ke kolom penting dalam dokumen Anda, sehingga membantu memperjelas makna semantiknya. Nilai mencakup title, description, uri, dan category. Perhatikan bahwa nama kolom Anda tidak perlu sama dengan nilai keyPropertyValues. Misalnya, untuk kolom yang Anda beri nama my_title, Anda dapat menyertakan kolom keyPropertyValues dengan nilai title.

    Kolom dengan anotasi keyPropertyMapping menggunakan setelan indexable dan searchable yang telah ditentukan oleh properti kunci, dan tidak retrievable, completable, atau dynamicFacetable secara default. Karena indexable dan searchable telah ditentukan sebelumnya, Anda tidak boleh menyertakan anotasi "indexable" atau "searchable" eksplisit pada kolom yang sama dalam skema JSON, meskipun dengan nilai false. Jika tidak, permintaan akan gagal dengan error INVALID_ARGUMENT: Key property FIELD_NAME should not contain searchable or indexable annotation. Anda masih dapat menyertakan "retrievable": true sehingga kolom yang dipetakan ditampilkan dalam hasil penelusuran.

  • type. Jenis kolom. Ini adalah nilai string yang berupa datetime, geolocation, atau salah satu jenis primitif (integer, boolean, object, array, number, atau string).

  • retrievable. Menunjukkan apakah kolom ini dapat ditampilkan dalam respons penelusuran. Ini dapat ditetapkan untuk kolom jenis number, string, boolean, integer, datetime, dan geolocation. Maksimum 50 kolom dapat ditetapkan sebagai dapat diambil. Saat Anda secara eksplisit memberikan atau memperbarui skema JSON, kolom yang ditentukan pengguna dan kolom keyPropertyMapping ditetapkan secara default ke false untuk retrievable, kecuali jika Anda secara eksplisit menetapkan "retrievable": true dalam definisi skema Anda.

  • indexable. Menunjukkan apakah kolom ini dapat difilter, difaset, diperkuat, atau diurutkan dalam metode servingConfigs.search. Ini dapat ditetapkan untuk kolom jenis number, string, boolean, integer, datetime, dan geolocation. Maksimum 50 kolom dapat ditetapkan sebagai dapat diindeks. Saat Anda secara eksplisit memberikan atau memperbarui skema JSON, kolom yang ditentukan pengguna akan ditetapkan secara default ke false untuk indexable (kecuali untuk kolom yang berisi keyPropertyMapping), kecuali jika Anda secara eksplisit menetapkan "indexable": true dalam definisi skema.

  • dynamicFacetable. Menunjukkan bahwa kolom dapat digunakan sebagai faset dinamis. Ini dapat ditetapkan untuk kolom jenis number, string, boolean, dan integer. Agar kolom dapat difaset secara dinamis, kolom tersebut juga harus dapat diindeks: sertakan "dynamicFacetable": true dan "indexable": true dengan kolom tersebut.

  • searchable. Menunjukkan apakah kolom ini dapat diindeks terbalik agar cocok dengan kueri teks tidak terstruktur. Ini hanya dapat ditetapkan untuk kolom jenis string. Maksimum 50 kolom dapat ditetapkan sebagai dapat ditelusuri. Saat Anda secara eksplisit memberikan atau memperbarui skema JSON, kolom yang ditentukan pengguna akan ditetapkan secara default ke false untuk searchable (kecuali untuk kolom yang berisi keyPropertyMapping) kecuali jika Anda secara eksplisit menetapkan "searchable": true dalam definisi skema.

  • completable. Menunjukkan apakah kolom ini dapat ditampilkan sebagai saran pelengkapan otomatis. Kolom ini hanya dapat ditetapkan untuk kolom jenis string. Agar kolom dapat dilengkapi, sertakan "completable": true dengan kolom tersebut.

Menyediakan skema Anda sendiri sebagai objek JSON

Untuk menyediakan skema Anda sendiri, buat penyimpanan data yang berisi skema kosong, lalu perbarui skema tersebut, dengan menyediakan skema Anda sebagai objek JSON. Ikuti langkah-langkah berikut:

  1. Siapkan skema sebagai objek JSON, menggunakan Contoh skema sebagai objek JSON sebagai panduan.

  2. Membuat penyimpanan data.

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
    -d '{
      "displayName": "DATA_STORE_DISPLAY_NAME",
      "industryVertical": "INDUSTRY_VERTICAL"
    }'
    

    Ganti kode berikut:

    • PROJECT_ID: ID project Anda.
    • DATA_STORE_ID: ID penyimpanan data yang ingin Anda buat. ID ini hanya boleh berisi huruf kecil, angka, garis bawah, dan tanda hubung.
    • DATA_STORE_DISPLAY_NAME: nama tampilan penyimpanan data yang ingin Anda buat.
    • INDUSTRY_VERTICAL: GENERIC
  3. Gunakan metode API schemas.patch untuk memberikan skema JSON baru Anda sebagai objek JSON.

    curl -X PATCH \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \
    -d '{
      "structSchema": JSON_SCHEMA_OBJECT
    }'
    

    Ganti kode berikut:

    • PROJECT_ID: ID project Anda.
    • DATA_STORE_ID: ID penyimpanan data.
    • JSON_SCHEMA_OBJECT: skema JSON baru Anda sebagai objek JSON. Contoh:

      {
        "$schema": "https://json-schema.org/draft/2020-12/schema",
        "type": "object",
        "properties": {
          "title": {
            "type": "string",
            "keyPropertyMapping": "title"
          },
          "categories": {
            "type": "array",
            "items": {
              "type": "string",
              "keyPropertyMapping": "category"
            }
          },
          "uri": {
            "type": "string",
            "keyPropertyMapping": "uri"
          }
        }
      }
  4. Opsional: Tinjau skema dengan mengikuti prosedur Melihat definisi skema.

Langkah berikutnya