Menggunakan indeks AI
Anda dapat menggunakan fungsi
AI.SEARCH
untuk mengkueri data, sementara BigQuery secara otomatis
menangani pemilihan kolom, pengoptimalan indeks, dan pemeliharaan berkelanjutan.
Dokumen ini menjelaskan cara membuat, memantau, dan menghapus indeks AI, serta cara mengkueri data yang diindeks.
Peran dan izin
Untuk mendapatkan izin yang Anda perlukan untuk Menggunakan indeks AI, minta administrator untuk memberi Anda peran IAM berikut pada project:
-
Membuat atau menghapus indeks AI:
BigQuery Data Owner (
roles/bigquery.dataOwner) -
Membuat kueri tabel:
- BigQuery Data Viewer (
roles/bigquery.dataViewer) - BigQuery Job User (
roles/bigquery.jobUser)
- BigQuery Data Viewer (
-
Melihat metadata indeks AI:
BigQuery Data Viewer (
roles/bigquery.dataViewer)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Membuat indeks AI
Anda dapat membuat indeks AI pada tabel BigQuery standar menggunakan pernyataan bahasa definisi data (DDL) CREATE AI INDEX. Anda dapat menentukan kolom yang akan diindeks, atau Anda dapat meminta BigQuery memilih kolom kandidat secara otomatis menggunakan opsi AUTO COLUMNS.
Batasan dalam membuat indeks AI
Saat Anda membuat indeks AI, batasan berikut berlaku:
- Hanya kolom STRING level teratas yang tidak berulang yang didukung.
ARRAY<STRING>,STRUCT,JSON,ObjectRef, kolom bertingkat, kolom non-STRING, dan kolom semu tidak didukung. - Anda dapat mengindeks hingga 50 kolom dalam satu indeks AI.
- Anda hanya dapat membuat indeks AI di tabel BigQuery standar. Tampilan, tampilan terwujud, tabel eksternal, tabel BigLake, tabel Apache Iceberg, dan snapshot tabel tidak didukung.
- Anda tidak dapat membuat indeks AI dalam set data yang memiliki replika lintas region.
- Saat Anda menjalankan
CREATE AI INDEX, tabel dasar dapat memiliki maksimal 1.000.000 baris untuk project on-demand, atau hingga 100.000.000 baris jika project yang berisi tabel memiliki penetapan pemesananBACKGROUND. AUTO COLUMNSmemilih kolom saat pernyataanCREATE AI INDEXberjalan. Jika Anda menambahkan kolom ke tabel nanti, kolom tersebut tidak akan diindeks secara otomatis. Untuk menyertakan kolom baru, hapus indeks AI dan buat lagi.- Setiap tabel mendukung maksimal satu indeks AI. Tabel dengan indeks AI juga tidak boleh memiliki indeks vektor atau kolom embedding yang dibuat secara otomatis.
Untuk mengetahui daftar lengkap batasan, lihat Batasan pada indeks AI.
Membuat indeks AI dengan AUTO COLUMNS
Saat Anda membuat indeks AI dengan AUTO COLUMNS, BigQuery
akan otomatis memindai skema tabel dan memilih hingga 50 kolom yang memenuhi syarat.
Untuk membuat indeks AI dengan AUTO COLUMNS, gunakan pernyataan DDL CREATE AI INDEX:
Buka BigQuery Studio di konsol Google Cloud .
Di editor kueri, jalankan pernyataan SQL berikut:
CREATE AI INDEX INDEX_NAME ON DATASET_NAME.TABLE_NAME(AUTO COLUMNS);
Ganti kode berikut:
INDEX_NAME: nama indeks AI yang Anda buat. Karena indeks selalu dibuat dalam project dan set data yang sama dengan tabel dasar, Anda tidak perlu menentukan project atau set data dalam nama indeks. Nama indeks harus unik di antara semua indeks pada tabel.DATASET_NAME: nama set data yang berisi tabel.TABLE_NAME: nama tabel standar yang akan diindeks.
Dalam contoh berikut, indeks AI dibuat dengan AUTO COLUMNS di
mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(AUTO COLUMNS);
Membuat indeks AI pada kolom tertentu
Anda dapat membuat indeks AI pada satu kolom atau subset kolom tertentu. Misalnya, saat tabel Anda memiliki lebih dari 50 kolom yang memenuhi syarat, atau saat Anda ingin mengecualikan kolom yang sensitif atau memiliki derau tinggi, seperti ID buram, UUID, hash, atau log mentah. Jika Anda menentukan beberapa kolom, tempatkan kolom yang paling informatif, seperti kolom judul atau nama, di urutan pertama dalam daftar kolom.
Dalam contoh berikut, indeks AI hanya dibuat pada kolom name dan
description dari mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(name, description);
Dalam contoh berikut, indeks AI hanya dibuat di kolom description
dari mydataset.products:
CREATE AI INDEX products_ai_index ON mydataset.products(description);
Menelusuri tabel dengan indeks AI
Anda dapat membuat kueri tabel yang memiliki indeks AI menggunakan fungsi AI.SEARCH.
Jika tabel memiliki indeks AI, hanya dua argumen yang diperlukan:
base_table atau base_table_query, dan query_value.
Menelusuri di semua kolom yang diindeks
Untuk menelusuri semua kolom yang dicakup oleh indeks AI, hapus argumen column_to_search dan teruskan tabel dasar dan string kueri.
Contoh berikut menelusuri semua kolom di mydataset.products yang
dicakup oleh indeks AI:
SELECT base.id, base.name, base.description, distance FROM AI.SEARCH( TABLE mydataset.products, 'shoes that keep your feet dry in the rain', top_k => 5) ORDER BY distance;
Memantau status indeks AI
Anda dapat memantau status, cakupan, dan kolom yang diindeks dari indeks AI Anda dengan mengkueri tampilan INFORMATION_SCHEMA berikut:
INFORMATION_SCHEMA.AI_INDEXES: berisi metadata tentang setiap indeks AI dalam set data.INFORMATION_SCHEMA.AI_INDEX_COLUMNS: mencantumkan kolom yang dicakup oleh setiap indeks AI dalam set data, sehingga Anda dapat memverifikasi kolom mana yang dipilih saat menggunakanAUTO COLUMNS.INFORMATION_SCHEMA.JOBS: berisi informasi tentang tugas latar belakang, termasuk tugas latar belakang yang digunakan untuk membuat dan mengelola indeks AI.
Contoh indeks AI
Kueri berikut menunjukkan cakupan dan ukuran penyimpanan semua indeks AI di my_project.my_dataset:
SELECT table_name, index_name, creation_time, coverage_percentage, unindexed_row_count, total_logical_bytes FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEXES;
Hasilnya mirip dengan berikut ini:
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| table_name | index_name | creation_time | coverage_percentage | unindexed_row_count | total_logical_bytes |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
| products | products_ai_index | 2026-10-01 18:02:11 | 100 | 0 | 25344 |
+------------+-------------------+---------------------+---------------------+---------------------------+-----------------------+
Contoh kolom indeks AI
Kueri berikut mencantumkan kolom yang diindeks untuk indeks AI di
my_project.my_dataset:
SELECT table_name, index_name, index_column_name FROM my_project.my_dataset.INFORMATION_SCHEMA.AI_INDEX_COLUMNS;
Hasilnya mirip dengan berikut ini:
+------------+-------------------+-------------------+
| table_name | index_name | index_column_name |
+------------+-------------------+-------------------+
| products | products_ai_index | name |
| products | products_ai_index | description |
| products | products_ai_index | category |
| products | products_ai_index | review |
+------------+-------------------+-------------------+
Contoh pelacakan biaya tugas latar belakang
Untuk melacak nilai total_slot_ms dan total_bytes_billed untuk tugas pemrosesan data indeks AI latar belakang pada tabel, buat kueri tampilan INFORMATION_SCHEMA.JOBS untuk tugas dengan awalan job_id dari gc_:
SELECT job_id, creation_time, reservation_id, total_slot_ms, total_bytes_processed, total_bytes_billed FROM `region-REGION`.INFORMATION_SCHEMA.JOBS j WHERE EXISTS ( SELECT 1 FROM UNNEST(j.referenced_tables) t WHERE j.project_id = 'PROJECT_ID' AND t.dataset_id = 'DATASET_ID' AND t.table_id = 'TABLE' ) AND STARTS_WITH(job_id, 'gc_') ORDER BY j.creation_time DESC;
Ganti kode berikut:
REGION: region set data yang berisi tabel Anda, misalnya, us.PROJECT_ID: ID project yang berisi tabel Anda.DATASET_ID: nama set data yang berisi tabel Anda.TABLE: nama tabel yang berisi indeks AI.
Menghapus indeks AI
Saat Anda menghapus tabel yang diindeks, indeks AI-nya juga akan dihapus. Untuk menghapus indeks AI
tanpa menghapus tabel, gunakan pernyataan DDL
DROP AI INDEX:
DROP AI INDEX IF EXISTS INDEX_NAME ON DATASET_NAME.TABLE_NAME;
Ganti kode berikut:
INDEX_NAME: nama indeks AI yang Anda hapus.DATASET_NAME: nama set data yang berisi tabel.TABLE_NAME: nama tabel yang berisi indeks AI.
Langkah berikutnya
- Pelajari lebih lanjut fungsi
AI.SEARCH. - Pelajari embedding di BigQuery.