Membuat dan menelusuri embedding multimodal
Tutorial ini menunjukkan cara membuat embedding multimodal untuk gambar dan teks menggunakan BigQuery dan Gemini Enterprise Agent Platform, lalu menggunakan embedding ini untuk melakukan penelusuran semantik teks ke gambar.
Tutorial ini membahas tugas-tugas berikut:
- Membuat tabel objek BigQuery pada data gambar di bucket Cloud Storage.
- Mempelajari data gambar menggunakan notebook Colab Enterprise di BigQuery.
- Membuat model jarak jauh BigQuery ML yang menargetkan model dasar
multimodalembeddingGemini Enterprise Agent Platform. - Menggunakan model jarak jauh dengan fungsi
AI.GENERATE_EMBEDDINGuntuk membuat embedding dari gambar dalam tabel objek. - Perbaiki error pembuatan embedding.
- Secara opsional, buat indeks vektor untuk mengindeks embedding gambar.
- Membuat embedding teks untuk string penelusuran tertentu.
- Menggunakan
fungsi
VECTOR_SEARCHuntuk melakukan penelusuran semantik untuk embedding gambar yang mirip dengan embedding teks. - Memvisualisasikan hasil menggunakan notebook.
Tutorial ini menggunakan gambar seni domain publik dari
The Metropolitan Museum of Art yang tersedia
di bucket gcs-public-data--met
Cloud Storage publik.
Peran yang diperlukan
Untuk menjalankan tutorial ini, Anda memerlukan peran Identity and Access Management (IAM) berikut:
- Membuat dan menggunakan set data, koneksi, model, dan notebook BigQuery:
BigQuery Studio Admin (
roles/bigquery.studioAdmin). - Berikan izin ke akun layanan koneksi: Project IAM Admin
(
roles/resourcemanager.projectIamAdmin).
Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melakukan tugas dalam dokumen ini. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
- Membuat set data:
bigquery.datasets.create - Membuat, mendelegasikan, dan menggunakan koneksi:
bigquery.connections.* - Tetapkan koneksi default:
bigquery.config.* - Menetapkan izin akun layanan:
resourcemanager.projects.getIamPolicydanresourcemanager.projects.setIamPolicy - Membuat tabel objek:
bigquery.tables.createdanbigquery.tables.update - Buat model dan jalankan inferensi:
bigquery.jobs.createbigquery.models.createbigquery.models.getDatabigquery.models.updateDatabigquery.models.updateMetadata
- Membuat dan menggunakan notebook:
resourcemanager.projects.getresourcemanager.projects.listbigquery.config.getbigquery.jobs.createbigquery.readsessions.createbigquery.readsessions.getDatabigquery.readsessions.updatedataform.locations.getdataform.locations.listdataform.repositories.create
.dataform.repositories.listdataform.collections.createdataform.collections.listaiplatform.notebookRuntimeTemplates.applyaiplatform.notebookRuntimeTemplates.getaiplatform.notebookRuntimeTemplates.listaiplatform.notebookRuntimeTemplates.getIamPolicyaiplatform.notebookRuntimes.assignaiplatform.notebookRuntimes.getaiplatform.notebookRuntimes.listaiplatform.operations.listaiplatform.notebookRuntimeTemplates.apply
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:
- BigQuery ML: You incur costs for the data that you process in BigQuery.
- Gemini Enterprise Agent Platform: You incur costs for calls to the Agent Platform service that's represented by the remote model.
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.
Untuk mengetahui informasi selengkapnya tentang harga Agent Platform, lihat halaman harga Agent Platform.
Sebelum memulai
-
Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
-
Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator
(
roles/resourcemanager.projectCreator), yang berisi izinresourcemanager.projects.create. Pelajari cara memberikan peran.
-
Pastikan penagihan diaktifkan untuk project Google Cloud Anda.
-
Aktifkan BigQuery API, BigQuery Connection API, dan Agent Platform API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.
Membuat set data
Untuk membuat set data BigQuery, pilih salah satu opsi berikut:
Konsol
Di konsol Google Cloud , buka halaman BigQuery.
Di panel kiri, klik Explorer:

Jika Anda tidak melihat panel kiri, klik Luaskan panel kiri untuk membuka panel.
Di Explorer, luaskan project Anda, lalu klik Datasets.
Di halaman Datasets, klik Create dataset.
Di panel Create dataset, lakukan hal berikut:
Untuk Dataset ID, masukkan
bqml_tutorial.Untuk lokasi data, pilih US.
Jangan ubah setelan default yang tersisa.
Klik Create dataset.
bq
Untuk membuat set data baru, gunakan
perintah bq mk --dataset.
Buat set data bernama
bqml_tutorialdengan lokasi data yang ditetapkan keUS:bq mk --dataset \ --location=US \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
Pastikan set data telah dibuat:
bq ls
API
Panggil metode datasets.insert
dengan resource set data yang ditentukan:
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
Membuat tabel objek
Buat tabel objek di atas gambar seni di bucket gcs-public-data--met Cloud Storage publik.
Tabel objek memungkinkan analisis gambar tanpa memindahkannya dari Cloud Storage.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut:
CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images` WITH CONNECTION DEFAULT OPTIONS ( object_metadata = 'SIMPLE', uris = ['gs://gcs-public-data--met/*'] );
Mempelajari data gambar
Buat notebook Colab Enterprise di BigQuery untuk menjelajahi data gambar.
Di konsol Google Cloud , buka halaman BigQuery.
Siapkan notebook:
- Tambahkan sel kode ke notebook.
Salin dan tempel kode berikut ke dalam sel kode:
#@title Set up credentials from google.colab import auth auth.authenticate_user() print('Authenticated') PROJECT_ID='PROJECT_ID' from google.cloud import bigquery client = bigquery.Client(PROJECT_ID)Ganti
PROJECT_IDdengan nama project yang Anda gunakan untuk tutorial ini.Jalankan sel kode.
Aktifkan tampilan tabel:
- Tambahkan sel kode ke notebook.
Salin dan tempel kode berikut ke dalam sel kode:
#@title Enable data table display %load_ext google.colab.data_tableJalankan sel kode.
Buat fungsi untuk menampilkan gambar:
- Tambahkan sel kode ke notebook.
Salin dan tempel kode berikut ke dalam sel kode:
#@title Util function to display images import io from PIL import Image import matplotlib.pyplot as plt import tensorflow as tf def printImages(results): image_results_list = list(results) amt_of_images = len(image_results_list) fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20)) fig.tight_layout() fig.subplots_adjust(hspace=0.5) for i in range(amt_of_images): gcs_uri = image_results_list[i][0] text = image_results_list[i][1] f = tf.io.gfile.GFile(gcs_uri, 'rb') stream = io.BytesIO(f.read()) img = Image.open(stream) axes[i, 0].axis('off') axes[i, 0].imshow(img) axes[i, 1].axis('off') axes[i, 1].text(0, 0, text, fontsize=10) plt.show()Jalankan sel kode.
Menampilkan gambar:
- Tambahkan sel kode ke notebook.
Salin dan tempel kode berikut ke dalam sel kode:
#@title Display Met images inspect_obj_table_query = """ SELECT uri, content_type FROM bqml_tutorial.met_images WHERE content_type = 'image/jpeg' Order by uri LIMIT 10; """ printImages(client.query(inspect_obj_table_query))Jalankan sel kode.
Hasilnya akan terlihat seperti berikut:
Simpan notebook sebagai
met-image-analysis.
Membuat model jarak jauh
Buat model jarak jauh yang merepresentasikan model embedding multimodal Agent Platform yang dihosting:
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut:
CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model` REMOTE WITH CONNECTION DEFAULT OPTIONS (ENDPOINT = 'gemini-embedding-2-preview');
Kueri memerlukan waktu beberapa detik untuk diselesaikan, setelah itu Anda dapat mengakses model
multimodal_embedding_modelyang muncul di set databqml_tutorial. Karena kueri menggunakan pernyataanCREATE MODELuntuk membuat model, tidak akan ada hasil kueri.
Membuat embedding gambar
Buat embedding dari gambar dalam tabel objek menggunakan fungsi AI.GENERATE_EMBEDDING, lalu tulis ke tabel untuk digunakan pada langkah berikutnya. Pembuatan embedding adalah operasi yang mahal, sehingga kueri menggunakan subkueri yang menyertakan klausa LIMIT untuk membatasi pembuatan embedding hingga 10.000 gambar, bukan menyematkan set data lengkap yang berisi 601.294 gambar. Hal ini juga membantu menjaga
jumlah gambar di bawah batas 25.000 untuk fungsi
AI.GENERATE_EMBEDDING. Kueri ini membutuhkan waktu sekitar 40 menit untuk dijalankan.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut:
CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings` AS SELECT * FROM AI.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))
Memperbaiki error pembuatan embedding
Periksa dan perbaiki error pembuatan embedding. Pembuatan embedding dapat gagal karena kuota AI Generatif di Agent Platform atau ketidaktersediaan layanan.
Fungsi AI.GENERATE_EMBEDDING menampilkan detail error di kolom status. Kolom ini kosong jika pembuatan embedding berhasil, atau berisi pesan error jika pembuatan embedding gagal.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk melihat apakah ada kegagalan pembuatan embedding:
SELECT DISTINCT(status), COUNT(uri) AS num_rows FROM bqml_tutorial.met_image_embeddings GROUP BY 1;
Jika baris dengan error ditampilkan, hapus baris yang gagal menghasilkan embedding:
DELETE FROM `bqml_tutorial.met_image_embeddings` WHERE status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';
Membuat indeks vektor
Secara opsional, Anda dapat menggunakan
pernyataan CREATE VECTOR INDEX
untuk membuat indeks vektor met_images_index pada
kolom embedding dari tabel met_images_embeddings.
Indeks vektor memungkinkan Anda melakukan penelusuran vektor dengan lebih cepat, dengan konsekuensi mengurangi perolehan dan menampilkan hasil yang lebih mendekati.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut:
CREATE OR REPLACE VECTOR INDEX `met_images_index` ON bqml_tutorial.met_image_embeddings(embedding) OPTIONS ( index_type = 'IVF', distance_type = 'COSINE');
Indeks vektor dibuat secara asinkron. Untuk memeriksa apakah indeks vektor telah dibuat, buat kueri tampilan
INFORMATION_SCHEMA.VECTOR_INDEXESdan pastikan nilaicoverage_percentagelebih besar dari0, dan nilailast_refresh_timebukanNULL:SELECT table_name, index_name, index_status, coverage_percentage, last_refresh_time, disable_reason FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES WHERE index_name = 'met_images_index';
Membuat embedding untuk teks penelusuran
Untuk menelusuri gambar yang sesuai dengan string penelusuran teks yang ditentukan, Anda harus
terlebih dahulu membuat embedding teks untuk string tersebut. Gunakan model jarak jauh yang sama untuk membuat embedding teks yang Anda gunakan untuk membuat embedding gambar, lalu tulis embedding teks ke tabel untuk digunakan di langkah berikutnya. String penelusuran adalah pictures of white or cream colored dress from victorian era.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut:
CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding` AS SELECT * FROM AI.GENERATE_EMBEDDING( MODEL `bqml_tutorial.multimodal_embedding_model`, ( SELECT 'pictures of white or cream colored dress from victorian era' AS content ) );
Melakukan penelusuran semantik teks ke gambar
Gunakan
fungsi VECTOR_SEARCH
untuk melakukan penelusuran semantik untuk gambar yang paling sesuai dengan string
penelusuran yang diwakili oleh embedding teks.
Di konsol Google Cloud , buka halaman BigQuery.
Di editor kueri, jalankan kueri berikut untuk melakukan penelusuran semantik dan menulis hasilnya ke tabel:
CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS SELECT base.uri AS gcs_uri, distance FROM VECTOR_SEARCH( TABLE `bqml_tutorial.met_image_embeddings`, 'embedding', TABLE `bqml_tutorial.search_embedding`, 'embedding', top_k => 3);
Memvisualisasikan hasil penelusuran semantik
Memvisualisasikan hasil penelusuran semantik menggunakan notebook.
Di konsol Google Cloud , buka halaman BigQuery.
Buka notebook
met-image-analysisyang Anda buat sebelumnya.Visualisasikan hasil penelusuran vektor:
- Tambahkan sel kode ke notebook.
Salin dan tempel kode berikut ke dalam sel kode:
query = """ SELECT * FROM `bqml_tutorial.vector_search_results` ORDER BY distance; """ printImages(client.query(query))Jalankan sel kode.
Hasilnya akan terlihat seperti berikut:
Pembersihan
- Di konsol Google Cloud , buka halaman Manage resources.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.