Anda dapat mengurangi biaya operasional dan meningkatkan responsivitas kueri dengan menggunakan fungsi AI yang dioptimalkan di AlloyDB untuk PostgreSQL. Fungsi AI yang dioptimalkan meminimalkan penggunaan model bahasa besar (LLM) untuk tugas klasifikasi atau pemfilteran baris demi baris dengan memproses sebagian besar kueri Anda menggunakan model proxy yang lebih kecil dan lebih cepat, serta beralih ke LLM yang lebih besar hanya jika diperlukan.
Fungsi AI AlloyDB seperti ai.if() dapat memiliki latensi tinggi karena panggilan jarak jauh ke LLM. Fungsi yang dioptimalkan mengatasi masalah latensi ini dengan menggunakan model proxy yang lebih kecil dan dilatih secara lokal (seperti model regresi logistik) untuk memproses kueri Anda. Model ini dilatih menggunakan sampel data Anda, dengan output LLM sebagai sumber kebenaran.
Anda dapat mengonfigurasi pemeriksaan akurasi yang akan dilakukan saat runtime menggunakan flag
google_ml_integration.proxy_models_enable_accuracy_check,
yang ditetapkan ke off secara default. Pemeriksaan akurasi mengevaluasi sampel baris dari kueri menggunakan LLM dasar untuk memastikan bahwa akurasi memenuhi nilai minimum yang ditentukan oleh flag google_ml_integration.proxy_models_f1_score_threshold. Jika pemeriksaan akurasi gagal, kueri akan kembali menggunakan LLM (atau
menampilkan error jika penggantian dinonaktifkan).
Alur kerja fungsi AI yang dioptimalkan
Saat Anda menggunakan fungsi AI yang dioptimalkan dan menetapkan flag google_ml_integration.proxy_models_enable_accuracy_check
ke true, AlloyDB akan melakukan hal berikut.
Menjadwalkan pelatihan: Saat Anda menjalankan kueri yang berisi fungsi
ai.if()pada tabel, AlloyDB akan otomatis menjadwalkan pelatihan model proxy ringan di latar belakang.Menggunakan LLM sebagai pengganti: Saat model proxy sedang dilatih, atau jika model proxy tidak tersedia, AlloyDB akan menggunakan LLM jarak jauh sebagai pengganti untuk mengevaluasi kueri (kecuali jika penggantian dinonaktifkan).
Menjalankan kueri yang dioptimalkan: Setelah model dilatih, AlloyDB menggunakan model proxy terlatih untuk memproses kueri berikutnya secara lokal, sehingga mempercepat performa.
Diagram berikut menunjukkan alur logika untuk memproses kueri dengan fungsi AI yang dioptimalkan:
Sebelum memulai
Sebelum Anda menggunakan fungsi AI yang dioptimalkan, lakukan hal berikut:
- Hubungkan ke database Anda menggunakan psql. Anda juga dapat terhubung menggunakan AlloyDB Studio sebagai pengguna
postgres, atau sebagai pengguna yang memiliki akses ke tabel tempat data berada. Pastikan ekstensi
google_ml_integrationversi 1.6.3 atau yang lebih baru telah diinstal.SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';Outputnya mirip dengan hal berikut ini:
extversion ------------ 1.6.3 (1 row)Jika ekstensi belum diinstal atau merupakan versi yang lebih lama dari versi 1.6.3, update ekstensi:
CREATE EXTENSION IF NOT EXISTS google_ml_integration; ALTER EXTENSION google_ml_integration UPDATE;Mengonfigurasi AlloyDB agar berfungsi dengan Gemini Enterprise Agent Platform. Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan Platform Agen.
Pastikan flag database tingkat instance berikut diaktifkan. Untuk mengetahui informasi selengkapnya, lihat Flag database yang didukung, Flag database untuk fungsi AI yang dioptimalkan, dan Mengonfigurasi flag database instance.
Tinjau flag database validasi penggantian dan akurasi, yang dapat Anda konfigurasi di tingkat sesi atau database menggunakan SQL (
SETatauALTER DATABASE):google_ml_integration.proxy_models_enable_llm_fallback: Mengontrol apakah kueri akan beralih ke LLM jarak jauh jika model proxy tidak tersedia. Flag ini ditetapkan keonsecara default. Jika disetel keoff, database akan menampilkan error, bukan beralih ke LLM jarak jauh.google_ml_integration.proxy_models_enable_accuracy_check: Mengaktifkan pemeriksaan akurasi runtime terhadap LLM dasar pengukuran. Flag ini ditetapkan keoffsecara default.
Tinjau flag database pelatihan ulang berkala:
google_ml_integration.proxy_models_retraining_interval_minutes: Mengontrol frekuensi tugas pelatihan ulang latar belakang dalam menit. Defaultnya adalah1440(24 jam). Menyetelnya ke0akan menonaktifkan pelatihan ulang berkala.google_ml_integration.proxy_models_retraining_batch_size: Mengontrol jumlah model yang dilatih ulang dalam satu iterasi (defaultnya adalah1).
Untuk AlloyDB Omni, pastikan ekstensi berikut dimuat di
shared_preload_libraries:google_job_schedulergoogle_ml_integration
Buat embedding untuk tabel yang ingin Anda kueri. Untuk mengetahui informasi selengkapnya, lihat Membuat dan mengelola embedding vektor otomatis untuk tabel besar.
Pertimbangkan persyaratan berikut:
- Kolom data sumber harus berjenis
TEXTatauVARCHAR. - Kolom embedding yang memberikan input ke fungsi AI yang dioptimalkan
harus berjenis
REAL[]atauVECTOR. - Fungsi AI yang dioptimalkan hanya tersedia di region tempat model generatif Agent Platform tersedia. Untuk mengetahui daftar region yang tersedia, lihat Deployment dan endpoint.
- Kolom data sumber harus berjenis
Menjalankan kueri yang dioptimalkan
Ikuti contoh ini untuk menjalankan pernyataan SELECT standar dengan fungsi ai.if():
Buat tabel
restaurant_reviews. Kolomreviewyang menyimpan data sumber berjenisTEXT, dan kolomreview_embeddingyang digunakan untuk kueri berjenisVECTOR(768).CREATE TABLE restaurant_reviews ( id SERIAL, name VARCHAR(64), city VARCHAR(64), review TEXT, review_embedding VECTOR(768) );Buat embedding vektor untuk data sumber menggunakan prosedur
ai.initialize_embeddings():CALL ai.initialize_embeddings( model_id => 'text-embedding-005', table_name => 'restaurant_reviews', content_column => 'review', embedding_column => 'review_embedding' );Pembuatan embedding diperlukan karena fungsi AI yang dioptimalkan mengandalkan embedding vektor sebagai input fitur untuk melatih dan mengevaluasi model proxy ringan. Alih-alih mengirim teks mentah ke LLM jarak jauh untuk setiap baris, model proxy melakukan inferensi lokal yang cepat langsung pada representasi vektor. Jika embedding tidak dibuat, AlloyDB tidak dapat melatih model proxy dan akan kembali mengevaluasi semua baris dengan LLM jarak jauh.
Perhatikan persyaratan penyematan berikut:
- Output
ai.if()dievaluasi keNULLjika kolom embedding berisi nilaiNULL. Pelatihan dan inferensi model memerlukan embedding yang valid. - Fungsi
ai.if()menampilkan error jika dimensi embedding kueri tidak cocok dengan dimensi yang disimpan dalam model proxy terlatih.
Untuk mengetahui informasi selengkapnya tentang opsi embedding dan refresh inkremental, lihat Membuat dan mengelola embedding vektor otomatis untuk tabel besar.
- Output
Jalankan pernyataan
SELECTdengan fungsiai.if(). Kueri ini secara otomatis menjadwalkan pelatihan model proxy untuk fungsi AI yang dioptimalkan di latar belakang:SELECT r.name, r.city FROM restaurant_reviews r WHERE ai.if('Is the following a positive review? Review: ' || r.review, r.review_embedding, 'gemini-3.5-flash-lite') GROUP BY r.name, r.city HAVING COUNT(*) > 500;Eksekusi kueri pertama memicu pelatihan secara asinkron. Saat model proxy dilatih, jika flag
google_ml_integration.proxy_models_enable_llm_fallbackditetapkan keon(default), AlloyDB akan kembali mengevaluasi kueri dengan LLM jarak jauh dan menampilkan peringatan bahwa fungsi AI yang dioptimalkan belum tersedia. Jikagoogle_ml_integration.proxy_models_enable_llm_fallbackditetapkan keoff, kueri akan menampilkan error, bukan kembali ke setelan default.Kueri berikutnya yang cocok dengan ekspresi konten (
content_expr), kolom embedding, dan tabel yang sama akan menggunakan model proxy terlatih untuk akselerasi. Memperbarui nilai baris, menghapus baris, atau menambahkan data ke tabel tidak akan menyebabkan AlloyDB beralih ke LLM. Model proxy terus memproses data secara lokal, dan pergeseran data diatasi dengan pelatihan ulang latar belakang secara berkala.Model proxy diidentifikasi secara unik oleh jenis fungsi, OID tabel, ekspresi konten, dan kolom embedding (
func_type,table_oid,content_expr,embedding_column). Dengan arsitektur ini, Anda dapat berbagi model di berbagai kueri SQL selama input keai.if()tetap tidak berubah.AlloyDB tidak menggunakan model proxy yang ada, melainkan memulai pelatihan latar belakang untuk model proxy baru dan beralih ke LLM jarak jauh (tunduk pada flag
google_ml_integration.proxy_models_enable_llm_fallback), dalam skenario berikut:- Ekspresi
CONTENTdi dalamai.if()berubah (misalnya, string perintah atau ekspresi kolom yang digabungkan diubah). - Nama
EMBEDDING_COLUMNdi dalamai.if()berubah. - Perubahan parameter
llm_model_id. - Jika pemeriksaan akurasi runtime diaktifkan, dan model proxy gagal dalam pemeriksaan akurasi di awal kueri.
- Ekspresi
Pelatihan online dan eksekusi pemblokiran
AlloyDB mendukung alur kerja pelatihan online untuk fungsi yang dioptimalkan, yang dikontrol oleh flag database google_ml_integration.proxy_models_enable_online_training. Secara default, flag ini ditetapkan ke off.
Jika flag ini diaktifkan dan fungsi ai.if() yang tidak terlatih dijalankan, kueri akan memicu proses pelatihan dan menggunakan eksekusi pemblokiran. Kueri awal secara aktif memblokir dan menunggu pelatihan model proxy latar belakang selesai sebelum melanjutkan. Hal ini memastikan kueri segera menggunakan model proxy yang dioptimalkan, sehingga menghindari biaya inferensi LLM jarak jauh pada eksekusi awal.
Durasi maksimum kueri memblokir dan menunggu pelatihan online selesai
dikontrol oleh
flag google_ml_integration.proxy_models_training_wait_timeout (dalam detik,
defaultnya adalah 60). Jika pelatihan tidak selesai dalam interval ini, kueri
akan kehabisan waktu atau beralih ke setelan penggantian Anda.
Untuk mengaktifkan pelatihan online:
-- Enable online training (blocking execution)
SET google_ml_integration.proxy_models_enable_online_training = on;
-- Set the maximum wait timeout in seconds (default is 60)
SET google_ml_integration.proxy_models_training_wait_timeout = 30;
Mengonfigurasi penggantian LLM jarak jauh
Secara default, penggantian ke LLM jarak jauh diaktifkan. Jika model proxy tidak dilatih, sedang dilatih, atau gagal dalam pemeriksaan akurasi, kueri akan beralih kembali ke LLM jarak jauh dan dikenai biaya Agent Platform API standar.
Anda dapat mengonfigurasi perilaku penggantian menggunakan
flag database google_ml_integration.proxy_models_enable_llm_fallback:
Jika penggantian diaktifkan (
on, default): Jika model proxy tidak tersedia, AlloyDB akan mengevaluasi kueri menggunakan LLM jarak jauh dan menampilkan peringatan:WARNING: Optimized AI Function is unavailable. Expect reduced performance.Jika penggantian dinonaktifkan (
off): Jika model proxy tidak tersedia atau gagal dalam validasi akurasi, kueri akan langsung memunculkan error, bukan memanggil LLM jarak jauh:ERROR: Optimized AI Function: Optimized model fallback to LLM prevented by GUC google_ml_integration.proxy_models_enable_llm_fallback
Untuk menonaktifkan penggantian LLM untuk sesi saat ini:
SET google_ml_integration.proxy_models_enable_llm_fallback = off;
Untuk menonaktifkan penggantian LLM untuk seluruh database:
ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_llm_fallback = off;
Ganti DATABASE_NAME dengan nama database Anda.
Mengonfigurasi pemeriksaan akurasi runtime
Pemeriksaan akurasi runtime mengevaluasi sampel baris dari kueri menggunakan LLM jarak jauh untuk memastikan model proxy memenuhi persyaratan akurasi dasar pengukuran sebelum dieksekusi.
Pemeriksaan akurasi dikontrol oleh
flag database google_ml_integration.proxy_models_enable_accuracy_check
(dinonaktifkan secara default).
Untuk mengaktifkan pemeriksaan akurasi untuk sesi saat ini:
SET google_ml_integration.proxy_models_enable_accuracy_check = on;
Untuk menonaktifkan pemeriksaan akurasi untuk sesi saat ini:
SET google_ml_integration.proxy_models_enable_accuracy_check = off;
Untuk mengaktifkan pemeriksaan akurasi untuk seluruh database:
ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_accuracy_check = on;
Melihat model proxy yang ada
Untuk memeriksa model proxy yang ada, memeriksa status pelatihannya, dan meninjau
metadata modelnya, buat kueri tabel virtual google_ml.optimized_functions_view (atau
aliasnya dalam skema ai, ai.optimized_functions_view):
sql
SELECT * FROM ai.optimized_functions_view;
Untuk deskripsi kolom dalam tabel virtual ini, lihat tabel virtual ai.optimized_functions_view.
Anda dapat memfilter tampilan ini menurut table_name atau status untuk memverifikasi apakah model telah
menyelesaikan pelatihan (READY), atau untuk mengidentifikasi nilai content_expr dan
embedding_column yang tepat yang diperlukan untuk pelatihan ulang manual.
Melatih ulang dan mengelola model proxy
Model proxy dilatih berdasarkan data yang ada dalam tabel Anda pada saat pelatihan awal. Jika data yang lebih baru ditambahkan ke tabel, atau jika baris diubah atau dihapus, model proxy mungkin akan menjadi usang seiring waktu. Untuk mempertahankan akurasi seiring perubahan data, model proxy dapat dilatih ulang secara otomatis secara berkala di latar belakang atau secara manual sesuai permintaan.
Pelatihan ulang latar belakang berkala
Pada instance dengan 32 vCPU atau lebih dengan setelan konfigurasi default, AlloyDB dapat melatih ulang model proxy secara berkala di latar belakang.
Pelatihan ulang berkala dikontrol oleh flag database berikut:
google_ml_integration.proxy_models_retraining_interval_minutes: Mengontrol frekuensi tugas pelatihan ulang latar belakang dalam menit. Defaultnya adalah1440(24 jam). Menyetelnya ke0akan menonaktifkan pelatihan ulang berkala.google_ml_integration.proxy_models_retraining_batch_size: Mengontrol jumlah model yang dilatih ulang dalam satu iterasi (defaultnya adalah1).
Pelatihan ulang manual
Anda dapat melatih ulang model proxy secara manual menggunakan fungsi dalam skema ai (atau
yang setara dalam skema google_ml).
Melatih ulang semua model untuk tabel
Untuk melatih ulang semua model proxy yang terkait dengan tabel tertentu, atau untuk melatih ulang subset model yang difilter untuk tabel, panggil ai.retrain_optimized_models():
SELECT ai.retrain_optimized_models(
table_name => 'restaurant_reviews',
embedding_column => 'review_embedding', -- Optional
content_expr => '(''Is the following a positive review? Review: ''::text || review)', -- Optional
llm_model_id => 'LLM_MODEL_ID' -- Optional
);
Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_models().
Melatih ulang model tertentu berdasarkan ID model
Untuk melatih ulang model proxy tertentu menggunakan ID model uniknya, panggil
ai.retrain_optimized_model() dengan parameter model_id:
SELECT ai.retrain_optimized_model(model_id => 'MODEL_ID');
Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_model().
Melatih ulang model tertentu berdasarkan parameter pelatihan model
Untuk melatih ulang model proxy tertentu menggunakan nama tabel, ekspresi konten, dan kolom embedding-nya, panggil ai.retrain_optimized_model():
SELECT ai.retrain_optimized_model(
table_name => 'restaurant_reviews',
embedding_column => 'review_embedding',
content_expr => '(''Is the following a positive review? Review: ''::text || review)',
llm_model_id => 'LLM_MODEL_ID' -- Optional
);
Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_model().
Menghapus model proxy
Anda dapat menghapus model proxy satu per satu atau semua model menggunakan fungsi berikut. Operasi ini harus dilakukan oleh pengguna dengan hak istimewa alloydbsuperuser, atau dengan izin yang diberikan oleh administrator.
Untuk menemukan model_id internal yang diperlukan untuk menghapus model proxy tertentu, buat kueri tabel google_ml.proxy_models_expr_mapping:
SELECT model_id, table_oid::regclass, content_expr
FROM google_ml.proxy_models_expr_mapping;
-- Delete a specific proxy model
SELECT ai.delete_optimized_model('com_if_12345_67890');
-- Delete all proxy models and stop the background automated retraining job
CALL ai.delete_all_optimized_models();
Memantau
Anda dapat memantau tugas pelatihan worker latar belakang dan memeriksa status operasional model.
Memeriksa status dan histori pelatihan model
Untuk memverifikasi apakah model proxy telah menyelesaikan pelatihan, gagal, atau sedang dalam proses pelatihan ulang, buat kueri ai.optimized_functions_view:
SELECT table_name, content_expr, status, last_trained_at, training_duration
FROM ai.optimized_functions_view;
Kolom status menunjukkan status operasional model saat ini dan
memberikan nilai berikut:
READY: Model proxy berhasil menyelesaikan pelatihan dan siap mempercepat kueri yang masuk.UNTRAINED: Model telah didaftarkan atau dijadwalkan, tetapi pelatihan latar belakang belum selesai. Jika pelatihan latar belakang awal gagal, model akan tetap dalam statusUNTRAINEDdan kueri akan kembali ke LLM jarak jauh (atau error jika penggantian dinonaktifkan).RETRAINING_IN_PROGRESS: Pelatihan ulang latar belakang sedang berlangsung.RETRAINING_FAILED: Pelatihan ulang manual atau latar belakang terbaru gagal. Dalam sebagian besar skenario, jika bobot model pra-pelatihan ulang ada, AlloyDB akan terus menggunakan bobot model yang ada tersebut untuk inferensi. Jika bobot model yang ada tidak tersedia (atau jika pemeriksaan akurasi runtime gagal), AlloyDB akan kembali mengevaluasi kueri menggunakan LLM jarak jauh (tunduk padagoogle_ml_integration.proxy_models_enable_llm_fallback) hingga model berhasil dilatih ulang.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang tersedia dalam tampilan ini, lihat Melihat model proxy yang ada.
Batasan
- Fungsi AI yang dioptimalkan hanya mendukung fungsi
ai.if(). - Pelatihan ulang otomatis latar belakang berkala untuk model proxy tidak didukung pada instance database dengan kurang dari 32 vCPU.
- Keamanan tingkat baris (RLS): Model yang dilatih pada tabel menggunakan kebijakan keamanan tingkat baris (RLS) dapat membocorkan informasi keamanan dengan melatih di bawah izin pengguna yang memulai tertentu. Pelatihan model proxy pada tabel dengan kebijakan RLS dinonaktifkan.
- Modifikasi input: Jika Anda mengubah kolom konten sumber, kolom embedding, string perintah, atau ID model LLM dasar yang diberikan ke
ai.if(), model proxy yang ada akan diabaikan dan permintaan pelatihan latar belakang baru akan dimulai untuk kombinasi tersebut. - Batasan SQL:
- Kueri harus berisi klausa
FROMyang valid. - Semua argumen untuk fungsi AI harus berasal dari alias tabel yang sama.
- Sertakan kolom dalam ekspresi
ai.if()sebagai kolom sumber untuk embedding. - Jangan tempatkan fungsi
ai.if()di dalam subkueri atau ekspresi tabel umum (CTE).
- Kueri harus berisi klausa