Mempercepat kueri menggunakan fungsi AI yang dioptimalkan

Anda dapat mengurangi biaya operasional dan meningkatkan responsivitas kueri dengan menggunakan fungsi AI yang dioptimalkan di AlloyDB untuk PostgreSQL. Fungsi AI yang dioptimalkan meminimalkan penggunaan model bahasa besar (LLM) untuk tugas klasifikasi atau pemfilteran baris demi baris dengan memproses sebagian besar kueri Anda menggunakan model proxy yang lebih kecil dan lebih cepat, serta beralih ke LLM yang lebih besar hanya jika diperlukan.

Fungsi AI AlloyDB seperti ai.if() dapat memiliki latensi tinggi karena panggilan jarak jauh ke LLM. Fungsi yang dioptimalkan mengatasi masalah latensi ini dengan menggunakan model proxy yang lebih kecil dan dilatih secara lokal (seperti model regresi logistik) untuk memproses kueri Anda. Model ini dilatih menggunakan sampel data Anda, dengan output LLM sebagai sumber kebenaran.

Anda dapat mengonfigurasi pemeriksaan akurasi yang akan dilakukan saat runtime menggunakan flag google_ml_integration.proxy_models_enable_accuracy_check, yang ditetapkan ke off secara default. Pemeriksaan akurasi mengevaluasi sampel baris dari kueri menggunakan LLM dasar untuk memastikan bahwa akurasi memenuhi nilai minimum yang ditentukan oleh flag google_ml_integration.proxy_models_f1_score_threshold. Jika pemeriksaan akurasi gagal, kueri akan kembali menggunakan LLM (atau menampilkan error jika penggantian dinonaktifkan).

Alur kerja fungsi AI yang dioptimalkan

Saat Anda menggunakan fungsi AI yang dioptimalkan dan menetapkan flag google_ml_integration.proxy_models_enable_accuracy_check ke true, AlloyDB akan melakukan hal berikut.

  1. Menjadwalkan pelatihan: Saat Anda menjalankan kueri yang berisi fungsi ai.if() pada tabel, AlloyDB akan otomatis menjadwalkan pelatihan model proxy ringan di latar belakang.

  2. Menggunakan LLM sebagai pengganti: Saat model proxy sedang dilatih, atau jika model proxy tidak tersedia, AlloyDB akan menggunakan LLM jarak jauh sebagai pengganti untuk mengevaluasi kueri (kecuali jika penggantian dinonaktifkan).

  3. Menjalankan kueri yang dioptimalkan: Setelah model dilatih, AlloyDB menggunakan model proxy terlatih untuk memproses kueri berikutnya secara lokal, sehingga mempercepat performa.

Diagram berikut menunjukkan alur logika untuk memproses kueri dengan fungsi AI yang dioptimalkan:

Diagram alur fungsi AI yang dioptimalkan

Sebelum memulai

Sebelum Anda menggunakan fungsi AI yang dioptimalkan, lakukan hal berikut:

Menjalankan kueri yang dioptimalkan

Ikuti contoh ini untuk menjalankan pernyataan SELECT standar dengan fungsi ai.if():

  1. Buat tabel restaurant_reviews. Kolom review yang menyimpan data sumber berjenis TEXT, dan kolom review_embedding yang digunakan untuk kueri berjenis VECTOR(768).

    CREATE TABLE restaurant_reviews (
        id SERIAL,
        name VARCHAR(64),
        city VARCHAR(64),
        review TEXT,
        review_embedding VECTOR(768)
    );
    

  2. Buat embedding vektor untuk data sumber menggunakan prosedur ai.initialize_embeddings():

    CALL ai.initialize_embeddings(
        model_id => 'text-embedding-005',
        table_name => 'restaurant_reviews',
        content_column => 'review',
        embedding_column => 'review_embedding'
    );
    

    Pembuatan embedding diperlukan karena fungsi AI yang dioptimalkan mengandalkan embedding vektor sebagai input fitur untuk melatih dan mengevaluasi model proxy ringan. Alih-alih mengirim teks mentah ke LLM jarak jauh untuk setiap baris, model proxy melakukan inferensi lokal yang cepat langsung pada representasi vektor. Jika embedding tidak dibuat, AlloyDB tidak dapat melatih model proxy dan akan kembali mengevaluasi semua baris dengan LLM jarak jauh.

    Perhatikan persyaratan penyematan berikut:

    • Output ai.if() dievaluasi ke NULL jika kolom embedding berisi nilai NULL. Pelatihan dan inferensi model memerlukan embedding yang valid.
    • Fungsi ai.if() menampilkan error jika dimensi embedding kueri tidak cocok dengan dimensi yang disimpan dalam model proxy terlatih.

    Untuk mengetahui informasi selengkapnya tentang opsi embedding dan refresh inkremental, lihat Membuat dan mengelola embedding vektor otomatis untuk tabel besar.

  3. Jalankan pernyataan SELECT dengan fungsi ai.if(). Kueri ini secara otomatis menjadwalkan pelatihan model proxy untuk fungsi AI yang dioptimalkan di latar belakang:

    SELECT r.name, r.city
    FROM restaurant_reviews r
    WHERE ai.if('Is the following a positive review? Review: ' || r.review, r.review_embedding, 'gemini-3.5-flash-lite')
    GROUP BY r.name, r.city
    HAVING COUNT(*) > 500;
    

    Eksekusi kueri pertama memicu pelatihan secara asinkron. Saat model proxy dilatih, jika flag google_ml_integration.proxy_models_enable_llm_fallback ditetapkan ke on (default), AlloyDB akan kembali mengevaluasi kueri dengan LLM jarak jauh dan menampilkan peringatan bahwa fungsi AI yang dioptimalkan belum tersedia. Jika google_ml_integration.proxy_models_enable_llm_fallback ditetapkan ke off, kueri akan menampilkan error, bukan kembali ke setelan default.

    Kueri berikutnya yang cocok dengan ekspresi konten (content_expr), kolom embedding, dan tabel yang sama akan menggunakan model proxy terlatih untuk akselerasi. Memperbarui nilai baris, menghapus baris, atau menambahkan data ke tabel tidak akan menyebabkan AlloyDB beralih ke LLM. Model proxy terus memproses data secara lokal, dan pergeseran data diatasi dengan pelatihan ulang latar belakang secara berkala.

    Model proxy diidentifikasi secara unik oleh jenis fungsi, OID tabel, ekspresi konten, dan kolom embedding (func_type, table_oid, content_expr, embedding_column). Dengan arsitektur ini, Anda dapat berbagi model di berbagai kueri SQL selama input ke ai.if() tetap tidak berubah.

    AlloyDB tidak menggunakan model proxy yang ada, melainkan memulai pelatihan latar belakang untuk model proxy baru dan beralih ke LLM jarak jauh (tunduk pada flag google_ml_integration.proxy_models_enable_llm_fallback), dalam skenario berikut:

    • Ekspresi CONTENT di dalam ai.if() berubah (misalnya, string perintah atau ekspresi kolom yang digabungkan diubah).
    • Nama EMBEDDING_COLUMN di dalam ai.if() berubah.
    • Perubahan parameter llm_model_id.
    • Jika pemeriksaan akurasi runtime diaktifkan, dan model proxy gagal dalam pemeriksaan akurasi di awal kueri.

Pelatihan online dan eksekusi pemblokiran

AlloyDB mendukung alur kerja pelatihan online untuk fungsi yang dioptimalkan, yang dikontrol oleh flag database google_ml_integration.proxy_models_enable_online_training. Secara default, flag ini ditetapkan ke off.

Jika flag ini diaktifkan dan fungsi ai.if() yang tidak terlatih dijalankan, kueri akan memicu proses pelatihan dan menggunakan eksekusi pemblokiran. Kueri awal secara aktif memblokir dan menunggu pelatihan model proxy latar belakang selesai sebelum melanjutkan. Hal ini memastikan kueri segera menggunakan model proxy yang dioptimalkan, sehingga menghindari biaya inferensi LLM jarak jauh pada eksekusi awal.

Durasi maksimum kueri memblokir dan menunggu pelatihan online selesai dikontrol oleh flag google_ml_integration.proxy_models_training_wait_timeout (dalam detik, defaultnya adalah 60). Jika pelatihan tidak selesai dalam interval ini, kueri akan kehabisan waktu atau beralih ke setelan penggantian Anda.

Untuk mengaktifkan pelatihan online:

-- Enable online training (blocking execution)
SET google_ml_integration.proxy_models_enable_online_training = on;

-- Set the maximum wait timeout in seconds (default is 60)
SET google_ml_integration.proxy_models_training_wait_timeout = 30;

Mengonfigurasi penggantian LLM jarak jauh

Secara default, penggantian ke LLM jarak jauh diaktifkan. Jika model proxy tidak dilatih, sedang dilatih, atau gagal dalam pemeriksaan akurasi, kueri akan beralih kembali ke LLM jarak jauh dan dikenai biaya Agent Platform API standar.

Anda dapat mengonfigurasi perilaku penggantian menggunakan flag database google_ml_integration.proxy_models_enable_llm_fallback:

  • Jika penggantian diaktifkan (on, default): Jika model proxy tidak tersedia, AlloyDB akan mengevaluasi kueri menggunakan LLM jarak jauh dan menampilkan peringatan:

    WARNING: Optimized AI Function is unavailable. Expect reduced performance.
    
  • Jika penggantian dinonaktifkan (off): Jika model proxy tidak tersedia atau gagal dalam validasi akurasi, kueri akan langsung memunculkan error, bukan memanggil LLM jarak jauh:

    ERROR: Optimized AI Function: Optimized model fallback to LLM prevented by GUC google_ml_integration.proxy_models_enable_llm_fallback
    

Untuk menonaktifkan penggantian LLM untuk sesi saat ini:

SET google_ml_integration.proxy_models_enable_llm_fallback = off;

Untuk menonaktifkan penggantian LLM untuk seluruh database:

ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_llm_fallback = off;

Ganti DATABASE_NAME dengan nama database Anda.

Mengonfigurasi pemeriksaan akurasi runtime

Pemeriksaan akurasi runtime mengevaluasi sampel baris dari kueri menggunakan LLM jarak jauh untuk memastikan model proxy memenuhi persyaratan akurasi dasar pengukuran sebelum dieksekusi.

Pemeriksaan akurasi dikontrol oleh flag database google_ml_integration.proxy_models_enable_accuracy_check (dinonaktifkan secara default).

Untuk mengaktifkan pemeriksaan akurasi untuk sesi saat ini:

SET google_ml_integration.proxy_models_enable_accuracy_check = on;

Untuk menonaktifkan pemeriksaan akurasi untuk sesi saat ini:

SET google_ml_integration.proxy_models_enable_accuracy_check = off;

Untuk mengaktifkan pemeriksaan akurasi untuk seluruh database:

ALTER DATABASE DATABASE_NAME SET google_ml_integration.proxy_models_enable_accuracy_check = on;

Melihat model proxy yang ada

Untuk memeriksa model proxy yang ada, memeriksa status pelatihannya, dan meninjau metadata modelnya, buat kueri tabel virtual google_ml.optimized_functions_view (atau aliasnya dalam skema ai, ai.optimized_functions_view):

sql SELECT * FROM ai.optimized_functions_view;

Untuk deskripsi kolom dalam tabel virtual ini, lihat tabel virtual ai.optimized_functions_view.

Anda dapat memfilter tampilan ini menurut table_name atau status untuk memverifikasi apakah model telah menyelesaikan pelatihan (READY), atau untuk mengidentifikasi nilai content_expr dan embedding_column yang tepat yang diperlukan untuk pelatihan ulang manual.

Melatih ulang dan mengelola model proxy

Model proxy dilatih berdasarkan data yang ada dalam tabel Anda pada saat pelatihan awal. Jika data yang lebih baru ditambahkan ke tabel, atau jika baris diubah atau dihapus, model proxy mungkin akan menjadi usang seiring waktu. Untuk mempertahankan akurasi seiring perubahan data, model proxy dapat dilatih ulang secara otomatis secara berkala di latar belakang atau secara manual sesuai permintaan.

Pelatihan ulang latar belakang berkala

Pada instance dengan 32 vCPU atau lebih dengan setelan konfigurasi default, AlloyDB dapat melatih ulang model proxy secara berkala di latar belakang.

Pelatihan ulang berkala dikontrol oleh flag database berikut:

Pelatihan ulang manual

Anda dapat melatih ulang model proxy secara manual menggunakan fungsi dalam skema ai (atau yang setara dalam skema google_ml).

Melatih ulang semua model untuk tabel

Untuk melatih ulang semua model proxy yang terkait dengan tabel tertentu, atau untuk melatih ulang subset model yang difilter untuk tabel, panggil ai.retrain_optimized_models():

SELECT ai.retrain_optimized_models(
  table_name => 'restaurant_reviews',
  embedding_column => 'review_embedding', -- Optional
  content_expr => '(''Is the following a positive review? Review: ''::text || review)', -- Optional
  llm_model_id => 'LLM_MODEL_ID' -- Optional
);

Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_models().

Melatih ulang model tertentu berdasarkan ID model

Untuk melatih ulang model proxy tertentu menggunakan ID model uniknya, panggil ai.retrain_optimized_model() dengan parameter model_id:

SELECT ai.retrain_optimized_model(model_id => 'MODEL_ID');

Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_model().

Melatih ulang model tertentu berdasarkan parameter pelatihan model

Untuk melatih ulang model proxy tertentu menggunakan nama tabel, ekspresi konten, dan kolom embedding-nya, panggil ai.retrain_optimized_model():

SELECT ai.retrain_optimized_model(
  table_name => 'restaurant_reviews',
  embedding_column => 'review_embedding',
  content_expr => '(''Is the following a positive review? Review: ''::text || review)',
  llm_model_id => 'LLM_MODEL_ID' -- Optional
);

Untuk deskripsi parameter, lihat fungsi ai.retrain_optimized_model().

Menghapus model proxy

Anda dapat menghapus model proxy satu per satu atau semua model menggunakan fungsi berikut. Operasi ini harus dilakukan oleh pengguna dengan hak istimewa alloydbsuperuser, atau dengan izin yang diberikan oleh administrator.

Untuk menemukan model_id internal yang diperlukan untuk menghapus model proxy tertentu, buat kueri tabel google_ml.proxy_models_expr_mapping:

SELECT model_id, table_oid::regclass, content_expr
FROM google_ml.proxy_models_expr_mapping;
-- Delete a specific proxy model
SELECT ai.delete_optimized_model('com_if_12345_67890');

-- Delete all proxy models and stop the background automated retraining job
CALL ai.delete_all_optimized_models();

Memantau

Anda dapat memantau tugas pelatihan worker latar belakang dan memeriksa status operasional model.

Memeriksa status dan histori pelatihan model

Untuk memverifikasi apakah model proxy telah menyelesaikan pelatihan, gagal, atau sedang dalam proses pelatihan ulang, buat kueri ai.optimized_functions_view:

SELECT table_name, content_expr, status, last_trained_at, training_duration
FROM ai.optimized_functions_view;

Kolom status menunjukkan status operasional model saat ini dan memberikan nilai berikut:

  • READY: Model proxy berhasil menyelesaikan pelatihan dan siap mempercepat kueri yang masuk.
  • UNTRAINED: Model telah didaftarkan atau dijadwalkan, tetapi pelatihan latar belakang belum selesai. Jika pelatihan latar belakang awal gagal, model akan tetap dalam status UNTRAINED dan kueri akan kembali ke LLM jarak jauh (atau error jika penggantian dinonaktifkan).
  • RETRAINING_IN_PROGRESS: Pelatihan ulang latar belakang sedang berlangsung.
  • RETRAINING_FAILED: Pelatihan ulang manual atau latar belakang terbaru gagal. Dalam sebagian besar skenario, jika bobot model pra-pelatihan ulang ada, AlloyDB akan terus menggunakan bobot model yang ada tersebut untuk inferensi. Jika bobot model yang ada tidak tersedia (atau jika pemeriksaan akurasi runtime gagal), AlloyDB akan kembali mengevaluasi kueri menggunakan LLM jarak jauh (tunduk pada google_ml_integration.proxy_models_enable_llm_fallback) hingga model berhasil dilatih ulang.

Untuk mengetahui informasi selengkapnya tentang semua kolom yang tersedia dalam tampilan ini, lihat Melihat model proxy yang ada.

Batasan

  • Fungsi AI yang dioptimalkan hanya mendukung fungsi ai.if().
  • Pelatihan ulang otomatis latar belakang berkala untuk model proxy tidak didukung pada instance database dengan kurang dari 32 vCPU.
  • Keamanan tingkat baris (RLS): Model yang dilatih pada tabel menggunakan kebijakan keamanan tingkat baris (RLS) dapat membocorkan informasi keamanan dengan melatih di bawah izin pengguna yang memulai tertentu. Pelatihan model proxy pada tabel dengan kebijakan RLS dinonaktifkan.
  • Modifikasi input: Jika Anda mengubah kolom konten sumber, kolom embedding, string perintah, atau ID model LLM dasar yang diberikan ke ai.if(), model proxy yang ada akan diabaikan dan permintaan pelatihan latar belakang baru akan dimulai untuk kombinasi tersebut.
  • Batasan SQL:
    • Kueri harus berisi klausa FROM yang valid.
    • Semua argumen untuk fungsi AI harus berasal dari alias tabel yang sama.
    • Sertakan kolom dalam ekspresi ai.if() sebagai kolom sumber untuk embedding.
    • Jangan tempatkan fungsi ai.if() di dalam subkueri atau ekspresi tabel umum (CTE).

Langkah berikutnya