Mendaftarkan dan memanggil model AI jarak jauh di ringkasan AlloyDB

Pengelolaan endpoint model di AlloyDB untuk PostgreSQL memungkinkan Anda mendaftarkan model AI jarak jauh, mengelola metadata model di cluster database, dan memanggil prediksi atau membuat embedding menggunakan kueri SQL. Memahami skema pengelolaan endpoint model, penyedia model yang didukung, metode autentikasi, dan jenis fungsi SQL akan membantu Anda mengintegrasikan model dasar dan endpoint kustom dengan workload database Anda.

Untuk mendaftarkan endpoint model jarak jauh dengan AlloyDB Omni, lihat Mendaftarkan dan memanggil model AI jarak jauh di AlloyDB Omni.

Ringkasan

Pengelolaan endpoint model adalah fitur AI AlloyDB yang mencakup fungsi dan operator yang membantu Anda mendaftarkan dan mengelola metadata model AI. Anda dapat mendaftarkan endpoint model, mengelola metadata endpoint model di cluster database, dan melakukan panggilan ke endpoint model jarak jauh menggunakan kueri SQL.

Pengelolaan endpoint model menyediakan ekstensi google_ml_integration yang mencakup fungsi yang memungkinkan Anda mendaftarkan metadata terkait model AI ke AlloyDB. Metadata terdaftar ini digunakan untuk membuat embedding vektor atau memanggil prediksi.

Fungsi AI mencakup rangkaian fungsi yang dibuat berdasarkan pengelolaan endpoint model (Pratinjau), dan menambahkan dukungan untuk operator AI yang memungkinkan Anda menggabungkan frasa bahasa alami dengan kueri SQL, seperti ai.if() untuk filter dan gabungan, ai.rank() untuk pengurutan, dan ai.generate() untuk membuat ringkasan data Anda. Alat ini juga menambahkan dukungan untuk model multimodal dan peringkat Gemini Enterprise Agent Platform.

Beberapa contoh jenis model yang dapat Anda daftarkan menggunakan pengelolaan endpoint model adalah sebagai berikut:

  • Model embedding teks dan model generik Agent Platform
  • Model Multimodal Agent Platform
  • Model peringkat Agent Platform
  • Model embedding yang disediakan oleh penyedia pihak ketiga, seperti Hugging Face atau OpenAI
  • Model embedding teks yang dihosting pelanggan, termasuk model yang dihosting sendiri atau model yang tersedia melalui endpoint pribadi
  • Model generik dengan API berbasis JSON—misalnya, model facebook/bart-large-mnli yang dihosting di Hugging Face, model gemini-3.5-flash-lite dari Model Garden, atau model claude dari Anthropic

Kasus penggunaan

Anda dapat memanggil endpoint model terdaftar untuk berinteraksi dengan data yang ada di database Anda guna menghasilkan embedding atau prediksi. Beberapa kasus penggunaan aplikasi adalah sebagai berikut:

  • Inferensi real-time dengan aplikasi transaksi: memberikan rekomendasi real-time berdasarkan histori penjelajahan pengguna saat ini dan konten dalam keranjang.
  • Mengidentifikasi sentimen dan membuat ringkasan: untuk database ulasan pelanggan, membuat ringkasan atau mengidentifikasi sentimen utama untuk setiap ulasan.
  • Sistem penelusuran dan pengambilan yang cerdas: membangun sistem penelusuran untuk database pusat informasi internal, dan membuat kueri menggunakan operator SQL yang didukung AI, bukan kata kunci.
  • Pengalaman pengguna yang dipersonalisasi: mengoptimalkan platform konten untuk mempersonalisasi secara dinamis konten yang ditampilkan kepada setiap pengguna berdasarkan interaksi mereka sebelumnya.

Untuk mengetahui informasi selengkapnya tentang kasus penggunaan AlloyDB AI, lihat Kasus penggunaan AlloyDB AI.

Cara kerjanya

Anda dapat menggunakan pengelolaan endpoint model untuk mendaftarkan endpoint model yang mematuhi hal berikut:

  • Input dan output model mendukung format JSON.
  • Model dapat dipanggil menggunakan protokol REST.

Saat Anda mendaftarkan endpoint model dengan pengelolaan endpoint model, setiap endpoint akan didaftarkan dengan ID model unik yang Anda berikan sebagai referensi ke model tersebut.

Anda dapat menggunakan ID endpoint model untuk mengkueri model guna melakukan hal berikut:

  • Membuat embedding untuk menerjemahkan perintah teks menjadi vektor numerik. Anda dapat menyimpan embedding yang dihasilkan sebagai data vektor saat ekstensi vector diaktifkan dalam database. Untuk mengetahui informasi selengkapnya, lihat Mengkueri dan mengindeks embedding dengan pgvector.

  • Membuat embedding multimodal untuk menerjemahkan data multimodal seperti teks, gambar, dan video ke embedding. (Pratinjau)

  • Memberi peringkat atau skor pada daftar item dalam kueri berdasarkan kriteria yang dinyatakan menggunakan bahasa alami.

  • Memanggil prediksi menggunakan SQL.

Konsep utama

Sebelum Anda mulai menggunakan pengelolaan endpoint model, pahami konsep yang diperlukan untuk terhubung ke dan menggunakan model.

Skema

Aplikasi Anda dapat mengakses pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Ekstensi google_ml_integration mencakup fungsi dalam skema public, google_ml, dan ai. Semua fungsi disertakan dalam skema google_ml, dan fungsi tertentu tersedia dalam skema public dan ai.

Untuk mengetahui informasi selengkapnya tentang skema, lihat Skema.

Penyedia model

Penyedia model menunjukkan penyedia hosting model yang didukung. Menetapkan penyedia model bersifat opsional, tetapi membantu pengelolaan endpoint model dengan mengidentifikasi penyedia, dan otomatis memformat header untuk model yang didukung.

Untuk mengetahui informasi selengkapnya tentang penyedia model, lihat Penyedia model.

Jenis model

Jenis model menunjukkan jenis model AI. Ekstensi ini mendukung embedding teks, embedding multimodal, model bahasa besar (LLM), pengurutan ulang, perkiraan deret waktu, dan jenis model generik. Jenis model yang didukung yang dapat Anda tetapkan saat mendaftarkan endpoint model adalah text_embedding, generic, llm, reranking, multimodal_embedding, dan ts_forecasting.

Menetapkan jenis model bersifat opsional saat mendaftarkan endpoint model generik karena generic adalah jenis model default.

Untuk mengetahui informasi selengkapnya tentang jenis model, lihat Jenis model.

Autentikasi

Jenis autentikasi menunjukkan jenis autentikasi yang dapat Anda gunakan untuk terhubung ke pengelolaan endpoint model menggunakan ekstensi google_ml_integration. Menyetel autentikasi bersifat opsional dan hanya diperlukan jika Anda perlu melakukan autentikasi untuk mengakses model.

Untuk mengetahui informasi selengkapnya tentang autentikasi, lihat Autentikasi.

Fungsi prediksi

Fungsi prediksi adalah fungsi SQL yang memungkinkan Anda berinteraksi dengan model AI dari dalam database AlloyDB. Fungsi ini memungkinkan Anda menggunakan kueri SQL standar untuk mengirim data ke endpoint model dan membuat embedding atau prediksi.

Untuk mengetahui informasi selengkapnya tentang fungsi prediksi, lihat Fungsi prediksi.

Fungsi operator

Ekstensi google_ml_integration menyertakan fungsi operator berikut, yang menggunakan Gemini default untuk membuat kueri menggunakan operator SQL yang didukung AI.

Untuk mengetahui informasi selengkapnya tentang fungsi operator, lihat Fungsi operator.

Fungsi transformasi

Fungsi transformasi mengubah input menjadi format yang dipahami model, dan mengonversi respons model ke format yang diharapkan oleh fungsi prediksi. Fungsi transformasi digunakan saat mendaftarkan endpoint model text_embedding tanpa dukungan bawaan. Signature fungsi transformasi bergantung pada input yang diharapkan oleh model.

Untuk mengetahui informasi selengkapnya tentang fungsi transformasi, lihat Fungsi transformasi.

Fungsi pembuatan header HTTP

Fungsi pembuatan header HTTP menghasilkan output dalam key-value pair JSON yang digunakan sebagai header HTTP. Tanda tangan fungsi prediksi menentukan tanda tangan fungsi pembuat header.

Untuk mengetahui informasi selengkapnya tentang fungsi pembuatan header HTTP, lihat Fungsi pembuatan header HTTP.

Langkah berikutnya