Registra e chiama i modelli di IA remoti nella panoramica di AlloyDB

La gestione degli endpoint dei modelli in AlloyDB per PostgreSQL consente di registrare modelli di AI remoti, gestire i metadati dei modelli nel cluster di database e richiamare previsioni o generare embedding utilizzando query SQL. Comprendere gli schemi di gestione degli endpoint dei modelli, i provider di modelli supportati, i metodi di autenticazione e i tipi di funzioni SQL ti aiuta a integrare i foundation model e gli endpoint personalizzati con i workload del tuo database.

Per registrare gli endpoint dei modelli remoti con AlloyDB Omni, consulta Registra e chiama modelli di AI remoti in AlloyDB Omni.

Panoramica

La gestione degli endpoint dei modelli è una funzionalità di AlloyDB AI che include funzioni e operatori che ti aiutano a registrare e gestire i metadati dei modelli di AI. Puoi registrare un endpoint del modello, gestire i metadati dell'endpoint del modello nel cluster del database ed effettuare chiamate agli endpoint del modello remoto utilizzando query SQL.

La gestione degli endpoint del modello fornisce l'estensione google_ml_integration che include funzioni che ti consentono di registrare i metadati relativi ai modelli di AI con AlloyDB. Questi metadati registrati vengono utilizzati per generare vector embedding o richiamare previsioni.

Le funzioni AI includono una suite di funzioni basate sulla gestione degli endpoint dei modelli (anteprima) e aggiungono il supporto per gli operatori AI che consentono di combinare frasi in linguaggio naturale con query SQL, come ai.if() per filtri e join, ai.rank() per l'ordinamento e ai.generate() per la generazione di riepiloghi dei dati. Inoltre, aggiunge il supporto per i modelli multimodali e di ranking di Gemini Enterprise Agent Platform.

Di seguito sono riportati alcuni esempi di tipi di modelli che puoi registrare utilizzando la gestione degli endpoint dei modelli:

  • Modelli generici e di text embedding Agent Platform
  • Modello multimodale Agent Platform
  • Modelli di ranking di Agent Platform
  • Modelli di embedding forniti da provider di terze parti, come Hugging Face o OpenAI
  • Modelli di text embedding ospitati dal cliente, inclusi i modelli in self-hosting o i modelli disponibili tramite endpoint privati
  • Modelli generici con un'API basata su JSON, ad esempio il modello facebook/bart-large-mnli ospitato su Hugging Face, il modello gemini-3.5-flash-lite di Model Garden o i modelli claude di Anthropic

Casi d'uso

Puoi chiamare gli endpoint del modello registrato per interagire con i dati esistenti nel database per generare embedding o previsioni. Di seguito sono riportati alcuni casi d'uso dell'applicazione:

  • Inferenza in tempo reale con l'applicazione di transazione: fornisce consigli in tempo reale in base alla cronologia di navigazione corrente dell'utente e ai contenuti nel carrello.
  • Identifica il sentiment e genera riepiloghi: per un database di recensioni dei clienti, genera riepiloghi o identifica il sentiment chiave per ogni recensione.
  • Sistemi di ricerca e recupero intelligenti: crea sistemi di ricerca per un database di knowledge base interna ed esegui query utilizzando operatori SQL basati sull'AI anziché parole chiave.
  • Esperienze utente personalizzate: ottimizza una piattaforma di contenuti per personalizzare dinamicamente i contenuti mostrati a ciascun utente in base alle sue interazioni passate.

Per ulteriori informazioni sui casi d'uso di AlloyDB AI, consulta Casi d'uso di AlloyDB AI.

Come funziona

Puoi utilizzare la gestione degli endpoint del modello per registrare un endpoint del modello conforme a quanto segue:

  • L'input e l'output del modello supportano il formato JSON.
  • Il modello può essere chiamato utilizzando il protocollo REST.

Quando registri un endpoint del modello con la gestione degli endpoint del modello, ogni endpoint viene registrato con un ID modello univoco che hai fornito come riferimento al modello.

Puoi utilizzare l'ID endpoint del modello per eseguire query sui modelli per:

  • Generare embedding per tradurre i prompt di testo in vettori numerici. Puoi memorizzare gli embedding generati come dati vettoriali quando l'estensione vector è abilitata nel database. Per maggiori informazioni, consulta Query e indici di embedding con pgvector.

  • Generare embedding multimodali per tradurre dati multimodali come testo, immagini e video in embedding. (Anteprima)

  • Classifica o assegna un punteggio a un elenco di elementi in una query in base a un criterio indicato utilizzando il linguaggio naturale.

  • Richiama le previsioni utilizzando SQL.

Concetti fondamentali

Prima di iniziare a utilizzare la gestione degli endpoint dei modelli, scopri i concetti necessari per connetterti ai modelli e utilizzarli.

Schemi

Le tue applicazioni possono accedere alla gestione degli endpoint del modello utilizzando l'estensione google_ml_integration. L'estensione google_ml_integration include funzioni nello schema public, google_ml e ai. Tutte le funzioni sono incluse nello schema google_ml e alcune funzioni sono disponibili negli schemi public e ai.

Per saperne di più sugli schemi, consulta Schemi.

Provider del modello

Provider del modello indica i provider host dei modelli supportati. L'impostazione del provider del modello è facoltativa, ma semplifica la gestione degli endpoint del modello identificando il provider e formattando automaticamente le intestazioni per i modelli supportati.

Per saperne di più sul provider del modello, consulta Provider del modello.

Tipo di modello

Model type indica il tipo di modello di AI. L'estensione supporta il text embedding, l'embedding multimodale, il modello linguistico di grandi dimensioni (LLM), il reranking, la previsione di serie temporali e i tipi di modelli generici. I tipi di modelli supportati che puoi impostare durante la registrazione di un endpoint del modello sono text_embedding, generic, llm, reranking, multimodal_embedding e ts_forecasting.

L'impostazione del tipo di modello è facoltativa quando registri gli endpoint dei modelli generici, poiché generic è il tipo di modello predefinito.

Per saperne di più sul tipo di modello, consulta Tipo di modello.

Autenticazione

I tipi di autenticazione indicano il tipo di autenticazione che puoi utilizzare per connetterti alla gestione degli endpoint del modello utilizzando l'estensione google_ml_integration. L'impostazione dell'autenticazione è facoltativa ed è obbligatoria solo se devi autenticarti per accedere al modello.

Per saperne di più sull'autenticazione, consulta Autenticazione.

Funzioni di previsione

Le funzioni di previsione sono funzioni SQL che ti consentono di interagire con i modelli di AI dal database AlloyDB. Queste funzioni ti consentono di utilizzare query SQL standard per inviare dati a un endpoint del modello e generare embedding o previsioni.

Per saperne di più sulle funzioni di previsione, consulta Funzioni di previsione.

Funzioni degli operatori

L'estensione google_ml_integration include le seguenti funzioni operatore, che utilizzano Gemini predefinito per eseguire query utilizzando operatori SQL basati sull'AI.

Per saperne di più sulle funzioni degli operatori, consulta Funzioni degli operatori.

Funzioni di trasformazione

Le funzioni di trasformazione modificano l'input in un formato comprensibile per il modello e convertono la risposta del modello nel formato previsto dalla funzione di previsione. Le funzioni di trasformazione vengono utilizzate quando si registra l'endpoint del modello text_embedding senza supporto integrato. La firma delle funzioni di trasformazione dipende dall'input previsto dal modello.

Per saperne di più sulle funzioni di trasformazione, consulta Funzioni di trasformazione.

Funzione di generazione delle intestazioni HTTP

La funzione di generazione delle intestazioni HTTP genera l'output in coppie chiave-valore JSON che vengono utilizzate come intestazioni HTTP. La firma della funzione di previsione definisce le firme della funzione di generazione delle intestazioni.

Per saperne di più sulla funzione di generazione delle intestazioni HTTP, consulta Funzione di generazione delle intestazioni HTTP.

Passaggi successivi