Generazione automatica di embedding

Questo documento descrive come utilizzare la generazione automatica di embedding per i tuoi dati, che consente a BigQuery di gestire una colonna di embedding in una tabella in base a una colonna di origine. La colonna di origine deve avere un tipo di dati STRING o ObjectRef. Quando aggiungi o modifichi i dati nella colonna di origine, BigQuery genera o aggiorna automaticamente la colonna di embedding per questi dati utilizzando un modello di embedding di Agent Platform. Questa funzionalità è utile se vuoi consentire a BigQuery di gestire gli embedding quando i dati di origine vengono aggiornati regolarmente.

Gli embedding sono utili per le moderne applicazioni di AI generativa come la Retrieval Augmented Generation (RAG), ma possono essere complessi da creare, gestire ed eseguire query. Puoi utilizzare la generazione automatica di embedding per semplificare il processo di creazione, gestione ed esecuzione di query sugli embedding da utilizzare nelle ricerche di somiglianza e in altre applicazioni di AI generativa.

Ad esempio, puoi utilizzare query simili alle seguenti per creare una tabella con la generazione automatica di embedding abilitata, inserire i dati ed eseguire una ricerca semantica:

CREATE TABLE mydataset.products (
  name STRING,
  description STRING,
  description_embedding STRUCT<result ARRAY<FLOAT64>, status STRING>
    GENERATED ALWAYS AS (
      AI.EMBED(description, connection_id => 'us.example_connection',
        endpoint => 'text-embedding-005')
      # Alternatively, you can use the syntax for a built-in model.
      # AI.EMBED(description, model => 'embeddinggemma-300m')
    ) STORED OPTIONS( asynchronous = TRUE ));

# Values in the description_embedding column are automatically generated.
INSERT INTO mydataset.products (name, description) VALUES
  ('Super slingers', 'An exciting board game for the whole family'), ...;

SELECT * FROM AI.SEARCH(TABLE mydataset.products, 'description', 'A really fun toy');

Prima di iniziare

Per abilitare la generazione automatica di embedding in una tabella, devi disporre delle autorizzazioni e della connessione necessarie e abilitare l'API Vertex AI per il tuo progetto.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per abilitare la generazione automatica di embedding, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per utilizzare una risorsa di connessione: Utente connessioni BigQuery (roles/bigquery.connectionUser) nella connessione
• Per creare o modificare una tabella: Editor dati BigQuery (roles/bigquery.dataEditor) nella tabella
• Concedi al account di servizio della connessione il seguente ruolo in modo che possa accedere ai modelli ospitati negli endpoint di Agent Platform: Utente Agent Platform (roles/aiplatform.user) nel progetto che ha la connessione

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Crea una connessione e concedi l'autorizzazione a un account di servizio

Per abilitare la generazione autonoma di embedding in una tabella, devi creare una connessione alle risorse Cloud. Quindi, concedi il ruolo Utente Agent Platform (roles/aiplatform.user) al account di servizio creato quando hai creato la connessione.

Crea una colonna di embedding generata automaticamente

Puoi creare una colonna di embedding generata automaticamente all'interno di una nuova tabella o aggiungerne una a una tabella esistente.

Crea una tabella con una colonna di embedding generata automaticamente

Puoi utilizzare la generazione automatica di embedding per generare embedding utilizzando la AI.EMBED funzione in un' CREATE TABLE istruzione.

SQL

Utilizza un'istruzione CREATE TABLE per creare una tabella con una colonna di embedding generata automaticamente. Per creare la tabella:

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione:

   CREATE TABLE DATASET_ID.TABLE (
     [COLUMN, ...]
     SOURCE_COL { STRING | ObjectRef },
     EMBEDDING_COL_NAME STRUCT<result ARRAY<FLOAT64>, status STRING>
       GENERATED ALWAYS AS (
         AI.EMBED(
           SOURCE_COL,
           {
             connection_id => CONNECTION_ID,
             endpoint => ENDPOINT |
             model => MODEL
           })
       )
       STORED OPTIONS (asynchronous = TRUE)
   );

   Sostituisci quanto segue:

   • DATASET_ID: il nome del set di dati in cui vuoi creare la tabella.
   • TABLE: il nome della tabella su cui creare la generazione automatica di embedding.
   • COLUMN, ...: tutte le colonne che la tabella deve contenere oltre alla colonna di cui vuoi eseguire automaticamente l'embedding.
   • SOURCE_COL: il nome della colonna STRING o ObjectRef di cui vuoi eseguire automaticamente l'embedding.
   • EMBEDDING_COL_NAME: il nome della colonna di embedding generata automaticamente.
   • CONNECTION_ID: un valore STRING che contiene il nome di una connessione da utilizzare, ad esempio my_project.us.example_connection. Devi concedere il ruolo Utente Agent Platform al account di servizio della connessione nel progetto in cui crei la tabella.
   • ENDPOINT: un valore STRING che specifica un endpoint del modello di text embedding di Agent Platform supportato da utilizzare per il modello di text embedding. Il valore dell'endpoint specificato deve includere la versione del modello, ad esempio text-embedding-005. Se specifichi il nome del modello anziché un URL, BigQuery ML identifica automaticamente il modello e utilizza l'endpoint completo del modello.
   • MODEL (Anteprima): un valore STRING che specifica un modello di text embedding integrato. L'unico valore supportato è il embeddinggemma-300m modello. Se specifichi questo parametro, non puoi specificare i parametri endpoint o connection_id. Quando specifichi il parametro MODEL, i dati rimangono in BigQuery e gli slot vengono utilizzati per creare gli embedding. Nessun dato viene inviato ad Agent Platform e non vengono addebitati costi in Agent Platform.

3. Fai clic su Esegui.

Per saperne di più su come eseguire le query, consulta Esegui una query interattiva.

bq

Per creare una tabella con una colonna di embedding generata automaticamente utilizzando lo strumento a riga di comando bq, utilizza il comando bq mk con un file di schema JSON che definisce lo schema della tabella:

1. Crea un file di schema JSON. L'esempio seguente mostra uno schema che crea una colonna di embedding basata su una colonna di origine. Questo esempio utilizza un endpoint di Agent Platform per la generazione di embedding.

   [
     {
       "name": "SOURCE_COL",
       "type": "STRING"
     },
     {
       "fields": [
         {
           "mode": "REPEATED",
           "name": "result",
           "type": "FLOAT"
         },
         {
           "name": "status",
           "type": "STRING"
         }
       ],
       "generatedColumn": {
         "generationExpressionInfo": {
           "asynchronous": true,
           "generationExpression": "AI.EMBED(SOURCE_COL, connection_id => 'CONNECTION_ID', endpoint => 'ENDPOINT')",
           "stored": true
         },
         "generatedMode": "GENERATED_ALWAYS"
       },
       "name": "EMBEDDING_COL_NAME",
       "type": "RECORD"
     }
   ]
   

   Se utilizzi un modello integrato anziché un endpoint di Agent Platform, utilizza una sintassi simile alla seguente per generationExpression: "AI.EMBED(SOURCE_COL, model => 'MODEL')"

   Per informazioni sui valori da utilizzare, consulta le descrizioni di SOURCE_COL, EMBEDDING_COL_NAME, CONNECTION_ID, ENDPOINT e MODEL nella scheda SQL.

2. Salva lo schema in un file, ad esempio schema.json.

3. Crea la tabella utilizzando il comando bq mk --table:

   bq mk --table DATASET_ID.TABLE schema.json
   

Sostituisci quanto segue:

• DATASET_ID: il nome del set di dati in cui vuoi creare la tabella.
• TABLE: il nome della tabella su cui creare la generazione automatica di embedding.
• COLUMN, ...: tutte le colonne che la tabella deve contenere oltre alla colonna di cui vuoi eseguire automaticamente l'embedding.
• STRING_COL: il nome della colonna STRING di cui vuoi eseguire automaticamente l'embedding.
• EMBEDDING_COL_NAME: il nome della colonna di embedding generata automaticamente.
• CONNECTION_ID: un valore STRING che contiene il nome di una connessione da utilizzare, ad esempio my_project.us.example_connection. Devi concedere il ruolo Utente Agent Platform al account di servizio della connessione nel progetto in cui crei la tabella.
• ENDPOINT: un valore STRING che specifica un endpoint del modello di text embedding di Agent Platform supportato da utilizzare per il modello di text embedding. Il valore dell'endpoint specificato deve includere la versione del modello, ad esempio text-embedding-005. Se specifichi il nome del modello anziché un URL, BigQuery ML identifica automaticamente il modello e utilizza l'endpoint completo del modello.

• MODEL (Anteprima): un valore STRING che specifica un modello di text embedding integrato. L'unico valore supportato è il embeddinggemma-300m modello. Se specifichi questo parametro, non puoi specificare i parametri endpoint o connection_id.

  Quando specifichi il parametro MODEL, i dati rimangono in BigQuery e gli slot vengono utilizzati per creare gli embedding. Nessun dato viene inviato ad Agent Platform e non vengono addebitati costi in Agent Platform.

Aggiungi una colonna di embedding generata automaticamente a una tabella esistente

Puoi anche aggiungere una colonna di embedding generata automaticamente a una tabella esistente utilizzando un'istruzione ALTER TABLE ADD COLUMN.

SQL

Utilizza un'istruzione ALTER TABLE ADD COLUMN per aggiungere una colonna di embedding generata automaticamente a una tabella esistente. Per aggiungere la colonna:

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, inserisci la seguente istruzione:

   ALTER TABLE DATASET_ID.TABLE
     ADD COLUMN EMBEDDING_COL_NAME
       STRUCT<result ARRAY<FLOAT64>, status STRING>
       GENERATED ALWAYS AS (
         AI.EMBED(
           SOURCE_COL,
           {
             connection_id => CONNECTION_ID,
             endpoint => ENDPOINT |
             model => MODEL
           })
       )
       STORED OPTIONS (asynchronous = TRUE)
   ;

   Sostituisci quanto segue:

   • DATASET_ID: il nome del set di dati contenente la tabella.
   • TABLE: il nome della tabella a cui vuoi aggiungere la colonna di embedding generata automaticamente.
   • EMBEDDING_COL_NAME: il nome della colonna di embedding generata automaticamente.
   • SOURCE_COL: il nome della colonna STRING o ObjectRef di cui vuoi eseguire automaticamente l'embedding.
   • CONNECTION_ID: un valore STRING che contiene il nome di una connessione da utilizzare, ad esempio my_project.us.example_connection.
   • ENDPOINT: un valore STRING che specifica un endpoint del modello di text embedding di Agent Platform supportato da utilizzare per il modello di text embedding.
   • MODEL (Anteprima): un valore STRING che specifica un modello di text embedding integrato. L'unico valore supportato è il embeddinggemma-300m modello. Se specifichi questo parametro, non puoi specificare i parametri endpoint o connection_id. Quando specifichi il parametro MODEL, i dati rimangono in BigQuery e gli slot vengono utilizzati per creare gli embedding. Nessun dato viene inviato ad Agent Platform e non vengono addebitati costi in Agent Platform.

3. Fai clic su Esegui.

Per saperne di più su come eseguire le query, consulta Esegui una query interattiva.

bq

Per aggiungere una colonna di embedding generata automaticamente a una tabella esistente utilizzando lo strumento a riga di comando bq, utilizza il comando bq update con un file di schema JSON che definisce lo schema della tabella aggiornato:

1. Recupera lo schema attuale della tabella e salvalo in un file, ad esempio schema.json:

   bq show --schema --format=prettyjson DATASET_ID.TABLE > schema.json
   

2. Modifica schema.json per aggiungere la definizione della nuova colonna di embedding generata automaticamente. L'esempio seguente mostra la definizione di una colonna di embedding basata su una colonna di origine. Questo esempio utilizza un endpoint di Agent Platform per la generazione di embedding.

   [
     {
       "name": "SOURCE_COL",
       "type": "STRING"
     },
     {
       "fields": [
         {
           "mode": "REPEATED",
           "name": "result",
           "type": "FLOAT"
         },
         {
           "name": "status",
           "type": "STRING"
         }
       ],
       "generatedColumn": {
         "generationExpressionInfo": {
           "asynchronous": true,
           "generationExpression": "AI.EMBED(SOURCE_COL, connection_id => 'CONNECTION_ID', endpoint => 'ENDPOINT')",
           "stored": true
         },
         "generatedMode": "GENERATED_ALWAYS"
       },
       "name": "EMBEDDING_COL_NAME",
       "type": "RECORD"
     }
   ]
   

   Se utilizzi un modello integrato anziché un endpoint di Agent Platform, utilizza una sintassi simile alla seguente per generationExpression: "AI.EMBED(SOURCE_COL, model => 'MODEL')"

   Per informazioni sui valori da utilizzare, consulta le descrizioni di SOURCE_COL, EMBEDDING_COL_NAME, CONNECTION_ID, ENDPOINT e MODEL nella scheda SQL.

3. Aggiorna la tabella utilizzando il comando bq update --table:

   bq update --table DATASET_ID.TABLE schema.json
   

   Sostituisci quanto segue:

   • DATASET_ID: il nome del set di dati contenente la tabella.
   • TABLE: il nome della tabella a cui vuoi aggiungere la colonna di embedding generata automaticamente.

Il job di generazione di embedding in background inizia poco dopo la creazione o la modifica della tabella oppure dopo l'aggiornamento dei dati nella colonna di origine.

Per monitorare lo stato di avanzamento della generazione di embedding, puoi utilizzare una query simile alla seguente:

SELECT
  COUNT(*) AS total_num_rows,
  COUNTIF(description_embedding IS NOT NULL
          AND description_embedding.status = '') AS total_num_generated_embeddings
FROM
  PROJECT_ID.DATASET_ID.TABLE;

Dopo aver creato la tabella con gli embedding, puoi creare un indice vettoriale nella colonna STRUCT che contiene l'embedding generato automaticamente.

Esempio

Supponiamo che tu sia un grande rivenditore che vende molti prodotti diversi. Hai una tabella di nomi e descrizioni dei prodotti e vuoi aiutare i clienti a trovare i prodotti che stanno cercando. Le seguenti query mostrano come configurare la generazione automatica di embedding per facilitare la ricerca semantica delle descrizioni dei prodotti.

Innanzitutto, crea un set di dati:

CREATE SCHEMA mydataset;

Quindi, crea una tabella con la generazione automatica di embedding abilitata per contenere le informazioni sui prodotti. La colonna generata automaticamente si chiama description_embedding ed è basata sulla colonna description.

# Create a table of products and descriptions with a generated embedding column.
CREATE TABLE mydataset.products (
  name STRING,
  description STRING,
  description_embedding STRUCT<result ARRAY<FLOAT64>, status STRING>
    GENERATED ALWAYS AS (
      AI.EMBED(description, connection_id => 'us.example_connection',
        endpoint => 'text-embedding-005')
      # Alternatively, you can use the syntax for a built-in model.
      # AI.EMBED(description, model => 'embeddinggemma-300m')
    ) STORED OPTIONS( asynchronous = TRUE )
);

La seguente query inserisce alcuni nomi e descrizioni dei prodotti nella tabella. Non specificare un valore per description_embedding perché viene generato automaticamente.

# Insert product descriptions into the table.
# The description_embedding column is automatically updated.
INSERT INTO mydataset.products (name, description) VALUES
  ("Lounger chair", "A comfortable chair for relaxing in."),
  ("Super slingers", "An exciting board game for the whole family."),
  ("Encyclopedia set", "A collection of informational books.");

Facoltativamente, puoi creare un indice vettoriale nella tabella per velocizzare la ricerca. Un indice vettoriale richiede più di tre righe, quindi la seguente query presuppone che tu abbia inserito dati aggiuntivi. Ogni volta che inserisci i dati, la colonna description_embedding viene aggiornata automaticamente.

CREATE VECTOR INDEX my_index
ON mydataset.products(description_embedding)
OPTIONS(index_type = 'IVF');

Infine, puoi utilizzare la AI.SEARCH funzione per eseguire una ricerca semantica dei tuoi prodotti per trovare un giocattolo divertente:

# Search for products that are fun to play with.
SELECT base.name, base.description, distance
FROM AI.SEARCH(TABLE mydataset.products, 'description', "A really fun toy");

/*------------------+----------------------------------------------+----------------------+
 | name             | description                                  | distance             |
 +------------------+----------------------------------------------+----------------------+
 | Super slingers   | An exciting board game for the whole family. | 0.80954913893618929  |
 | Lounger chair    | A comfortable chair for relaxing in.         | 0.938933930620146    |
 | Encyclopedia set | A collection of informational books.         | 1.1119297739353384   |
 +------------------+----------------------------------------------+----------------------*/

Embedding generati da colonne ObjectRef

Puoi aggiungere colonne di embedding generate per una colonna ObjectRef in una tabella.

L'esempio seguente mostra come creare una tabella con una colonna ObjectRef e quindi aggiungere una colonna di embedding generata per quella colonna:

# Create a table with ObjectRef columns.
CREATE TABLE mydataset.images AS
SELECT
  REGEXP_EXTRACT(ref.uri, r'.*/(.*).jpg$') AS name,
  ref
FROM mydataset.object_table;

# Add a generated embedding column for the ObjectRef column.
ALTER TABLE mydataset.images
ADD COLUMN image_embedding STRUCT<result ARRAY<FLOAT64>, status STRING>
GENERATED ALWAYS AS (
  AI.EMBED(
    ref,
    connection_id => "us.my_connection",
    endpoint => "multimodalembedding@001")
)
STORED OPTIONS (asynchronous = true);

Ottieni informazioni sulle colonne di embedding generate automaticamente

Per verificare che una colonna sia una colonna di embedding generata automaticamente, esegui una query sulla visualizzazione the INFORMATION_SCHEMA.COLUMNS view.

La seguente query mostra informazioni su tutte le colonne di embedding generate automaticamente:

SELECT *
FROM PROJECT_ID.DATASET_ID.INFORMATION_SCHEMA.COLUMNS
WHERE is_generated = 'ALWAYS';

Il campo generation_expression mostra la chiamata alla funzione AI.EMBED utilizzata per generare gli embedding nella colonna.

Utilizza la tua prenotazione

Per impostazione predefinita, BigQuery utilizza gli slot on demand per gestire l'elaborazione necessaria per gestire la colonna di embedding generata. Per garantire prestazioni prevedibili e coerenti, puoi facoltativamente creare una prenotazione e impostare job_type su BACKGROUND. Quando è presente una prenotazione in background, BigQuery la utilizza per gestire la colonna di embedding generata.

Quote

Quando utilizzi un endpoint di Agent Platform per la generazione di embedding specificando il parametro endpoint nella funzione AI.EMBED, BigQuery invia richieste ad Agent Platform per generare gli embedding. Queste richieste sono soggette alle quote di Agent Platform. La quota per le richieste al minuto per il modello di embedding influisce direttamente sulla velocità effettiva dei job di generazione di embedding in background. Se la generazione di embedding è lenta, richiedi un limite di quota più elevato per Agent Platform seguendo le istruzioni riportate in Richiedi una quota più elevata. Se specifichi il parametro model nella funzione AI.EMBED, gli embedding vengono generati in BigQuery e non vengono inviate richieste ad Agent Platform, quindi le quote di Agent Platform non si applicano.

Risoluzione dei problemi

La colonna di embedding generata contiene due campi: result e status. Se si verifica un errore quando BigQuery tenta di generare un embedding per una riga specifica della tabella, il campo result è NULL e il campo status descrive l'errore. Ad esempio, se la colonna di origine è NULL allora l'embedding result è anche NULL e lo stato è NULL value is not supported for embedding generation.

Un errore più grave può bloccare la generazione di embedding. In questo caso, puoi eseguire una query sulla colonna async_generation_status nella INFORMATION_SCHEMA.COLUMNS visualizzazione per identificare l'errore di blocco.

Gli errori di blocco possono includere:

• Errori di autorizzazione negata
• Errori di risorsa non trovata
• Errori di endpoint del modello di embedding non supportato
• Errori di API Vertex AI non abilitata

Una volta che il job di generazione di embedding successivo è stato completato correttamente, la colonna async_generation_status viene cancellata.

La seguente query mostra come verificare la presenza di errori di blocco:

SELECT
  column_name,
  async_generation_status
FROM
  mydataset.INFORMATION_SCHEMA.COLUMNS
WHERE
  table_name = 'images';

Se la colonna image_embedding presenta un errore di blocco, il risultato è simile al seguente:

[
  {
    "column_name": "image_embedding",
    "async_generation_status": {
      "blocking_error": {
        "message": "<service_account> does not have the permission to access resources used by AI.EMBED. Please follow https://cloud.google.com/bigquery/docs/permissions-for-ai-functions to set up permissions.",
        ...
      }
    }
  }
]

Puoi anche eseguire una query sulla INFORMATION_SCHEMA.JOBS visualizzazione per il job in background e consultare le informazioni nel error_result campo. L'ID job di un job di embedding in background ha il prefisso gc_. Ad esempio, la seguente query estrae tutti i job in background il cui risultato di errore non è NULL:

SELECT * FROM `region-REGION.INFORMATION_SCHEMA.JOBS` j
WHERE EXISTS (
  SELECT 1
  FROM unnest(j.referenced_tables) t
  WHERE
    j.project_id = 'PROJECT_ID'
    AND t.dataset_id = 'DATASET_ID'
    AND t.table_id = 'TABLE'
)
AND starts_with(job_id, 'gc')
AND error_result IS NOT NULL
ORDER BY j.creation_time DESC;

Monitora i costi

I costi della generazione automatica di embedding rientrano nelle seguenti categorie.

Costi DML in background di BigQuery

Gli embedding generati vengono scritti nella tabella utilizzando i job DML in background. Per impostazione predefinita, BigQuery utilizza gli slot on demand per gestire questi job. Il progetto della tabella viene fatturato in base al modello di fatturazione on demand DML.

In alternativa, per garantire prestazioni prevedibili e coerenti, puoi creare una prenotazione e impostare job_type su BACKGROUND. Quando è presente una prenotazione in background, BigQuery la utilizza per eseguire i job DML in background. La prenotazione in background verrà fatturata per il tempo di utilizzo degli slot dai job DML in background.

Costi di Gemini Enterprise Agent Platform

La generazione automatica di embedding invia richieste a Gemini Enterprise Agent Platform, che può comportare costi. Per monitorare i costi di Agent Platform sostenuti dai job di embedding in background:

1. Visualizza i report sulla fatturazione in Fatturazione Cloud.

2. Utilizza i filtri per perfezionare i risultati.

   Per i servizi, seleziona Vertex AI.

3. Per visualizzare gli addebiti per un job specifico, filtra per etichetta.

   Imposta la chiave su bigquery_ml_job e il valore sull' ID job del job di embedding. Tutti i job di embedding in background hanno il prefisso gc_.

Potrebbero essere necessarie fino a 24 ore prima che alcuni addebiti vengano visualizzati in Fatturazione Cloud.

Limitazioni

• Ogni tabella supporta al massimo una colonna di embedding generata automaticamente.
• Le operazioni DML simultanee possono causare ritardi e errori temporanei nella generazione di embedding. Per migliorare le prestazioni e ridurre i costi, ti consigliamo di inserire i dati in batch ed evitare aggiornamenti DML frequenti.
• Se utilizzi l'API di streaming legacy per importare i dati, potrebbero verificarsi alcuni ritardi prima dell'avvio della generazione di embedding.
• Quando utilizzi l'API BigQuery Storage Write (gRPC), i job di generazione di embedding in background potrebbero non riuscire se è in esecuzione contemporaneamente un job di scrittura in streaming. In questo caso, la quota di Agent Platform e i costi DML in background vengono sprecati. L'utilizzo dell'API Storage Write (gRPC) causa anche job di generazione di embedding simultanei nella tabella, ma questo viene gestito da BigQuery e non vengono sprecati costi DML in background o quote di Agent Platform.
• Per una velocità effettiva più elevata sugli endpoint remoti di Agent Platform, ti consigliamo di utilizzare i modelli di text embedding rispetto ai modelli Gemini. Per scoprire di più, consulta Quote.
• Non è indicato che una colonna viene generata automaticamente quando visualizzi lo schema di una tabella utilizzando la Google Cloud console o il campo ddl della visualizzazione INFORMATION_SCHEMA.TABLES.
• Se crei una copia, un clone o uno snapshot di una tabella con una colonna di embedding generata, vengono copiati solo i dati. La configurazione di generazione non si applica alla nuova tabella e gli aggiornamenti alla colonna di origine della nuova tabella non genereranno nuovi embedding.
• Se ripristini da uno snapshot una tabella per cui era abilitata la generazione automatica di embedding, la configurazione di generazione di embedding non viene ripristinata.
• Quando utilizzi l'API BigQuery, puoi specificare la proprietà generatedColumn solo quando crei una nuova colonna. Non puoi aggiungere, aggiornare o rimuovere la proprietà generatedColumn in una colonna esistente.

• Dopo aver creato la colonna di embedding generata, si applicano le seguenti limitazioni:

  • Non puoi eliminare o rinominare la colonna di origine, ma puoi comunque eliminare o rinominare la colonna di embedding generata. Se elimini la colonna di embedding, puoi eliminare o rinominare la colonna di origine.
  • Non puoi modificare il tipo di dati della colonna di origine o della colonna di embedding generata.

• Non puoi specificare valori predefiniti per le colonne di embedding generate automaticamente.

• Non puoi scrivere direttamente nelle colonne di embedding generate utilizzando questi metodi:

  • DML
  • Scritture in streaming
  • bq insert
  • bq load
  • bq copy -a

• Le tabelle con colonne di embedding generate non supportano le policy di sicurezza a livello di colonna, come i tag di policy.

• Quando chiami una funzione di ricerca, ad esempio VECTOR_SEARCH o AI.SEARCH, le righe con embedding mancanti nella tabella di base vengono ignorate durante la ricerca.

• Non puoi creare un indice vettoriale partizionato in una tabella per cui è abilitata la generazione automatica di embedding.

• Se crei un indice vettoriale nella colonna di embedding generata automaticamente, l'addestramento dell'indice inizia dopo che almeno l'80% delle righe ha generato embedding. Per controllare lo stato di avanzamento della generazione di embedding:

  Esegui una query sulla percentuale di embedding generati nella tabella:

  SELECT
    COUNTIF(description_embedding IS NOT NULL
    AND description_embedding.status = '') * 100.0 / COUNT(*) AS percent
  FROM PROJECT_ID.DATASET_ID.TABLE;
  

Passaggi successivi

• Scopri di più sulla creazione e la gestione degli indici vettoriali.
• Consulta l'articolo Introduzione alla ricerca vettoriale.