Genera e cerca embedding multimodali

Questo tutorial mostra come generare embedding multimodali per immagini e testo utilizzando BigQuery e Gemini Enterprise Agent Platform, quindi utilizzare questi embedding per eseguire una ricerca semantica da testo a immagine.

Questo tutorial spiega le seguenti attività:

• Creazione di una tabella di oggetti BigQuery sui dati delle immagini in un bucket Cloud Storage.
• Esplorare i dati delle immagini utilizzando un notebook di Colab Enterprise in BigQuery.
• Creazione di un modello remoto BigQuery ML che ha come target il modello di base Gemini Enterprise Agent Platform multimodalembedding.
• Utilizzando il modello remoto con la funzione AI.GENERATE_EMBEDDING per generare embedding dalle immagini nella tabella degli oggetti.
• Correggi eventuali errori di generazione degli embedding.
• Se vuoi, puoi creare un indice vettoriale per indicizzare gli embedding delle immagini.
• Creazione di un text embedding per una determinata stringa di ricerca.
• Utilizza la funzione VECTOR_SEARCH per eseguire una ricerca semantica di text embedding simili all'image embedding.
• Visualizzare i risultati utilizzando un notebook.

Questo tutorial utilizza le immagini d'arte di dominio pubblico del Metropolitan Museum of Art disponibili nel bucket Cloud Storage pubblico gcs-public-data--met.

Ruoli obbligatori

Per eseguire questo tutorial, devi disporre dei seguenti ruoli Identity and Access Management (IAM):

• Crea e utilizza set di dati, connessioni, modelli e notebook BigQuery: BigQuery Studio Admin (roles/bigquery.studioAdmin).
• Concedi le autorizzazioni al account di servizio della connessione: Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin).

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire le attività descritte in questo documento. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

• Crea un set di dati: bigquery.datasets.create
• Crea, delega e utilizza una connessione: bigquery.connections.*
• Imposta la connessione predefinita: bigquery.config.*
• Imposta le autorizzazioni del account di servizio: resourcemanager.projects.getIamPolicy e resourcemanager.projects.setIamPolicy
• Crea una tabella di oggetti: bigquery.tables.create e bigquery.tables.update
• Crea un modello ed esegui l'inferenza:
  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData
  • bigquery.models.updateMetadata
• Crea e utilizza i notebook:
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • dataform.locations.get
  • dataform.locations.list
  • dataform.repositories.create
    
    
    Gli utenti con l'autorizzazione dataform.repositories.create possono eseguire il codice utilizzando il service account Dataform predefinito e tutte le autorizzazioni concesse a quel account di servizio. Per saperne di più, consulta Considerazioni sulla sicurezza per le autorizzazioni di Dataform
    .
  • dataform.repositories.list
  • dataform.collections.create
  • dataform.collections.list
  • aiplatform.notebookRuntimeTemplates.apply
  • aiplatform.notebookRuntimeTemplates.get
  • aiplatform.notebookRuntimeTemplates.list
  • aiplatform.notebookRuntimeTemplates.getIamPolicy
  • aiplatform.notebookRuntimes.assign
  • aiplatform.notebookRuntimes.get
  • aiplatform.notebookRuntimes.list
  • aiplatform.operations.list
  • aiplatform.notebookRuntimeTemplates.apply

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.
• Gemini Enterprise Agent Platform: You incur costs for calls to the Agent Platform service that's represented by the remote model.

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Per ulteriori informazioni sui prezzi di BigQuery, consulta Prezzi di BigQuery nella documentazione di BigQuery.

Per saperne di più sui prezzi di Agent Platform, consulta la pagina Prezzi di Agent Platform.

Prima di iniziare

1. Nella console Google Cloud , nella pagina di selezione del progetto, seleziona o crea un progetto Google Cloud .

   Ruoli richiesti per selezionare o creare un progetto

   • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
   • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.
   Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

   Vai al selettore di progetti

2. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .

3. Abilita le API BigQuery, BigQuery Connection e Agent Platform, se non sono già abilitate.

   Ruoli richiesti per abilitare le API

   Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

   Abilita le API

Crea un set di dati

Per creare un set di dati BigQuery, seleziona una delle seguenti opzioni:

Console

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Explorer:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.

3. In Explorer, espandi il progetto, quindi fai clic su Set di dati.

4. Nella pagina Set di dati, fai clic su Crea set di dati.

5. Nel riquadro Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Località dei dati, seleziona USA.

   Lascia invariate le altre impostazioni predefinite.

6. Fai clic su Crea set di dati.

bq

Per creare un nuovo set di dati, utilizza il comando bq mk --dataset.

1. Crea un set di dati denominato bqml_tutorial con la località dei dati impostata su US:

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Verifica che il set di dati sia stato creato:

   bq ls

API

Chiama il metodo datasets.insert con una risorsa del set di dati definita:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Crea la tabella degli oggetti

Crea una tabella di oggetti sulle immagini artistiche nel bucket Cloud Storage pubblico gcs-public-data--met. La tabella degli oggetti consente di analizzare le immagini senza spostarle da Cloud Storage.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui questa query:

   CREATE OR REPLACE EXTERNAL TABLE `bqml_tutorial.met_images`
   WITH CONNECTION DEFAULT
   OPTIONS
     ( object_metadata = 'SIMPLE',
       uris = ['gs://gcs-public-data--met/*']
     );

Esplora i dati delle immagini

Crea un notebook di Colab Enterprise in BigQuery per esplorare i dati delle immagini.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Crea un notebook utilizzando l'editor di BigQuery.

3. Connetti il notebook al runtime predefinito.

4. Configura il notebook:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Set up credentials
      
      from google.colab import auth
      auth.authenticate_user()
      print('Authenticated')
      
      PROJECT_ID='PROJECT_ID'
      from google.cloud import bigquery
      client = bigquery.Client(PROJECT_ID)
      

      Sostituisci PROJECT_ID con il nome del progetto che stai utilizzando per questo tutorial.

   3. Esegui la cella di codice.

5. Attiva la visualizzazione della tabella:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Enable data table display
      %load_ext google.colab.data_table
      

   3. Esegui la cella di codice.

6. Crea una funzione per visualizzare le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Util function to display images
      import io
      from PIL import Image
      import matplotlib.pyplot as plt
      import tensorflow as tf
      
      def printImages(results):
       image_results_list = list(results)
       amt_of_images = len(image_results_list)
      
       fig, axes = plt.subplots(nrows=amt_of_images, ncols=2, figsize=(20, 20))
       fig.tight_layout()
       fig.subplots_adjust(hspace=0.5)
       for i in range(amt_of_images):
         gcs_uri = image_results_list[i][0]
         text = image_results_list[i][1]
         f = tf.io.gfile.GFile(gcs_uri, 'rb')
         stream = io.BytesIO(f.read())
         img = Image.open(stream)
         axes[i, 0].axis('off')
         axes[i, 0].imshow(img)
         axes[i, 1].axis('off')
         axes[i, 1].text(0, 0, text, fontsize=10)
       plt.show()
      

   3. Esegui la cella di codice.

7. Visualizza le immagini:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      #@title Display Met images
      
      inspect_obj_table_query = """
      SELECT uri, content_type
      FROM bqml_tutorial.met_images
      WHERE content_type = 'image/jpeg'
      Order by uri
      LIMIT 10;
      """
      printImages(client.query(inspect_obj_table_query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

8. Salva il notebook come met-image-analysis.

Crea il modello remoto

Crea un modello remoto che rappresenta un modello di embedding multimodale di Agent Platform ospitato:

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui questa query:

   CREATE OR REPLACE MODEL `bqml_tutorial.multimodal_embedding_model`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'gemini-embedding-2-preview');

   Il completamento della query richiede diversi secondi, dopodiché puoi accedere al modello multimodal_embedding_model visualizzato nel set di dati bqml_tutorial. Poiché la query utilizza un'istruzione CREATE MODEL per creare un modello, non sono presenti risultati della query.

Genera embedding delle immagini

Genera gli embedding dalle immagini nella tabella degli oggetti utilizzando la funzione AI.GENERATE_EMBEDDING, quindi scrivili in una tabella per utilizzarli in un passaggio successivo. La generazione di embedding è un'operazione costosa, quindi la query utilizza una subquery che include la clausola LIMIT per limitare la generazione di embedding a 10.000 immagini anziché eseguire l'embedding dell'intero set di dati di 601.294 immagini. In questo modo,il numero di immagini rimane al di sotto del limite di 25.000 per la funzione AI.GENERATE_EMBEDDING. L'esecuzione di questa query richiede circa 40 minuti.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui questa query:

   CREATE OR REPLACE TABLE `bqml_tutorial.met_image_embeddings`
   AS
   SELECT *
   FROM
     AI.GENERATE_EMBEDDING(
       MODEL `bqml_tutorial.multimodal_embedding_model`,
       (SELECT * FROM `bqml_tutorial.met_images` WHERE content_type = 'image/jpeg' LIMIT 10000))

Correggi eventuali errori di generazione degli embedding

Controlla e correggi eventuali errori di generazione degli embedding. La generazione degli embedding può non riuscire a causa delle quote dell'AI generativa su Agent Platform o della mancata disponibilità del servizio.

La funzione AI.GENERATE_EMBEDDING restituisce i dettagli dell'errore nella colonna status. Questa colonna è vuota se la generazione degli embedding è andata a buon fine o contiene un messaggio di errore se la generazione degli embedding non è riuscita.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la seguente query per verificare se si sono verificati errori di generazione degli embedding:

   SELECT DISTINCT(status),
     COUNT(uri) AS num_rows
   FROM bqml_tutorial.met_image_embeddings
   GROUP BY 1;

3. Se vengono restituite righe con errori, elimina tutte le righe in cui la generazione degli embedding non è riuscita:

   DELETE FROM `bqml_tutorial.met_image_embeddings`
   WHERE status = 'A retryable error occurred: RESOURCE_EXHAUSTED error from remote service/endpoint.';

Crea un indice vettoriale

Facoltativamente, puoi utilizzare l'istruzione CREATE VECTOR INDEX per creare l'indice vettoriale met_images_index nella colonna embedding della tabella met_images_embeddings. Un indice vettoriale consente di eseguire una Vector Search più rapidamente, con il compromesso di ridurre il richiamo e quindi di restituire risultati più approssimativi.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui questa query:

   CREATE OR REPLACE
     VECTOR INDEX `met_images_index`
   ON
     bqml_tutorial.met_image_embeddings(embedding)
     OPTIONS (
       index_type = 'IVF',
       distance_type = 'COSINE');

3. L'indice vettoriale viene creato in modo asincrono. Per verificare se l'indice vettoriale è stato creato, esegui una query sulla vista INFORMATION_SCHEMA.VECTOR_INDEXES e verifica che il valore coverage_percentage sia maggiore di 0 e che il valore last_refresh_time non sia NULL:

   SELECT table_name, index_name, index_status,
     coverage_percentage, last_refresh_time, disable_reason
   FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES
   WHERE index_name = 'met_images_index';

Genera un embedding per il testo di ricerca

Per cercare immagini che corrispondono a una stringa di ricerca testuale specificata, devi prima creare un text embedding per quella stringa. Utilizza lo stesso modello remoto per creare il text embedding che hai utilizzato per creare gli embedding delle immagini, quindi scrivi il text embedding in una tabella da utilizzare in un passaggio successivo. La stringa di ricerca è pictures of white or cream colored dress from victorian era.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui questa query:

   CREATE OR REPLACE TABLE `bqml_tutorial.search_embedding`
   AS
   SELECT * FROM AI.GENERATE_EMBEDDING(
     MODEL `bqml_tutorial.multimodal_embedding_model`,
     (
       SELECT 'pictures of white or cream colored dress from victorian era' AS content
     )
   );

Esegui una ricerca semantica da testo a immagine

Utilizza la funzione VECTOR_SEARCH per eseguire una ricerca semantica delle immagini che corrispondono meglio alla stringa di ricerca rappresentata dal text embedding.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'editor di query, esegui la query seguente per eseguire una ricerca semantica e scrivere i risultati in una tabella:

   CREATE OR REPLACE TABLE `bqml_tutorial.vector_search_results` AS
   SELECT base.uri AS gcs_uri, distance
   FROM
     VECTOR_SEARCH(
       TABLE `bqml_tutorial.met_image_embeddings`,
       'embedding',
       TABLE `bqml_tutorial.search_embedding`,
       'embedding',
       top_k => 3);

Visualizza i risultati della ricerca semantica

Visualizza i risultati della ricerca semantica utilizzando un notebook.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Apri il notebook met-image-analysis che hai creato in precedenza.

3. Visualizza i risultati di Vector Search:

   1. Aggiungi una cella di codice al notebook.

   2. Copia e incolla il seguente codice nella cella di codice:

      query = """
        SELECT * FROM `bqml_tutorial.vector_search_results`
        ORDER BY distance;
      """
      
      printImages(client.query(query))
      

   3. Esegui la cella di codice.

      I risultati dovrebbero essere simili ai seguenti:

      

Esegui la pulizia

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud , vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.