Cercare gli embedding con la ricerca vettoriale

Questo tutorial mostra come eseguire una ricerca di similarità sugli embedding archiviati nelle tabelle BigQuery utilizzando la VECTOR_SEARCH funzione e un indice vettoriale.

La ricerca vettoriale è una tecnica per confrontare oggetti simili utilizzando gli embedding e viene utilizzata per alimentare i prodotti Google, tra cui la Ricerca Google, YouTube e Google Play. Puoi utilizzare la ricerca vettoriale per eseguire ricerche semantiche su larga scala oppure puoi eseguire una ricerca ibrida che combina una ricerca semantica con una ricerca lessicale (per parole chiave). Quando utilizzi gli indici vettoriali con la ricerca vettoriale, puoi sfruttare tecnologie fondamentali come l'indicizzazione di file invertiti (IVF) e l'algoritmo ScaNN.

La ricerca vettoriale si basa sugli embedding. Gli embedding sono vettori numerici ad alta dimensionalità che rappresentano una determinata entità, come un brano di testo o un file audio. I modelli di machine learning (ML) utilizzano gli embedding per codificare la semantica di queste entità in modo da semplificarne il ragionamento e il confronto. Ad esempio, un' operazione comune nei modelli di clustering, classificazione e suggerimenti è misurare la distanza tra i vettori in uno spazio di embedding per trovare gli elementi semanticamente più simili.

Obiettivi

• Eseguire una ricerca di similarità sugli embedding archiviati nelle tabelle BigQuery utilizzando la funzione VECTOR_SEARCH.
• Utilizzare un indice vettoriale per migliorare le prestazioni della ricerca vettoriale.
• Eseguire una ricerca che utilizza un indice vettoriale e una ricerca che non utilizza un indice.
• Valutare il richiamo confrontando i risultati delle ricerche con un indice e delle ricerche senza un indice.

Costi

La funzione VECTOR_SEARCH utilizza i prezzi di calcolo di BigQuery. Ti vengono addebitati i costi per la ricerca di similarità, utilizzando i prezzi on demand o delle versioni.

• On demand: ti vengono addebitati i costi per la quantità di byte scansionati nella tabella di base, nell'indice e nella query di ricerca.

• Prezzi delle versioni: ti vengono addebitati i costi per gli slot necessari per completare il job nella versione della prenotazione. I calcoli di similarità più grandi e complessi comportano maggiori addebiti.

  Nota: l'utilizzo di un indice non è supportato nelle versioni Standard.

Per saperne di più, consulta i prezzi di BigQuery.

Prima di iniziare

1. Nella Google Cloud console, nella pagina di selezione del progetto, seleziona o crea un Google Cloud progetto.

   Ruoli richiesti per selezionare o creare un progetto

   • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico: puoi selezionare qualsiasi progetto su cui ti è stato concesso un ruolo.
   • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l' resourcemanager.projects.create autorizzazione. Scopri come concedere i ruoli.
   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Al termine di questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore di progetti

2. Verifica che la fatturazione sia attivata per il tuo Google Cloud progetto.

3. Abilita l'API BigQuery.

   Ruoli richiesti per abilitare le API

   Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

   Abilitare l'API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per completare questo tutorial, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

• Crea set di dati, tabelle e indici vettoriali: Editor dati BigQuery (roles/bigquery.dataEditor)
• Esegui job BigQuery: Utente job BigQuery (roles/bigquery.jobUser)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un set di dati

Per creare un set di dati BigQuery, seleziona una delle seguenti opzioni:

Console

1. Nella Google Cloud console, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, fai clic su Esplora:

   

   Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro a sinistra per aprirlo.

3. In Explorer, espandi il progetto e fai clic su Set di dati.

4. Nella pagina Set di dati, fai clic su Crea set di dati.

5. Nel riquadro Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci bqml_tutorial.

   • Per Località dei dati, seleziona US.

   Lascia invariate le impostazioni predefinite rimanenti.

6. Fai clic su Crea set di dati.

bq

Per creare un nuovo set di dati, utilizza il bq mk --dataset comando.

1. Crea un set di dati denominato bqml_tutorial con la località dei dati impostata su US:

   bq mk --dataset \
     --location=US \
     --description "BigQuery ML tutorial dataset." \
     bqml_tutorial

2. Verifica che il set di dati sia stato creato:

   bq ls

API

Chiama il datasets.insert metodo con una risorsa del set di dati definita:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Crea tabelle per archiviare dati ed embedding

In questa sezione creerai la tabella patents che contiene gli embedding dei brevetti. Gli embedding si basano su un sottoinsieme del set di dati pubblici Google Brevetti. Creerai anche la tabella patents2 che contiene un embedding di brevetto per trovare i vicini più prossimi.

Per creare le tabelle:

1. Per creare la tabella patents, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

   CREATE TABLE bqml_tutorial.patents AS
   SELECT * FROM `patents-public-data.google_patents_research.publications`
   WHERE ARRAY_LENGTH(embedding_v1) > 0
    AND publication_number NOT IN ('KR-20180122872-A')
   LIMIT 1000000;

   Viene visualizzato un messaggio di conferma simile al seguente: This statement created a new table named patents.

2. Per creare la tabella patents2 che contiene un embedding di brevetto per trovare i vicini più prossimi, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

   CREATE TABLE bqml_tutorial.patents2 AS
   SELECT * FROM `patents-public-data.google_patents_research.publications`
   WHERE publication_number = 'KR-20180122872-A';

   Viene visualizzato un messaggio di conferma simile al seguente: This statement created a new table named patents2.

Crea un indice vettoriale

Quando utilizzi VECTOR_SEARCH con un indice vettoriale, VECTOR_SEARCH utilizza il metodo del vicino più prossimo approssimato per migliorare le prestazioni della ricerca vettoriale, con il compromesso di ridurre il richiamo e quindi restituire risultati più approssimativi. Senza un indice vettoriale, VECTOR_SEARCH utilizza la ricerca a forza bruta per misurare la distanza per ogni record.

In questa sezione creerai l'indice vettoriale my_index sulla colonna embedding_v1 della tabella patents. Poi verificherai che l'indice sia disponibile.

Per creare l'indice vettoriale:

1. Per creare l'indice vettoriale my_index sulla colonna embedding_v1 della patents tabella, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

   CREATE OR REPLACE VECTOR INDEX my_index ON bqml_tutorial.patents(embedding_v1)
   STORING(publication_number, title)
   OPTIONS(distance_type='COSINE', index_type='IVF');

   Viene visualizzato un messaggio di conferma simile al seguente: The vector index creation on table bqml_tutorial.patents was initiated. Please query bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES to check the progress of the index.

2. Per verificare che l'indice vettoriale sia pronto, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

   SELECT * FROM bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES;

   Nei risultati della query, verifica che index_status sia ACTIVE e che il valore di coverage_percentage sia 100. Potrebbero essere necessari alcuni minuti prima che coverage_percentage raggiunga 100.

Utilizza la funzione VECTOR_SEARCH con un indice

Dopo aver creato e compilato l'indice vettoriale, utilizza la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'embedding nella colonna embedding_v1 della tabella patents2. Questa query utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH utilizza un metodo del vicino più prossimo approssimato per trovare il vicino più prossimo dell'embedding.

Nota: gli indici vettoriali sono più efficaci su set di dati di grandi dimensioni. Se vuoi vedere questa funzionalità in azione, ricrea la tabellavector_search.patents senza la clausolaLIMIT 1000000 ricrea l'indice vettoriale, ed esegui la seguente query.

Per utilizzare la funzione VECTOR_SEARCH con un indice, incolla quanto segue nell' editor di query, quindi fai clic su Esegui:

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE bqml_tutorial.patents,
    'embedding_v1',
    TABLE bqml_tutorial.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"fraction_lists_to_search": 0.005}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        | 0.14471956347590609 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           | 0.17472108931171348 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642917 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Utilizza la funzione VECTOR_SEARCH con la forza bruta

In questa sezione utilizzerai la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'embedding nella colonna embedding_v1 della tabella patents2. Questa query non utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH trova il vicino più prossimo esatto dell'embedding.

Per utilizzare VECTOR_SEARCH con la forza bruta, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE bqml_tutorial.patents,
    'embedding_v1',
    TABLE bqml_tutorial.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"use_brute_force":true}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        |  0.1447195634759062 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           |  0.1747210893117136 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642928 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Valuta il richiamo

Quando esegui una ricerca vettoriale con un indice, vengono restituiti risultati approssimativi, ma il richiamo viene ridotto. Puoi calcolare il richiamo confrontando i risultati restituiti dalla ricerca vettoriale con un indice e i risultati restituiti dalla ricerca vettoriale con la forza bruta. Il valore publication_number identifica in modo univoco un brevetto, quindi viene utilizzato per il confronto nella query seguente.

Per valutare il richiamo, incolla quanto segue nell'editor di query, quindi fai clic su Esegui:

WITH approx_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE bqml_tutorial.patents,
      'embedding_v1',
      TABLE bqml_tutorial.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"fraction_lists_to_search": 0.005}')
),
  exact_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE bqml_tutorial.patents,
      'embedding_v1',
      TABLE bqml_tutorial.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"use_brute_force":true}')
)

SELECT
  a.query_publication_number,
  SUM(CASE WHEN a.base_publication_number = e.base_publication_number THEN 1 ELSE 0 END) / 5 AS recall
FROM exact_results e LEFT JOIN approx_results a
  ON e.query_publication_number = a.query_publication_number
GROUP BY a.query_publication_number;

I risultati sono simili ai seguenti:

+--------------------------+--------+
| query_publication_number | recall |
+--------------------------+--------+
| KR-20180122872-A         |    1.0 |
+--------------------------+--------+

Se il richiamo è inferiore a quello desiderato, puoi aumentare il valore di fraction_lists_to_search, ma potresti riscontrare una latenza e un utilizzo delle risorse potenzialmente maggiori. Per ottimizzare la ricerca vettoriale, puoi provare più esecuzioni di VECTOR_SEARCH con valori di argomenti diversi, salvare i risultati nelle tabelle e poi confrontarli.

Libera spazio

Per evitare di incorrere in addebiti sul tuo account Google Cloud per le risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Arresta per eliminare il progetto.

In alternativa, per mantenere il progetto ed eliminare le risorse utilizzate in questo tutorial:

1. Vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro a sinistra, espandi il progetto e fai clic su Set di dati.

3. Per il set di dati bqml_tutorial, fai clic su Apri azioni > Elimina.

4. Nella finestra di dialogo Elimina set di dati, fai clic su Elimina per confermare.

Passaggi successivi