Además de indexar texto, el índice de búsqueda proporciona una forma eficiente de indexar números. Se usa principalmente para aumentar las consultas de búsqueda en el texto completo con condiciones en los campos numéricos. En esta página, se describe la indexación de números para consultas de igualdad y desigualdad, y la indexación de un array de números.
Asignar tokens a números
Los tokenizadores de números se usan para generar un conjunto de tokens que se usan para acelerar las búsquedas de comparación numérica.
Usa la función
TOKENIZE_NUMBER
para crear un índice numérico. TOKENIZE_NUMBER admite INT64,
FLOAT32, FLOAT64 o ARRAY de estos tipos.
En PostgreSQL, usa la función
spanner.tokenize_number
para crear un índice numérico. spanner.tokenize_number solo admite el tipo bigint.
Números de índice para consultas de igualdad y desigualdad
Spanner admite la indexación de números para la igualdad y la desigualdad.
Las búsquedas de igualdad coinciden con un número. Las búsquedas de rango y desigualdad coinciden con un número
dentro de un rango específico. Establece este valor en el parámetro comparison_type de TOKENIZE_NUMBER:
- Igualdad:
comparison_type=>"equality" - Desigualdad e igualdad:
comparison_type=>"all"
En ambos casos, el número original (ya sea un número entero o de punto flotante) se somete a un proceso de asignación de token, que es conceptualmente similar a la asignación de token de texto completo. Produce un conjunto de tokens que la consulta puede usar para ubicar los documentos que coinciden con la condición numérica.
La indexación de igualdad (comparison_type=>"equality") produce solo un token,
que representa el número. Recomendamos este modo si las consultas solo tienen
condiciones de igualdad positivas en forma de field = @p o field IN (...) en
la cláusula WHERE. La indexación de igualdad no acelera las condiciones de desigualdad
(como field != @p o field <> @p), ya que encontrar las filas que no
contienen un token requiere analizar todo el índice de búsqueda. Para acelerar
las condiciones de desigualdad en los valores INT64, usa comparison_type=>"all".
La indexación de desigualdad y de igualdad (comparison_type=>"all") puede acelerar un
rango más amplio de condiciones en la cláusula WHERE de la consulta. Esto incluye
field < @p, field <= @p, field > @p, field >= @p y
field BETWEEN @p1 AND @p2, además de las condiciones de igualdad. Para los valores INT64,
también incluye condiciones de desigualdad (field <> @p y
field != @p) y condiciones negadas (como NOT (field > @p)). Para
acelerar las condiciones de desigualdad, Spanner reescribe la condición
con tokens de rango (equivalentes a field < @p OR field > @p).
Para implementar la indexación de desigualdad e igualdad, Spanner produce
tokens en el índice de búsqueda subyacente. Spanner puede producir muchos tokens para cada número indexado, según los parámetros de ajuste. La cantidad de
tokens depende de los parámetros que se establecen para TOKENIZE_NUMBER, como
algorithm, min, max y granularity. Por lo tanto, es importante
evaluar los parámetros de ajuste con cuidado para garantizar un equilibrio adecuado
entre el almacenamiento en disco y el tiempo de búsqueda.
Las búsquedas funcionan mejor cuando combinan condiciones negativas con condiciones positivas, por ejemplo, field >= 40 AND field <= 50 AND field != 42.
Spanner usa las condiciones positivas para controlar el análisis de índices y,
luego, filtra los valores negados.
Para las consultas de rango en tipos de números enteros, como INT64, especificar algorithm =>
"prefixtree" puede mejorar significativamente el rendimiento en comparación con el algoritmo logtree predeterminado. Este algoritmo genera tokens basados en prefijos numéricos,
lo que permite una reducción más eficiente del espacio de búsqueda para las condiciones de rango (por
ejemplo, <= y >=). En las consultas en las que la cláusula WHERE contiene predicados
de rango, el algoritmo prefixtree genera menos tokens de índice para
números pequeños en comparación con logtree, lo que puede mejorar el rendimiento y
el costo de almacenamiento.
Asignación de token de array
Además de los valores escalares,
TOKENIZE_NUMBER
admite la asignación de token de un array de números (los ejemplos de esta sección son
para bases de datos de dialecto de GoogleSQL; PostgreSQL no admite la aceleración de arrays numéricos
con índices de búsqueda).
Cuando se usa TOKENIZE_NUMBER con la columna ARRAY, debes especificar
comparison_type=>"equality". Las consultas de rango no se admiten con un array de
números.
CREATE TABLE Albums (
AlbumId STRING(MAX) NOT NULL,
Ratings ARRAY<INT64>,
Ratings_Tokens TOKENLIST
AS (TOKENIZE_NUMBER(Ratings, comparison_type=>"equality")) HIDDEN
) PRIMARY KEY(AlbumId);
CREATE SEARCH INDEX AlbumsIndex ON Albums(Ratings_Tokens);
```
The following query finds all albums that have a rating of 1 or 2:
```sql
SELECT AlbumId
FROM Albums
WHERE ARRAY_INCLUDES_ANY(Ratings, [1, 2])
```
The following query finds all albums that were rated as 1 and as 5:
```sql
SELECT AlbumId
FROM Albums
WHERE ARRAY_INCLUDES_ALL(Ratings, [1, 5])
```
### Options for indexing high-precision numbers not supported by `TOKENIZE_NUMBER`
If you need to perform search queries on numeric types not directly supported by
`TOKENIZE_NUMBER` (such as `NUMERIC` or `BIGNUMERIC`),
consider these options:
* **Schema Modification:** Change the column type to `INT64` for the subset of
data that fits within the `INT64` range. Handle values exceeding the `INT64`
range separately, potentially in a different table or using application
logic.
* **Conceptual Mapping to Supported Types:** Explore creating generated
columns to map the `NUMERIC` values to an `INT64` range. This would allow
`TOKENIZE_NUMBER` to be used on the generated column. Be sure to validate
the query results against the original `NUMERIC` column in case your mapping
does not perfectly preserve precision. The specifics of the mapping function
needed for this approach are highly dependent on your specific data.
## What's next
* Learn about [tokenization and Spanner
tokenizers](/spanner/docs/full-text-search/tokenization).
* Learn about [search indexes](/spanner/docs/full-text-search/search-indexes).
* Learn about [index
partitioning](/spanner/docs/full-text-search/partition-search-index).