Visão geral dos índices de IA
Os índices de IA permitem realizar pesquisas com linguagem natural em colunas de tabelas
sem gerar embeddings manualmente ou gerenciar modelos. Use a função
AI.SEARCH
para consultar seus dados enquanto o BigQuery processa automaticamente
a seleção de colunas, a otimização de índices e a manutenção contínua.
Sobre os índices de IA
Um índice de IA é uma abstração de indexação gerenciada e auto-otimizada que permite usar
a pesquisa com linguagem natural em uma ou mais colunas das suas
tabelas do BigQuery com a função AI.SEARCH.
Use um índice de IA quando quiser fazer uma pesquisa com linguagem natural em uma ou mais colunas de texto sem gerenciar modelos de embedding, colunas de embedding ou índices de vetor. Se você precisar de um modelo de embedding específico ou de opções de índice vetorial personalizadas,
gere embeddings e
crie um índice vetorial.
Os índices de IA do BigQuery ajudam você a realizar as seguintes tarefas com mais eficiência:
- Realizar pesquisa com linguagem natural sem gerenciar modelos: é possível pesquisar nos dados usando consultas em linguagem natural sem gerar embeddings ou configurar índices vetoriais.
- Seleção automática de colunas: quando você cria um índice de IA com a opção
AUTO COLUMNS, o BigQuery identifica e seleciona automaticamente as colunas candidatas na tabela para indexação ou permite que você especifique uma lista explícita de colunas a serem incluídas. - Indexação adaptativa: o BigQuery determina e aplica automaticamente as estratégias ideais de indexação e recuperação para seus dados e consultas.
- Ciclo de vida totalmente gerenciado: à medida que os dados da tabela mudam, o BigQuery gerencia automaticamente a criação, a manutenção, as atualizações e as atualizações de índices, sem que você precise gerenciar os artefatos de IA subjacentes.
Gerenciamento de cargas de trabalho
Por padrão, o BigQuery usa slots sob demanda e o pool de slots compartilhado para lidar com o processamento em segundo plano necessário para criar, atualizar e otimizar um índice de IA. Para garantir um desempenho de indexação previsível e consistente em cargas de trabalho de produção maiores ou para criar um índice de IA em uma tabela com mais de 1.000.000 de linhas, faça o seguinte:
- Crie uma reserva na região em que a tabela está localizada
- Atribua o projeto à reserva com
job_typedefinido comoBACKGROUND.
Quando uma reserva BACKGROUND está presente,
o BigQuery a usa para executar os jobs em segundo plano que mantêm o
índice de IA.
Preços
Os custos do índice de IA se enquadram nas seguintes categorias:
- Instruções DDL: não há cobranças extras para executar as instruções
CREATE AI INDEXeDROP AI INDEX. - Processamento de dados de índice em segundo plano (jobs
gc_): todo o processamento de dados é executado diretamente no BigQuery usando slots do BigQuery. Por padrão, o BigQuery usa slots sob demanda para processar esses jobs, e o projeto da tabela é faturado de acordo com o modelo de faturamento sob demanda da DML. Se uma reservaBACKGROUNDfor atribuída ao projeto, o BigQuery vai usar a reservaBACKGROUNDpara executar esses jobs de DML em segundo plano, e a reserva será cobrada pelo uso do tempo de slot. Para saber mais, consulte Acompanhar os custos de jobs em segundo plano. - Geração de embeddings: a geração de embeddings para índices de IA, incluindo os
embeddings gerados para consultas
AI.SEARCHem tabelas com um índice de IA, é faturada de acordo com a taxa publicada do modelo subjacente que o índice de IA usa. O Google pode atualizar o modelo padrão usado pelos índices de IA ao longo do tempo para melhorias no ciclo de vida ou no desempenho do modelo e cobrar de acordo com os preços do BigQuery publicados para o modelo. - Treinamento e otimização de índices: não há cobranças adicionais pelo processamento necessário para treinar e otimizar as estruturas de índice ao usar o pool de slots compartilhado padrão, desde que o tamanho total dos dados da tabela indexada esteja abaixo do limite organizacional.
- Armazenamento: os índices de IA geram custos de armazenamento enquanto existem na tabela. É possível
ver o tamanho de armazenamento de um índice de IA na coluna
total_logical_bytesda visualizaçãoINFORMATION_SCHEMA.AI_INDEXES. - Consultas: as consultas que usam a função
AI.SEARCHsão cobradas de acordo com os preços de computação padrão do BigQuery. A geração de embeddings para a consulta é faturada conforme descrito anteriormente nesta lista.
Limitações dos índices de IA
Ao usar índices de IA, as seguintes limitações se aplicam:
- Se o texto combinado das colunas indexadas de uma linha for muito longo, como documentos
completos ou muitas colunas
STRINGlongas, apenas parte do texto será usada para pesquisa. Para garantir que os campos mais informativos sejam usados, especifique uma lista de colunas explícita emCREATE AI INDEXcom as colunas de maior sinal listadas primeiro. - Não há suporte para consultas que exigem correspondência exata em valores de identificador sem significado de linguagem natural, como IDs, UUIDs, hashes ou códigos de sistema. Por padrão,
AUTO COLUMNSinclui todas as colunas STRING de nível superior sem filtrar as colunas de ID opaco. Para excluir colunas de ID opacas do índice de IA, especifique uma lista de colunas explícita emCREATE AI INDEX. - Consultas que contêm restrições numéricas estritas ou exigem filtragem estruturada em colunas que não são
STRINGnão são compatíveis apenas com o texto de pesquisa em linguagem natural. Em vez disso, aplique filtros estruturados ou numéricos usando uma cláusulaWHEREem uma subconsulta de pré-filtragem. - A qualidade da pesquisa pode ser prejudicada se o índice de IA incluir colunas com texto que
não descreve a linha, como registros brutos, stack traces, URLs ou
strings geradas por máquina. Para excluir essas colunas, liste as colunas a serem indexadas em vez de usar
AUTO COLUMNS. - As instruções
CREATE OR REPLACE AI INDEXeALTER AI INDEXnão são compatíveis. Também não é possível descartar, renomear ou alterar o tipo de dados de uma coluna de origem incluída em um índice de IA. Para mudar as colunas indexadas, remova o índice de IA e crie-o novamente. As operações de tabela a seguir não são compatíveis com tabelas que têm índices de IA. Para realizar essas operações, remova o índice de IA.
- Crie uma tabela com base no esquema da tabela (
CREATE TABLE ... LIKE). - Copiar a tabela (
bq cpouCREATE TABLE ... COPY), incluindo cópias entre regiões, ou copiar dados para uma tabela que já tem um índice de IA. - Clone a tabela (
CREATE TABLE ... CLONE). - Criar um snapshot de tabela (
CREATE SNAPSHOT TABLE). - Renomeie a tabela (
ALTER TABLE ... RENAME TO). - Restaure a tabela (
RESTORE TABLE).
- Crie uma tabela com base no esquema da tabela (
A seguir
- Saiba como usar os índices de IA.
- Saiba como pesquisar tabelas usando a função
AI.SEARCH.