Visão geral dos índices de IA

Os índices de IA permitem realizar pesquisas com linguagem natural em colunas de tabelas sem gerar embeddings manualmente ou gerenciar modelos. Use a função AI.SEARCH para consultar seus dados enquanto o BigQuery processa automaticamente a seleção de colunas, a otimização de índices e a manutenção contínua.

Sobre os índices de IA

Um índice de IA é uma abstração de indexação gerenciada e auto-otimizada que permite usar a pesquisa com linguagem natural em uma ou mais colunas das suas tabelas do BigQuery com a função AI.SEARCH. Use um índice de IA quando quiser fazer uma pesquisa com linguagem natural em uma ou mais colunas de texto sem gerenciar modelos de embedding, colunas de embedding ou índices de vetor. Se você precisar de um modelo de embedding específico ou de opções de índice vetorial personalizadas, gere embeddings e crie um índice vetorial.

Os índices de IA do BigQuery ajudam você a realizar as seguintes tarefas com mais eficiência:

  • Realizar pesquisa com linguagem natural sem gerenciar modelos: é possível pesquisar nos dados usando consultas em linguagem natural sem gerar embeddings ou configurar índices vetoriais.
  • Seleção automática de colunas: quando você cria um índice de IA com a opção AUTO COLUMNS, o BigQuery identifica e seleciona automaticamente as colunas candidatas na tabela para indexação ou permite que você especifique uma lista explícita de colunas a serem incluídas.
  • Indexação adaptativa: o BigQuery determina e aplica automaticamente as estratégias ideais de indexação e recuperação para seus dados e consultas.
  • Ciclo de vida totalmente gerenciado: à medida que os dados da tabela mudam, o BigQuery gerencia automaticamente a criação, a manutenção, as atualizações e as atualizações de índices, sem que você precise gerenciar os artefatos de IA subjacentes.

Gerenciamento de cargas de trabalho

Por padrão, o BigQuery usa slots sob demanda e o pool de slots compartilhado para lidar com o processamento em segundo plano necessário para criar, atualizar e otimizar um índice de IA. Para garantir um desempenho de indexação previsível e consistente em cargas de trabalho de produção maiores ou para criar um índice de IA em uma tabela com mais de 1.000.000 de linhas, faça o seguinte:

  • Crie uma reserva na região em que a tabela está localizada
  • Atribua o projeto à reserva com job_type definido como BACKGROUND.

Quando uma reserva BACKGROUND está presente, o BigQuery a usa para executar os jobs em segundo plano que mantêm o índice de IA.

Preços

Os custos do índice de IA se enquadram nas seguintes categorias:

  • Instruções DDL: não há cobranças extras para executar as instruções CREATE AI INDEX e DROP AI INDEX.
  • Processamento de dados de índice em segundo plano (jobs gc_): todo o processamento de dados é executado diretamente no BigQuery usando slots do BigQuery. Por padrão, o BigQuery usa slots sob demanda para processar esses jobs, e o projeto da tabela é faturado de acordo com o modelo de faturamento sob demanda da DML. Se uma reserva BACKGROUND for atribuída ao projeto, o BigQuery vai usar a reserva BACKGROUND para executar esses jobs de DML em segundo plano, e a reserva será cobrada pelo uso do tempo de slot. Para saber mais, consulte Acompanhar os custos de jobs em segundo plano.
  • Geração de embeddings: a geração de embeddings para índices de IA, incluindo os embeddings gerados para consultas AI.SEARCH em tabelas com um índice de IA, é faturada de acordo com a taxa publicada do modelo subjacente que o índice de IA usa. O Google pode atualizar o modelo padrão usado pelos índices de IA ao longo do tempo para melhorias no ciclo de vida ou no desempenho do modelo e cobrar de acordo com os preços do BigQuery publicados para o modelo.
  • Treinamento e otimização de índices: não há cobranças adicionais pelo processamento necessário para treinar e otimizar as estruturas de índice ao usar o pool de slots compartilhado padrão, desde que o tamanho total dos dados da tabela indexada esteja abaixo do limite organizacional.
  • Armazenamento: os índices de IA geram custos de armazenamento enquanto existem na tabela. É possível ver o tamanho de armazenamento de um índice de IA na coluna total_logical_bytes da visualização INFORMATION_SCHEMA.AI_INDEXES.
  • Consultas: as consultas que usam a função AI.SEARCH são cobradas de acordo com os preços de computação padrão do BigQuery. A geração de embeddings para a consulta é faturada conforme descrito anteriormente nesta lista.

Limitações dos índices de IA

Ao usar índices de IA, as seguintes limitações se aplicam:

  • Se o texto combinado das colunas indexadas de uma linha for muito longo, como documentos completos ou muitas colunas STRING longas, apenas parte do texto será usada para pesquisa. Para garantir que os campos mais informativos sejam usados, especifique uma lista de colunas explícita em CREATE AI INDEX com as colunas de maior sinal listadas primeiro.
  • Não há suporte para consultas que exigem correspondência exata em valores de identificador sem significado de linguagem natural, como IDs, UUIDs, hashes ou códigos de sistema. Por padrão, AUTO COLUMNS inclui todas as colunas STRING de nível superior sem filtrar as colunas de ID opaco. Para excluir colunas de ID opacas do índice de IA, especifique uma lista de colunas explícita em CREATE AI INDEX.
  • Consultas que contêm restrições numéricas estritas ou exigem filtragem estruturada em colunas que não são STRING não são compatíveis apenas com o texto de pesquisa em linguagem natural. Em vez disso, aplique filtros estruturados ou numéricos usando uma cláusula WHERE em uma subconsulta de pré-filtragem.
  • A qualidade da pesquisa pode ser prejudicada se o índice de IA incluir colunas com texto que não descreve a linha, como registros brutos, stack traces, URLs ou strings geradas por máquina. Para excluir essas colunas, liste as colunas a serem indexadas em vez de usar AUTO COLUMNS.
  • As instruções CREATE OR REPLACE AI INDEX e ALTER AI INDEX não são compatíveis. Também não é possível descartar, renomear ou alterar o tipo de dados de uma coluna de origem incluída em um índice de IA. Para mudar as colunas indexadas, remova o índice de IA e crie-o novamente.
  • As operações de tabela a seguir não são compatíveis com tabelas que têm índices de IA. Para realizar essas operações, remova o índice de IA.

    • Crie uma tabela com base no esquema da tabela (CREATE TABLE ... LIKE).
    • Copiar a tabela (bq cp ou CREATE TABLE ... COPY), incluindo cópias entre regiões, ou copiar dados para uma tabela que já tem um índice de IA.
    • Clone a tabela (CREATE TABLE ... CLONE).
    • Criar um snapshot de tabela (CREATE SNAPSHOT TABLE).
    • Renomeie a tabela (ALTER TABLE ... RENAME TO).
    • Restaure a tabela (RESTORE TABLE).

A seguir