Visão geral dos insights de dados

É possível usar os insights de dados para explorar dados desconhecidos com descrições, gráficos de relacionamento e consultas SQL gerados com IA. Esse recurso do Gemini no BigQuery analisa seus metadados para ajudar você a entender as estruturas e o conteúdo dos dados rapidamente. Com esses insights, você pode começar sua análise sem uma configuração manual extensa.

Antes de começar

Os insights de dados são gerados usando o Gemini no BigQuery. Para começar a gerar insights, primeiro você precisa configurar o Gemini no BigQuery.

Tipos de insights de dados

É possível gerar insights de dados no nível da tabela ou do conjunto de dados:

  • Para tabelas: o Gemini gera perguntas em linguagem natural e as equivalentes em SQL para ajudar você a entender os dados em uma única tabela. Com os insights de tabela, é possível detectar padrões de dados, anomalias, outliers ou problemas de qualidade em uma tabela. O Gemini também gera descrições de tabelas e colunas.

  • Para conjuntos de dados e namespaces do Apache Iceberg: o Gemini gera um gráfico de relacionamento interativo que mostra relações entre tabelas e consultas SQL entre tabelas para ajudar você a entender como as tabelas estão relacionadas em um conjunto de dados. Com os gráficos de relacionamento, é possível descobrir como os dados são derivados, o que pode ajudar com problemas de qualidade, consistência ou redundância. Com as consultas de tabela cruzada, é possível encontrar relações mais amplas. Por exemplo, é possível calcular a receita por segmento de clientes usando dados de uma tabela de vendas e de uma tabela de clientes.

    Como os namespaces do Iceberg são representados nativamente como conjuntos de dados no BigQuery, é possível gerar os mesmos insights no nível do conjunto de dados diretamente nos namespaces do Iceberg.

Para investigar mais, faça perguntas complementares na tela de dados.

Insights da tabela

Os insights de tabela ajudam a entender o conteúdo, a qualidade e os padrões de uma única tabela do BigQuery. Por exemplo, ao gerar consultas que realizam análises estatísticas, é possível usar os insights de tabela para detectar padrões, anomalias e outliers de dados. Os insights de tabela também podem ajudar a detectar problemas de qualidade, especialmente quando as verificações do perfil de dados estão disponíveis para uma tabela. Quando você gera insights para uma tabela, o Gemini fornece descrição da tabela, descrições de colunas e saída de verificação de perfil com base nos metadados da tabela. As seguintes opções estão disponíveis:

  • Gerar consultas: sugere perguntas em linguagem natural e fornece as consultas SQL correspondentes para respondê-las. Isso ajuda a descobrir padrões, avaliar a qualidade de dados e realizar análises estatísticas sem escrever SQL do zero.
  • Gerar descrições: gera descrições para a tabela e as colunas dela. O Gemini usa a saída da verificação de perfil (se disponível) para embasar as descrições geradas. Você pode revisar, editar e publicar essas descrições no Knowledge Catalog para melhorar a facilidade de descoberta e a documentação dos dados.

Insights do conjunto de dados

Os insights de conjuntos de dados ajudam a entender as relações e os caminhos de mesclagem entre várias tabelas em um conjunto de dados do BigQuery (ou um namespace do Iceberg representado como um conjunto de dados), o que oferece uma visão holística do conteúdo. Quando você gera insights para um conjunto de dados ou namespace, o Gemini fornece o seguinte:

  • Descrição do conjunto de dados: fornece um resumo do conjunto de dados gerado com IA.
  • Relacionamentos: mostra um mapa visual e interativo com as relações entre as tabelas do conjunto de dados. Passe o cursor sobre as conexões para ver detalhes do relacionamento, como chaves de mesclagem.
  • Tabela de relações: apresenta uma visualização tabular das relações entre tabelas, incluindo chaves externas e junções inferidas. As relações podem ser definidas pelo esquema (com base em restrições de chave primária e chave estrangeira), baseadas no uso (com base em registros de consulta) ou inferidas pelo Gemini com base em nomes e descrições de tabelas e colunas.
  • Recomendações de consulta: oferece exemplos de consultas SQL que demonstram como unir dados de diferentes tabelas, com base nas relações identificadas.

Exemplo de insights de dados de tabela

Considere uma tabela chamada telco_churn com colunas como CustomerID, Tenure, InternetService, Contract, MonthlyCharges e Churn. A tabela a seguir descreve o esquema da tabela.

Nome do campo Tipo
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

Os insights de dados geram as seguintes consultas de amostra para essa tabela:

  • Identifique os clientes que assinaram todos os serviços premium e são clientes há mais de 50 meses.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifique qual serviço de Internet tem mais clientes desistentes.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

Exemplo de insights de dados do conjunto de dados

Considere um conjunto de dados que contém as tabelas order_items e inventory_items. Os insights do conjunto de dados podem inferir que order_items.inventory_item_id se relaciona a inventory_items.id.

Com base nessas relações, o Gemini pode gerar a seguinte consulta entre tabelas:

Identifique as cinco principais categorias dos produtos com o maior preço médio de venda e o custo médio correspondente.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

Fluxos de trabalho de insights de dados

Nesta seção, descrevemos os principais fluxos de trabalho que diferentes funções de usuário podem realizar usando o recurso de insights de dados no BigQuery.

Workflows para consumidores de dados

Esses fluxos de trabalho se concentram em tarefas para analistas de dados, analistas de negócios e outros usuários que precisam encontrar, entender e analisar dados.

  • Entender uma tabela do BigQuery: compreender rapidamente o esquema, o conteúdo e os possíveis usos de uma tabela específica. É possível realizar as seguintes tarefas depois de selecionar uma tabela no BigQuery Studio:

    • Revise as descrições de tabelas e colunas geradas automaticamente.

    • Analise as perguntas sugeridas em linguagem natural e as consultas SQL equivalentes para entender as nuances dos dados.

    • Adapte e execute as consultas sugeridas para iniciar a análise.

    Para mais informações sobre como gerar e visualizar insights de tabelas, consulte Gerar insights de tabelas.

  • Analisar um conjunto de dados ou namespace inteiro: descubra as relações entre tabelas em um conjunto de dados (ou um namespace do Iceberg representado como um conjunto de dados) e entenda a estrutura geral dele. É possível realizar as seguintes tarefas depois de selecionar um conjunto de dados no BigQuery Studio:

    • Gerar e visualizar insights de conjuntos de dados.

    • Use o gráfico de relacionamento interativo para visualizar as conexões de tabela.

    • Analisar a tabela de relacionamento para chaves de mesclagem e tipos de conexão (definidos pelo esquema, baseados em uso, inferidos por LLM).

    • Use as consultas SQL sugeridas entre tabelas para consultar várias tabelas de maneira eficaz.

    Para mais informações sobre como gerar e visualizar insights de conjuntos de dados, consulte Gerar insights de conjuntos de dados.

Workflows para produtores de dados

Esses fluxos de trabalho são para engenheiros de dados, engenheiros de análise e outros que criam e gerenciam recursos de dados.

  • Gerar documentação de dados de referência: crie e mantenha automaticamente descrições de metadados essenciais. É possível fazer as seguintes tarefas:

    • Depois de criar ou modificar a tabela, acione os insights de dados para gerar descrições de tabelas e colunas. Também é possível gerar essas descrições em grande escala usando a API de geração automatizada de metadados do Knowledge Catalog.

    • Revise e refine o texto gerado com IA para garantir a precisão técnica e a relevância para os negócios.

    Para mais informações sobre como gerar descrições de tabelas e colunas, consulte Gerar insights de tabelas.

  • Melhorar a compreensão do conjunto de dados para os usuários: facilite para os consumidores entenderem e usarem os conjuntos de dados fornecidos. É possível realizar as seguintes tarefas:

    • Gere insights sobre conjuntos de dados importantes, especialmente aqueles com relações complexas.

    • Adapte os insights gerados ao contexto de negócios específico da sua organização, fornecendo instruções personalizadas que definem os principais objetivos, o conhecimento do domínio e a terminologia. Por exemplo, é possível aplicar convenções de nomenclatura, especificar definições de negócios ou descrever chaves de mesclagem.

    • Verifique se as verificações de perfil de dados são executadas em tabelas para fornecer um contexto avançado para insights mais precisos e úteis.

    Para mais informações, consulte Gerar insights de conjuntos de dados e Basear insights nos resultados da criação de perfis de dados.

Workflows para administradores de dados

Esses fluxos de trabalho ajudam as equipes de gestão de dados e de governança a manter a integridade e a confiabilidade dos dados.

  • Validar e auditar metadados gerados com IA: garanta a precisão e a confiabilidade dos metadados produzidos pelos insights de dados. É possível realizar as seguintes tarefas:

    • Revise regularmente as descrições e as relações geradas pelo recurso de insights.

    • Compare as relações inferidas no gráfico de relações com modelos de dados e lógica de negócios estabelecidos.

    • Analise e corrija imprecisões nos metadados gerados com IA.

    Para mais informações, consulte Gerar insights de tabela e Gerar insights de conjunto de dados.

Preços

Para saber mais sobre os preços desse recurso, consulte Preços do agente do Data Cloud.

Cotas e limites

Para informações sobre cotas e limites desse recurso, consulte Cotas do Gemini no BigQuery.

Limitações

Os insights de dados têm as seguintes limitações:

  • Os insights de dados estão disponíveis para tabelas do BigQuery, do BigLake, externas, visualizações e namespaces do Iceberg.

  • Para clientes multicloud, os dados de outras nuvens não estão disponíveis.

  • Os insights de dados não são compatíveis com os tipos de coluna GEO ou JSON.

  • A execução de insights não garante a apresentação de consultas todas as vezes. Para aumentar a probabilidade de gerar consultas mais engajadoras, reinicie o pipeline de insights.

  • Para tabelas com controle de acesso no nível da coluna e permissões de usuário restritas, será possível gerar insights se você tiver acesso de leitura a todas as colunas da tabela. Para executar as consultas geradas, você precisa ter permissões suficientes.

  • O Gemini gera descrições para no máximo 350 colunas em uma tabela.

  • Para insights de conjuntos de dados, não é possível editar relações no gráfico de relações.

  • A geração de novos insights do conjunto de dados substitui os insights anteriores desse conjunto de dados.

  • Os insights de conjuntos de dados não são compatíveis com conjuntos de dados vinculados.

Locais

É possível usar insights de dados em todos os locais do BigQuery. Para saber onde o Gemini no BigQuery processa seus dados, consulte Onde o Gemini no BigQuery processa seus dados.

A seguir