Informazioni sugli approfondimenti sui dati strutturati

La funzionalità di insight sui dati di Knowledge Catalog (in precedenza Dataplex Universal Catalog) genera automaticamente descrizioni, grafici delle relazioni e query SQL dai metadati delle tabelle e dei set di dati. Queste informazioni ti aiutano a comprendere rapidamente la struttura, i contenuti e le relazioni dei dati senza una configurazione manuale estesa. Per approfondire, puoi fare domande aggiuntive in data canvas.

Quando esplorano una nuova tabella che non conoscono, gli analisti di dati spesso hanno difficoltà a capire come iniziare a scrivere query. Il problema può comportare incertezze sulla struttura dei dati e sui pattern chiave nei dati. La funzionalità di insight sui dati di Knowledge Catalog offre un modo automatico per esplorare e comprendere i tuoi dati. In questo modo puoi individuare pattern, valutare la qualità dei dati ed eseguire analisi statistiche.

Panoramica

Gli insight sui dati utilizzano Gemini per analizzare i metadati e generare quanto segue:

  • Descrizioni: riepiloghi generati dall'AI che spiegano lo scopo del set di dati o dello spazio dei nomi, la struttura della tabella e i dettagli di colonne specifiche.

  • Query di esempio: query GoogleSQL e Spark SQL personalizzate progettate specificamente per lo schema e i contenuti del set di dati, dello spazio dei nomi o della tabella.

  • Grafici delle relazioni: visualizzazioni che mostrano le connessioni e le dipendenze tra diverse tabelle all'interno del set di dati o dello spazio dei nomi.

Inoltre, gli insight sui dati supportano le istruzioni personalizzate (anteprima). Le istruzioni personalizzate consentono ai data steward di configurare il modo in cui vengono generati gli insight fornendo scopi commerciali, conoscenze di dominio e vocabolario organizzativo specifici.

Risorse supportate

Gli insight sui dati sono disponibili per i seguenti tipi di dati strutturati:

  • Set di dati, tabelle e viste BigQuery
  • Tabelle Lakehouse senza confini (tra cui Apache Iceberg, Apache Hive e SAP BDC)
  • Tabelle esterne
  • Tabelle del catalogo REST Apache Iceberg
  • Spazi dei nomi Apache Iceberg (rappresentati come set di dati in BigQuery)
  • Tabelle del catalogo Apache Hive
  • Tabelle SAP Business Data Cloud (BDC)

Esempio di esecuzione di insight

Gli insight sui dati generano automaticamente query in linguaggio naturale e i relativi equivalenti SQL in base ai metadati di una tabella. Per le tabelle Iceberg, gli insight sui dati generano anche equivalenti Spark SQL.

Esempio: insight SQL

Considera una tabella denominata telco_churn con il seguente schema:

Nome campo Tipo
CustomerID STRING
Genere STRING
Periodo di incarico INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contratto STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

Di seguito sono riportate alcune delle query di esempio generate da insight sui dati per questa tabella:

  • Identifica i clienti che hanno sottoscritto tutti i servizi premium e sono clienti da più di 50 mesi.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifica il servizio internet con il maggior numero di clienti che hanno abbandonato.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Identifica i tassi di abbandono per segmento tra i clienti di alto valore.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Esempio: insight di Spark SQL

Considera una tabella Apache Iceberg denominata catalog_metrics con il seguente schema:

Nome campo Tipo
dettagli STRUCT
creation_date DATE
creation_time TIMESTAMP
precise_measure DOUBLE
prezzo DOUBLE
metadati STRUCT
is_active BOOLEAN

Di seguito sono riportate alcune query SQL Spark di esempio generate da insight sui dati per questa tabella:

  • Calcola la somma cumulativa di precise_measure ordinata per creation_time per ogni details.field1.

    SELECT
  details.field1,
  creation_time,
  precise_measure,
  SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics;

  • Ottieni il prezzo massimo per ogni combinazione di details.field1 e details.field2, ma solo per i record creati negli ultimi 30 giorni.

    SELECT
  details.field1,
  details.field2,
  MAX(price) AS max_price
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  creation_date >= DATE_SUB(CURRENT_DATE(), 30)
GROUP BY
  details.field1,
  details.field2;

  • Ottieni il valore medio di metadata.value per gli elementi con is_active impostato su false.

    SELECT
  AVG(metadata.value) AS avg_value
FROM
  PROJECT_ID.DATASET_ID.catalog_metrics
WHERE
  is_active = false;

Modalità per generare insight sui dati

Durante la generazione di insight sui dati, Knowledge Catalog offre due modalità:

Modalità Descrizione Utilizzo
Genera e pubblica

Conserva gli insight sui dati generati in Knowledge Catalog come aspetti dei metadati. Devi disporre delle autorizzazioni necessarie per la pubblicazione. Quando utilizzi Genera e pubblica, vengono eseguite le seguenti azioni:

  • Archivia le descrizioni di tabelle e colonne in Knowledge Catalog.
  • Acquisisce query e domande suggerite come aspetti riutilizzabili.
  • Rende gli insight pubblicati accessibili a tutti gli utenti che dispongono dell'accesso appropriato a Knowledge Catalog, garantendo la condivisione delle conoscenze dell'organizzazione.
  • Consente di modificare e salvare le descrizioni direttamente in Knowledge Catalog.

Utilizza questa modalità per la documentazione dei dati a livello aziendale che persiste ed è riutilizzabile o quando crei flussi di lavoro di governance basati su catalogo.
Genera senza pubblicare

Crea insight sui dati come descrizioni, domande in linguaggio naturale e query SQL on demand. Per creare un'istanza di un cluster Dataproc, devi disporre delle autorizzazioni per creare risorse di Compute Engine, come istanze di macchine virtuali (VM). ## Autorizzazioni richieste Per creare un cluster Dataproc, devi disporre del ruolo **Amministratore Dataproc** per il progetto Google Cloud. ## Crea un cluster Segui questi passaggi per creare un cluster Dataproc con l'immagine predefinita di Dataproc. 1. Apri la pagina **Crea un cluster Dataproc** nella console Google Cloud. <a href="https://console.cloud.google.com/dataproc/clusteradd?_ga=2.114341063.-1521441914.1571761408" target="_blank"> Vai a Crea un cluster Dataproc </a> 1. Fai clic su **Crea** nella riga **Cluster su Compute Engine**. 1. Nella sezione **Configura cluster**: * **Nome**: inserisci un nome per il cluster. * **Località**: seleziona una regione e una zona per il cluster. Dataproc supporta le regioni globali e regionali. Puoi specificare una regione, ad esempio `us-east1` o `global`, per isolare le risorse di rete e di elaborazione all'interno della regione dopo

Utilizza questa modalità per un'esplorazione rapida e ad hoc per evitare di ingombrare il catalogo.

Prezzi

Per i dettagli sui prezzi di questa funzionalità, consulta Prezzi di Data Cloud Agent.

Per monitorare il consumo di token per i job di scansione degli insight sui dati e creare dashboard personalizzate in Cloud Monitoring, consulta Monitora l'utilizzo dei token degli insight sui dati.

Quote e limiti

Per scoprire come gestire i costi e impostare limiti sull'utilizzo dei token di insight sui dati, consulta Quote e limiti per gli insight sui dati.

Località

Puoi utilizzare gli insight sui dati in tutte le località BigQuery. Per scoprire dove Gemini in BigQuery elabora i tuoi dati, consulta Dove Gemini in BigQuery elabora i tuoi dati.

Limitazioni

  • Per i clienti multi-cloud, i dati di altri cloud non sono disponibili.
  • Gli insight sui dati non supportano i tipi di colonna Geo o JSON.
  • Le esecuzioni di Insights non garantiscono la presentazione delle query ogni volta. Per aumentare la probabilità di generare query più coinvolgenti, rigenera gli insight in BigQuery Studio.

Passaggi successivi