Utilizzare Knowledge Catalog con BigQuery

Knowledge Catalog (precedentemente noto come Dataplex Universal Catalog) interagisce con BigQuery come livello centrale di governance dei dati e accesso agentico per i metadati di BigQuery. Per saperne di più, consulta la panoramica di Knowledge Catalog.

Come faccio a utilizzare Knowledge Catalog con BigQuery?

Knowledge Catalog interagisce con BigQuery nei seguenti modi.

Importazione automatica dei metadati

Knowledge Catalog rileva e indicizza automaticamente i metadati tecnici delle risorse BigQuery. È incluso quanto segue:

Rappresentazione e arricchimento dei metadati

  • Voci: ogni tabella o asset BigQuery è rappresentato come una voce nel catalogo, anziché l'intera tabella; ad esempio, project.dataset.table.
  • Integrazione del prospetto della qualità dei dati: Knowledge Catalog fornisce un prospetto della qualità dei dati per ogni voce del catalogo. Oltre alle scansioni dei dati integrate di Knowledge Catalog, i risultati delle asserzioni di Dataform sono una fonte per questa scheda (anteprima).

  • Arricchimento automatico dei metadati: per le tabelle e le viste create con Dataform, puoi definire i metadati semantici direttamente nel codice. Questi metadati vengono sincronizzati automaticamente con Knowledge Catalog al completamento di un'azione della pipeline (Anteprima). Sono supportati i seguenti tipi di aspetto:

    • Panoramica: documentazione e testo riepilogativo per la voce.
    • Aspetti generici: tag di metadati semantici per dettagli tecnici, ad esempio informazioni sul tipo e sul sistema della tabella.

    Per controllare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Visualizzare le esecuzioni manuali precedenti.

    Una volta sincronizzati i metadati, puoi cercare e visualizzare la voce in Knowledge Catalog. Per saperne di più, consulta Cercare risorse.

  • Metadati a livello di colonna: le singole colonne o i singoli campi sono rappresentati come percorsi, il che ti consente di allegare metadati specifici, come indicatori di informazioni che consentono PII;identificazione personale o punteggi di qualità dei dati, a singoli campi all'interno di una tabella BigQuery anziché solo alla tabella stessa.

  • Aspetti: i metadati tecnici sono arricchiti con aspetti, che aggiungono il contesto aziendale ai dati, ad esempio proprietà, qualità dei dati e documentazione.

  • Prodotti di dati: puoi raggruppare gli asset BigQuery correlati in prodotti di dati, ad esempio i dati aziendali di e-commerce, che hanno accesso condiviso e vincoli di governance.

  • Ricerca semantica: gli utenti possono utilizzare il linguaggio naturale per cercare dati BigQuery, il che è particolarmente utile per data scientist e agenti AI per trovare prodotti di dati attendibili utilizzando query lunghe o complesse.
  • Traduzione dei nomi: per una ricerca programmatica più semplice, il sistema consente di tradurre i nomi SQL di BigQuery o i nomi completi in nomi di voci del Knowledge Catalog.

Accesso agentico e grounding

  • Accesso agentico: gli agenti AI possono scoprire e utilizzare in modo adattivo gli strumenti di Knowledge Catalog tramite un server MCP locale o remoto.
  • Contesto per gli agenti AI: Knowledge Catalog cura un grafico del contesto che collega i set di dati BigQuery alla semantica aziendale, contribuendo a ridurre le allucinazioni dell'AI garantendo che i modelli utilizzino dati approvati dall'azienda.

Governance e conformità

  • Data Lineage: Knowledge Catalog monitora automaticamente il flusso dei dati e la loro trasformazione in tabelle BigQuery e fuori da queste. Questa funzionalità è fondamentale per controllare le informazioni sensibili, come le PII, in tutto il patrimonio di dati.
  • Controllo dell'accesso:la gestione dei metadati è integrata con Identity and Access Management (IAM) e Controlli di servizio VPC per garantire che l'individuazione e l'accesso ai metadati BigQuery seguano le norme di sicurezza dell'organizzazione.

Considerazioni sulla migrazione

La migrazione a Knowledge Catalog da Data Catalog deprecato richiede diversi passaggi. I metadati standard di BigQuery (come set di dati, tabelle e viste) sono disponibili automaticamente in Knowledge Catalog, pertanto il processo di migrazione si concentra principalmente su metadati personalizzati, utilizzo delle API e impostazioni predefinite dell'interfaccia utente.

Di seguito sono riportati i punti principali da considerare durante la migrazione.

Informazioni sulla modifica

Knowledge Catalog offre funzionalità avanzate per la gestione, la governance e l'individuazione dei metadati rispetto a Data Catalog. Knowledge Catalog utilizza un'API diversa (l'API Knowledge Catalog) e ha un modello dei dati leggermente diverso; ad esempio, Knowledge Catalog utilizza aspetti e tipi di aspetti anziché tag e modelli di tag.

Valutare l'utilizzo attuale del catalogo dei dati

  • Nessun metadato personalizzato: se ti affidi solo a Knowledge Catalog per l'importazione e l'individuazione automatiche dei metadati standard di BigQuery senza creare tag personalizzati, modelli di tag, voci personalizzate o gruppi di voci, la transizione è semplice. Puoi iniziare subito a utilizzare l'interfaccia di Knowledge Catalog.
  • Metadati personalizzati o utilizzo programmatico: se hai creato tag o modelli personalizzati, voci personalizzate o utilizzi l'API Data Catalog, le librerie client, i comandi Google Cloud CLI o Terraform, devi eseguire una transizione più strutturata.

Considerazioni specifiche su BigQuery

  • Importazione automatica: i metadati tecnici degli asset BigQuery (set di dati, tabelle, viste, modelli, routine e grafici) continuano a essere importati automaticamente in Knowledge Catalog, come avveniva con Dataplex Universal Catalog.
  • Tag di criteri: i tag di criteri utilizzati per il controllo dell'accesso a livello di colonna di BigQuery non sono deprecati e la loro gestione rimane in BigQuery.
  • Tracciabilità: la tracciabilità dei dati per le operazioni BigQuery viene visualizzata in Knowledge Catalog. Per saperne di più sulla lineage dei dati, consulta Monitorare la lineage dei dati per una tabella BigQuery.

Segui la guida alla transizione

Per eseguire la migrazione a Knowledge Catalog, segui i passaggi descritti in Transizione da Data Catalog a Knowledge Catalog.

Per aggiornare i workflow programmatici all'API Knowledge Catalog, consulta Mappare i metodi dell'API Data Catalog a Knowledge Catalog.

Passaggi successivi

Scopri di più su Knowledge Catalog: