Informazioni sui connettori di metadati

Man mano che i paesaggi di dati diventano più complessi, i metadati possono essere isolati su diverse piattaforme, rendendo difficile per i team trovare, considerare attendibili e gestire i propri dati. I connettori di Knowledge Catalog (in precedenza Dataplex Universal Catalog) aiutano a risolvere questo problema consentendoti di importare automaticamente i metadati tecnici, operativi, aziendali e semantici da origini dati di terze parti direttamente in Google Cloud.

Tramite questi connettori, puoi consentire agli analisti di cercare asset di dati esterni senza cambiare strumento, ai data steward di applicare la governance centralizzata in un ambiente multi-cloud e di monitorare la qualità dei dati multipiattaforma in un unico posto. Pianificando esecuzioni ricorrenti, puoi mantenere il catalogo sincronizzato con i sistemi di origine in modo che i tuoi team abbiano una visione accurata e aggiornata del tuo ecosistema di dati.

Origini dati supportate

Puoi importare i metadati dalle seguenti origini utilizzando i connettori di Knowledge Catalog:

  • Databricks Unity Catalog
  • dbt Core e Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Integrazioni con i partner di governance dei dati

Puoi anche integrare Knowledge Catalog con altre piattaforme di catalogazione e governance dei dati. Anziché estrarre i dati dalle origini dati non elaborate, queste integrazioni consentono agli strumenti di catalogo paralleli di condividere le informazioni. Puoi arricchire i metadati all'interno di Knowledge Catalog o esportarli per visualizzarli all'interno di questi strumenti di terze parti.

I seguenti partner forniscono integrazioni per Knowledge Catalog:

Il resto di questa pagina descrive l'importazione dei metadati tramite i connettori. Per maggiori informazioni sulle integrazioni dei partner, consulta le pagine dei partner collegati.

Come funziona

I connettori di Knowledge Catalog utilizzano integrazioni predefinite per connettersi alle tue origini dati ed estrarre automaticamente i metadati. BigQuery Data Transfer Service gestisce questi trasferimenti e mappa i metadati estratti a un gruppo di voci Knowledge Catalog specifico che scegli.

I connettori estraggono i seguenti tipi di metadati:

  • Metadati tecnici: definizioni di schema, tipo di dati e nome della colonna.
  • Metadati operativi: timestamp di creazione e modifica, derivazione, statistiche sull'utilizzo e risultati della qualità dei dati.
  • Metadati aziendali: tag, proprietari e annotazioni.
  • Metadati semantici: dimensioni, misure, metriche, query di riferimento e relazioni.

Dopo aver configurato un connettore, Knowledge Catalog pianifica le esecuzioni di importazione dei metadati in base alla pianificazione specificata, assicurando che il catalogo rimanga sincronizzato con il sistema di origine. Ogni volta che viene eseguita un'importazione dei metadati, viene eseguita una sovrascrittura completa delle voci nel gruppo di voci di destinazione gestito da quella configurazione. Gli oggetti di metadati non più presenti nell'origine vengono rimossi dal gruppo di voci e vengono aggiunti nuovi oggetti. Gli oggetti nel gruppo di voci che non vengono importati dalla configurazione del connettore non sono interessati.

Terminologia

In questa documentazione vengono utilizzati i seguenti termini:

  • Configurazione dell'importazione dei metadati: le impostazioni per un'attività pianificata o on demand che utilizza BigQuery Data Transfer Service per estrarre i metadati da un'origine e caricarli in Knowledge Catalog.
  • Esecuzione: una singola istanza di esecuzione di una configurazione di importazione dei metadati.
  • Gruppo di voci: una risorsa in Knowledge Catalog che contiene voci di metadati. Quando configuri un connettore, designi un gruppo di voci come destinazione dei metadati importati.
  • Voce: una risorsa in Knowledge Catalog che rappresenta un asset di dati, ad esempio una tabella o una vista.

Prezzi

Non sono previsti costi aggiuntivi da Knowledge Catalog o BigQuery Data Transfer Service per l'importazione dei metadati utilizzando i connettori.

Per altri utilizzi di Knowledge Catalog (come l'archiviazione dei metadati) si applicano i costi standard. Per saperne di più, consulta i prezzi di Knowledge Catalog.

Limitazioni

  • Vengono importati solo i metadati, non i dati sottostanti delle tabelle o delle viste di origine. Per trasferire i dati sottostanti, puoi utilizzare BigQuery Data Transfer Service.
  • Ogni esecuzione sovrascrive completamente le voci gestite dal connettore nel gruppo di voci di destinazione. Gli aggiornamenti incrementali dei metadati non sono supportati.
  • La cronologia delle esecuzioni viene conservata per 90 giorni.

Passaggi successivi