Informazioni sulle attività di arricchimento

Anteprima

Questa funzionalità è soggetta ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Le attività di arricchimento di Knowledge Catalog ti consentono di automatizzare la cura dei metadati e di creare set di contesti specifici per il dominio analizzando gli schemi dei set di dati, i log delle query e la documentazione aziendale. Puoi utilizzare queste proposte generate per ridurre l'impegno di documentazione manuale e basare gli agenti AI downstream sul contesto aziendale verificato.

Questo documento è rivolto a data steward, data engineer e amministratori della piattaforma che hanno familiarità con i concetti fondamentali di Knowledge Catalog e vogliono capire come funzionano le attività di arricchimento. Per configurare ed eseguire immediatamente un'attività di enrichment, consulta Crea attività di enrichment.

Perché utilizzare le attività di arricchimento

Le attività di arricchimento affrontano la sfida di mantenere i Data Catalog su larga scala accurati e aggiornati.

Aspetto	Approccio convenzionale	Approccio di Knowledge Studio
Procedura	Descrizioni scritte a mano. I responsabili esaminano manualmente migliaia di tabelle e intervistano esperti del dominio.	Basato sugli agenti. Un agente autonomo analizza i dati e legge le procedure operative standard.
Velocità e scalabilità	Lente e difficili da gestire man mano che gli schemi cambiano nel tempo.	Scalabilità elevata. I suggerimenti di metadati di alta qualità vengono generati continuamente.
Sforzo umano	Alta. Inserimento manuale dei dati e manutenzione continua.	Basso. I data steward devono solo esaminare e approvare i suggerimenti generati.

Casi d'uso delle attività di arricchimento

Le attività di arricchimento aiutano le organizzazioni a risolvere i seguenti problemi comuni relativi ai metadati:

• Integrazione delle acquisizioni: un'azienda acquisisce una nuova unità aziendale con migliaia di asset di dati non documentati. I data engineer indirizzano un'attività di arricchimento al nuovo set di dati e forniscono i dizionari dei dati dell'azienda acquisita come indicatore di conoscenza, ovvero materiale di riferimento che fornisce all'agente un contesto specifico dell'azienda. L'agente propone descrizioni in linea con l'attività per l'intero set di dati in poche ore anziché in mesi.

• Documentazione continua: un team di platform engineering crea un lakehouse dinamico in cui gli schemi cambiano ogni giorno. Il team configura un'attività di arricchimento da eseguire su base giornaliera con la pubblicazione automatica attivata, in modo che gli aggiornamenti dei metadati verificati vengano applicati automaticamente senza revisione manuale. La pubblicazione automatica garantisce che il catalogo rifletta sempre le modifiche più recenti dello schema.

• Governance semantica: un ufficio dati centrale vuole standardizzare la terminologia in tutti i reparti. Il team configura un'attività di arricchimento per utilizzare un glossario aziendale approvato come materiale di riferimento. L'agente quindi allinea le descrizioni di tabelle e colonne con queste definizioni ufficiali, garantendo una terminologia coerente in tutto il catalogo senza alterare le origini dati originali.

Concetti principali

Quando configuri un'attività di arricchimento, utilizzi i seguenti componenti principali e risorse facoltative:

Set di contesto (obbligatorio)

Un container limitato di asset di dati e metadati di destinazione. Ogni attività di arricchimento ha come target un set di contesto e ogni set di contesto può essere arricchito da una sola attività di arricchimento. Le attività di arricchimento non sovrascrivono le descrizioni delle risorse BigQuery sottostanti né creano termini del glossario aziendale. Al contrario, memorizzano le descrizioni, i concetti e i link colonna-glossario generati come voci di overlay all'interno del set di contesto e collegano le voci generate alle tabelle sottostanti utilizzando i link alle voci reference (projects/dataplex-types/locations/global/entryLinkTypes/reference). Il set di contesto può contenere risorse di destinazione precompilate (come un set di dati BigQuery o un lakehouse) oppure puoi creare un set di contesto vuoto e, facoltativamente, aggiungere risorse di destinazione quando configuri l'attività di arricchimento.

Ad esempio, un set di contesti di marketing che delimita logicamente le tabelle delle campagne, le metriche ROAS e i glossari della terminologia in un unico confine di contesto AI.

Attività di arricchimento

La configurazione che definisce ciò che l'agente deve fare. Un'attività contiene il set di contesto e la pianificazione richiesti, insieme a eventuali asset di dati target, indicatori di conoscenza, set di valutazione o origini di autoapprendimento facoltativi che configuri quando crei o modifichi l'attività.

Ad esempio, un'attività configurata per indicare all'agente di leggere i tuoi repository GitHub e arricchire il tuo set di dati finance ogni domenica a mezzanotte.

Job di arricchimento

Il processo di orchestrazione del backend all'interno di Knowledge Studio che esegue un'attività di arricchimento.

Esecuzione arricchimento

Una singola istanza di esecuzione point-in-time di un'attività. La console di Knowledge Studio include una scheda Job che elenca le esecuzioni storiche di un'attività. Puoi aprire un'esecuzione specifica per esaminare le proposte di metadati generate.

Ad esempio, l'istanza di esecuzione specifica che si è verificata il 24 ottobre e ha generato 15 modifiche alle colonne proposte.

Indicatori di conoscenza (facoltativo)

Materiali di riferimento esterni che basano l'agente sulla realtà della tua azienda. Quando fornisci bucket Cloud Storage, cartelle o file contenenti dizionari di dati, glossari di Knowledge Catalog o URL di documentazione interna durante la creazione di un'attività o la modifica dell'ambito di un'attività, ti assicuri che l'agente utilizzi la tua logica di business specifica anziché fare ipotesi generiche.

Set di valutazione (facoltativo)

Domande di test e SQL corrispondente (fornito in formato .jsonl quando crei o modifichi un'attività di arricchimento) utilizzati per valutare l'accuratezza dell'agente. Quando l'agente propone nuovi metadati, esegue queste domande di test sulle proposte per garantire che l'accuratezza non diminuisca prima della pubblicazione.

Ad esempio, fornendo una domanda di test come "Qual è il nostro MRR?" abbinata alla query SQL esatta necessaria per calcolare le entrate ricorrenti mensili. Se l'agente propone metadati confusi che causano l'errore di questa query di test, la proposta viene segnalata.

Fonti di autoapprendimento (facoltativo)

Log di conversazione in tempo reale delle tue app Gemini Enterprise o di BigQuery Agent Analytics che puoi allegare quando crei o modifichi un'attività di arricchimento. L'agente legge questi log di chat per identificare le domande degli utenti, scoprire le lacune di conoscenza e proporre automaticamente nuovi metadati per colmarle.

Ad esempio, se i log della chat rivelano che gli utenti chiedono spesso "Cosa significa il codice di stato 42?" e l'agente non riesce a rispondere, l'autoapprendimento attiva una proposta di metadati per documentare il codice di stato mancante.

Origini dati e integrazioni supportate per le attività di arricchimento

Le attività di arricchimento si integrano sia con Google Cloud sia con sistemi di terze parti.

Origini dati per l'arricchimento

L'agente di arricchimento può arricchire e aggiungere direttamente asset di dati target dalle seguenti origini dati Google Cloud ai tuoi set di contesto:

• Set di dati e tabelle BigQuery

• Cataloghi, spazi dei nomi e tabelle Lakehouse

Tramite l'integrazione di Lakehouse, Knowledge Studio supporta indirettamente l'arricchimento dei metadati da origini di terze parti collegate tramite integrazioni del catalogo REST Iceberg (come Databricks Unity, Snowflake Horizon, AWS Glue Data Catalog e SAP Business Data Cloud).

Indicatori di conoscenza (facoltativo)

Durante un'esecuzione di arricchimento, l'agente può estrarre regole semantiche, contesto aziendale e conoscenza del dominio dalle seguenti origini di sola lettura facoltative che colleghi all'attività:

• Google Cloud:

  • Bucket, cartelle o singoli file Cloud Storage contenenti formati file supportati (come PDF, CSV, Markdown, configurazione, set di dati e file di testo non strutturati)
  • Glossari aziendali di Knowledge Catalog situati nello stesso ambito regionale
  • Applicazioni Google Workspace, inclusi i file di Google Drive (come Documenti, Fogli, Slides, PDF, file e documenti di testo generici)

• Sistemi di terze parti (non Google Cloud):

  • File di Microsoft SharePoint di dimensioni inferiori a 5 MB (ad esempio PDF, file di Office e documenti di testo generici, esclusi i formati legacy o le immagini)
  • Repository GitHub (qualsiasi file contenente testo leggibile)
  • Spazi Atlassian Confluence e progetti Jira

Fonti di autoapprendimento (facoltativo)

Per identificare le lacune di conoscenza dai log delle interazioni reali, l'agente di arricchimento può estrarre le traiettorie dalle seguenti origini facoltative:

• Applicazioni Gemini Enterprise
• Tabelle BigQuery Agent Analytics. Per saperne di più, consulta BigQuery Agent Analytics.

Come funziona l'agente di arricchimento

Quando attivi un'attività di arricchimento, on demand o con una pianificazione ricorrente, viene avviata un'esecuzione di arricchimento. L'agente di arricchimento viene eseguito in modo asincrono in background, analizzando gli asset di dati, le tracce delle query e la documentazione per produrre proposte di metadati verificate.

Il seguente diagramma illustra l'architettura del flusso di lavoro di alto livello di un agente di arricchimento:

Workflow dell'agente di arricchimento.

L'agente cura il set di contesto attraverso quattro fasi chiave:

1. Analisi di indicatori e documentazione: l'agente analizza i log delle interazioni per trovare i punti in cui gli agenti AI downstream hanno avuto difficoltà o hanno richiesto una disambiguazione. L'agente analizza i documenti aziendali in Cloud Storage o nelle app di terze parti collegate ed esamina la cronologia delle query per scoprire join di tabelle ad alta frequenza e dipendenze upstream.
2. Bozze di proposte di contesto: guidato dal tuo obiettivo di selezione, l'agente redige un contesto strutturato per gli asset target. Queste bozze di proposte includono panoramiche delle tabelle orientate al business, formule formali delle metriche, condizioni di join verificate e modelli di query SQL di riferimento basati su parametri.
3. Benchmarking e ottimizzazione: ogni proposta viene controllata per verificarne la validità deterministica (ad esempio, la sintassi SQL valida) e viene assegnato un punteggio di affidabilità, che viene aggregato in un punteggio di affidabilità complessivo per l'esecuzione. Se hai configurato un set di valutazione, l'agente testa in modo iterativo i metadati in bozza rispetto alle domande di test per massimizzare l'accuratezza delle query downstream e misura se l'accuratezza diminuisce rispetto alla base di riferimento.

4. Applicazione delle policy di revisione: l'agente prepara tutte le modifiche proposte come richieste di modifica. Quando un'esecuzione genera più di 250 modifiche ai metadati, l'agente suddivide le proposte in richieste di modifica in batch concatenate (Batch 1 di N, Batch 2 di N e così via) che devono essere approvate in sequenza. Se hai attivato la pubblicazione automatica, l'agente valuta l'intera esecuzione nel suo complesso e approva automaticamente le richieste di modifica in fase di gestione temporanea, lasciando un record di audit, solo quando vengono soddisfatte tutte le seguenti condizioni:

   • Il punteggio di affidabilità complessivo dell'esecuzione è almeno 0,85 (85%) o soddisfa la soglia configurata.
   • Nessuna proposta non supera un controllo di validità (ad esempio, SQL non valido).
   • Quando viene configurato un set di valutazione, l'accuratezza non diminuisce di oltre 5 punti percentuali (o del calo di qualità massimo configurato).

   Se una di queste condizioni non viene soddisfatta, tutte le proposte nell'esecuzione rimangono in fase di gestione temporanea come richieste di modifica per la revisione manuale. Le proposte di eliminazione vengono sempre inserite in una richiesta di modifica Eliminazioni separata e conservate per la revisione manuale, anche quando la pubblicazione automatica è attiva.

Nota: se attivi la pubblicazione automatica, ti consigliamo vivamente di configurare un set di valutazione. Senza un guardrail di valutazione, l'agente potrebbe pubblicare automaticamente metadati che causano regressioni nelle query downstream.

Sicurezza e governance di livello enterprise

Poiché le attività di arricchimento di Knowledge Studio utilizzano l'intelligenza artificiale per analizzare gli schemi dei dati e la documentazione interna, la piattaforma implementa rigidi limiti di sicurezza e governance per proteggere le tue informazioni proprietarie:

• Identità di esecuzione gestita dall'utente: le attività di arricchimento vengono eseguite in un account di servizio di esecuzione gestito dall'utente che configuri nel tuo progetto. L'agente di servizio Dataplex impersona questo account di servizio di esecuzione utilizzando credenziali di breve durata, garantendo che i task possano leggere solo le origini dati e i set di contesto a cui concedi l'accesso esplicito.

• Governance human-in-the-loop: le proposte di metadati generate vengono gestite come richieste di modifica per mantenere un audit log. A meno che non attivi la pubblicazione automatica e l'esecuzione non soddisfi tutte le soglie di qualità, validità e valutazione, i data steward devono ispezionare i confronti delle differenze e i punteggi di affidabilità prima di approvare gli aggiornamenti di un set di contesto. Le proposte di eliminazione richiedono sempre una revisione manuale.

• Addestramento dei foundation model: i tuoi dati rimangono tuoi. Le tracce di esecuzione, gli schemi di database e gli indicatori di conoscenza forniti (come documenti o glossari interni) dei clienti non vengono mai utilizzati per addestrare i foundation model di Google.

• Sanitizzazione dei dati: prima che i metadati proposti vengano scritti in un set di contesto, l'agente oscura automaticamente le informazioni che consentono l'identificazione personale (PII) dai log di sistema e dalle tracce di generazione.

• Limiti di esecuzione: l'agente di arricchimento opera all'interno di un tenant sicuro gestito da Google. L'agente raggiunge le tue origini dati private utilizzando un'interfaccia Private Service Connect e un proxy in uscita controllato dal cliente.

Per configurare i ruoli IAM (Identity and Access Management), i service account e i provider di autenticazione esterni per le attività di arricchimento, consulta Configura i prerequisiti per le attività di arricchimento.

Configurazioni consigliate

Knowledge Catalog fornisce diverse impostazioni facoltative per le attività di arricchimento. Ti consigliamo di iniziare con una configurazione di base e di attivare progressivamente le funzionalità avanzate man mano che scali le operazioni sui metadati.

Configurazione	Componenti inclusi	Pubblicazione automatica	Consigliato per
Basic	Set di contesti	Disabilitato	Test dello strumento. Ti consente di vedere in che modo l'agente deduce i metadati esclusivamente dallo schema del set di dati. Devi esaminare manualmente tutte le proposte.
Grounded	Set di contesti Indicatori di conoscenza	Disabilitato	Ambienti di produzione. Fonda l'agente sulla tua logica di business specifica, utilizzando le tue procedure operative standard e i tuoi glossari per migliorare l'accuratezza.
Automatico	Set di contesti Indicatori di conoscenza Set di valutazione	Abilitato	Scalabilità delle operazioni sui metadati. Il set di valutazione funge da guardrail di sicurezza. Se una proposta generata automaticamente causa una regressione nell'accuratezza downstream, la pubblicazione viene interrotta per la revisione manuale.
Autoapprendimento	Set di contesti Indicatori di conoscenza Set di valutazione Fonti di autoapprendimento	Abilitato	Cataloghi avanzati e autonomi. L'agente si adatta continuamente analizzando le interazioni degli utenti in tempo reale e i log delle chat dell'agente per identificare e colmare le lacune di conoscenza.

Scegli tra un'attività singola e più attività

Ogni attività di arricchimento ha una relazione uno a uno con il set di contesto di destinazione e supporta fino a 500 risorse di dati totali tra le risorse predefinite del set di contesto e le eventuali risorse aggiuntive che aggiungi all'attività.

• Utilizza una singola attività di arricchimento e un set di contesto quando fino a 500 tabelle condividono un dominio aziendale, un team di data stewardship e una pianificazione di aggiornamento comuni. Il raggruppamento delle tabelle correlate in un'unica attività consente all'agente di arricchimento di scoprire chiavi di join tra tabelle, concetti aziendali condivisi e modelli di query SQL multi-tabella in un'unica esecuzione. Se un'esecuzione di grandi dimensioni genera più di 250 proposte di metadati, Knowledge Studio suddivide automaticamente l'output in batch sequenziali (Batch 1 di N, Batch 2 di N) in modo che i revisori possano approvarli in fasi gestibili.
• Suddividi in più set di contesto e attività di arricchimento quando i tuoi domini di dati hanno proprietari di dominio o approvatori del workflow distinti, richiedono pianificazioni di esecuzione o indicatori di conoscenza diversi o comprendono più di 500 tabelle di destinazione.

Ciclo di vita del deployment

Il processo di creazione e deployment di un'attività di arricchimento segue un ciclo di vita lineare:

1. Configura i prerequisiti: concedi i ruoli richiesti, configura i service account e attiva la profilazione dei dati e gli insight sui dati AI sulle tabelle utilizzate di frequente. Per saperne di più, consulta Configura i prerequisiti per le attività di arricchimento.
2. Collega conoscenze esterne: autorizza l'attività a leggere i file da Google Drive o da repository Git esterni per il grounding. Per saperne di più, consulta Configura i connettori esterni per le attività di arricchimento.
3. Crea l'attività: definisci il set di contesto, le risorse di destinazione, gli indicatori di conoscenza e la strategia di valutazione. Per saperne di più, consulta Crea attività di arricchimento.
4. Esamina le proposte dell'AI: controlla la diagnostica dell'esecuzione, esamina le descrizioni proposte e approva le modifiche ai metadati. Per saperne di più, consulta Valuta e approva le proposte di arricchimento.

Limitazioni

Durante l'anteprima, le attività di arricchimento operano entro i seguenti limiti:

• Limiti di conformità: le attività di arricchimento non supportano i Controlli di servizio VPC (Controlli di servizio VPC), le chiavi di crittografia gestite dal cliente (CMEK), gli impegni di residenza dei dati (DRZ), Access Transparency (AXT) o Assured Workloads.

• Gestione prima dalla console: È possibile configurare e gestire le attività esclusivamente tramite la Google Cloud console. Le API REST pubbliche dirette e i comandi dell'interfaccia a riga di comando gcloud non sono disponibili in Anteprima.

• Ambito dell'attività e mappatura del set di contesti uno a uno: ogni set di contesti può essere arricchito da una sola attività di arricchimento e ogni attività di arricchimento supporta fino a 500 risorse di destinazione totali.

• Quote e limiti: le attività di arricchimento e le esecuzioni delle attività sono soggette a quote di risorse e quote di frequenza regionali per progetto. Per saperne di più, consulta la sezione Attività di arricchimento di Knowledge Studio in Quote e limiti.

Prezzi

Durante l'anteprima, l'esecuzione di attività di arricchimento di Knowledge Studio e la gestione temporanea di richieste di modifica in batch non approvate sono offerte senza costi.

Un gruppo di voci del set di contesto vuoto o una richiesta di modifica in batch non approvata non comporta alcun addebito per l'archiviazione dei metadati. I costi di archiviazione dei metadati iniziano solo quando approvi una richiesta di modifica nel gruppo di voci del set di contesto (o quando la pubblicazione automatica applica le modifiche), momento in cui i costi di archiviazione dei metadati standard di Knowledge Catalog vengono applicati al Project Hosting che ospita il gruppo di voci. Nel tuo progetto si applicano i costi di utilizzo standard, tra cui l'elaborazione delle query BigQuery e le letture e scritture di gestione temporanea di Cloud Storage, quando un'attività di arricchimento utilizza risorse facoltative gestite dal cliente, come i bucket Cloud Storage per gli indicatori di conoscenza o i set di valutazione e le tabelle di traccia di BigQuery Agent Analytics per l'autoapprendimento.

Passaggi successivi

Concetto

Panoramica di Knowledge Studio

Scopri i concetti fondamentali e l'architettura di Knowledge Studio.

Concetto

Panoramica dei set di contesti

Scopri come i metadati generati dalle attività di arricchimento vengono archiviati nei set di contesto per fornire dati di base agli agenti AI.

Attività

Configura i prerequisiti per le attività di arricchimento

Scopri come configurare i ruoli e i service account per eseguire le attività di arricchimento.

Attività

Crea attività di enrichment

Scopri come generare metadati eseguendo attività di arricchimento automatico.

Attività

Valuta e approva le proposte di arricchimento

Scopri come monitorare i job ed esaminare o approvare manualmente i suggerimenti di metadati.

Attività

Gestisci le attività di arricchimento

Scopri come modificare, mettere in pausa ed eliminare i job di arricchimento pianificati.