Profila i dati
Le scansioni di profilazione dei dati ti aiutano a comprendere meglio i tuoi dati analizzandone le caratteristiche statistiche, come i valori medi, univoci e massimi. L'utilizzo di queste scansioni basate su Knowledge Catalog ti consente di scoprire insight approfonditi sui tuoi set di dati e di stabilire rapidamente regole consigliate per i controlli della qualità dei dati.
Per saperne di più sulla profilazione dei dati, consulta Informazioni sulla profilazione dei dati.
Prima di iniziare
Abilita l'API Dataplex, se non è già abilitata.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin).
Scopri come concedere i ruoli.
Ruoli obbligatori
Questa sezione descrive i ruoli e le autorizzazioni IAM necessari per utilizzare le scansioni di profilazione dei dati di Knowledge Catalog.
Ruoli utente e autorizzazioni
Per ottenere le autorizzazioni necessarie per creare e gestire le scansioni di profilazione dei dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Creare, eseguire, aggiornare ed eliminare scansioni di profilazione dei dati:
Dataplex DataScan Editor (
roles/dataplex.dataScanEditor) sul progetto contenente la scansione dei dati -
Visualizza i risultati, i job e la cronologia della scansione di profilazione dei dati:
Dataplex DataScan Viewer (
roles/dataplex.dataScanViewer) sul progetto contenente la scansione di profilazione dei dati -
Pubblica i risultati della scansione di profilazione dei dati in Knowledge Catalog:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) nel gruppo di voci@bigquery -
Visualizza i risultati della scansione di profilazione dei dati pubblicati in BigQuery nella scheda Profilo dati:
Visualizzatore dati BigQuery (
roles/bigquery.dataViewer) nella tabella -
Esegui scansioni di profilazione dei dati:
- BigQuery Job User (
roles/bigquery.jobUser) nel progetto che esegue l'analisi (tutti i tipi di tabelle) - BigQuery Data Viewer (
roles/bigquery.dataViewer) sulle tabelle BigQuery sottoposte a scansione
- BigQuery Job User (
-
Esegui scansioni di profilazione dei dati su tabelle esterne BigQuery che utilizzano i dati di Cloud Storage:
- Storage Object Viewer (
roles/storage.objectViewer) sul bucket Cloud Storage (Cloud Storage, Apache Hive e catalogo REST Iceberg) - Storage Legacy Bucket Reader (
roles/storage.legacyBucketReader) sul bucket Cloud Storage
- Storage Object Viewer (
-
Esegui scansioni di profilazione dei dati per le tabelle del catalogo REST Iceberg, SAP BDC Delta Lake e Apache Hive su Google Cloud Lakehouse:
BigLake Viewer (
roles/biglake.viewer) sulle tabelle sottoposte a scansione -
Esporta i risultati della scansione di profilazione dei dati in una tabella BigQuery:
BigQuery Data Editor (
roles/bigquery.dataEditor) nella tabella
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare e gestire le scansioni di profilazione dei dati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare e gestire le scansioni di profilazione dei dati sono necessarie le seguenti autorizzazioni:
-
Creare, eseguire, aggiornare ed eliminare scansioni di profilazione dei dati:
-
dataplex.datascans.createsul progetto -
dataplex.datascans.updatesulla scansione dei dati -
dataplex.datascans.deletesulla scansione dei dati -
dataplex.datascans.runsulla scansione dei dati -
dataplex.datascans.getsulla scansione dei dati -
dataplex.datascans.listsul progetto -
dataplex.dataScanJobs.getsul job di scansione dei dati -
dataplex.dataScanJobs.listsulla scansione dei dati
-
-
Visualizza i risultati, i job e la cronologia della scansione di profilazione dei dati:
-
dataplex.datascans.getDatasulla scansione dei dati -
dataplex.datascans.listsul progetto -
dataplex.dataScanJobs.getsul job di scansione dei dati -
dataplex.dataScanJobs.listsulla scansione dei dati
-
-
Pubblica i risultati della scansione di profilazione dei dati in Knowledge Catalog:
-
dataplex.entryGroups.useDataProfileAspectsul gruppo di voci -
bigquery.tables.updatesul tavolo -
dataplex.entries.updateall'ingresso
-
-
Visualizza i risultati del profilo dati pubblicati per una tabella in BigQuery o Knowledge Catalog:
-
bigquery.tables.getsul tavolo -
bigquery.tables.getDatasul tavolo
-
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Ruoli e autorizzazioni del account di servizio di Knowledge Catalog
Indipendentemente dall'identità di esecuzione selezionata (l'agente di servizio Knowledge Catalog predefinito, un account di servizio personalizzato o le credenziali dell'utente finale), questa identità richiede i seguenti ruoli e autorizzazioni per eseguire i job di scansione del profilo dei dati nel backend ed esportare i risultati.
Per assicurarti che l'identità di esecuzione disponga delle autorizzazioni necessarie per eseguire scansioni di profilazione dei dati ed esportare i risultati, chiedi all'amministratore di concedere i seguenti ruoli IAM all'identità di esecuzione:
-
Esegui scansioni di profilazione dei dati:
- BigQuery Job User (
roles/bigquery.jobUser) nel progetto che esegue l'analisi (tutti i tipi di tabelle) - BigQuery Data Viewer (
roles/bigquery.dataViewer) sulle tabelle BigQuery sottoposte a scansione
- BigQuery Job User (
-
Esegui scansioni di profilazione dei dati per le tabelle esterne BigQuery che utilizzano i dati di Cloud Storage:
- Storage Object Viewer (
roles/storage.objectViewer) sul bucket Cloud Storage - Storage Legacy Bucket Reader (
roles/storage.legacyBucketReader) sul bucket Cloud Storage
- Storage Object Viewer (
-
Esegui scansioni di profilazione dei dati per le tabelle del catalogo REST Iceberg, SAP BDC Delta Lake e Apache Hive su Google Cloud Lakehouse:
BigLake Viewer (
roles/biglake.viewer) sulle tabelle sottoposte a scansione -
Esporta i risultati della scansione di profilazione dei dati in una tabella BigQuery:
BigQuery Data Editor (
roles/bigquery.dataEditor) nella tabella
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire scansioni di profilazione dei dati ed esportare i risultati. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per eseguire le scansioni di profilazione dei dati ed esportare i risultati, sono necessarie le seguenti autorizzazioni:
-
Esegui scansioni di profilazione dei dati sui dati BigQuery:
-
bigquery.jobs.createsul progetto -
bigquery.tables.getsul tavolo -
bigquery.tables.getDatasul tavolo
-
-
Esegui scansioni di profilazione dei dati per le tabelle esterne BigQuery che utilizzano i dati di Cloud Storage:
-
storage.buckets.getsul bucket -
storage.objects.getsull'oggetto
-
-
Esporta i risultati della scansione di profilazione dei dati in una tabella BigQuery:
-
bigquery.tables.createsul set di dati -
bigquery.tables.updateDatasul tavolo
-
L'amministratore potrebbe anche essere in grado di concedere all'identità di esecuzione queste autorizzazioni tramite ruoli personalizzati o altri ruoli predefiniti.
Se una tabella utilizza la sicurezza a livello di riga di BigQuery, Knowledge Catalog può scansionare solo le righe visibili al account di servizio di Knowledge Catalog. Per consentire a Knowledge Catalog di scansionare tutte le righe, aggiungi il suo account di servizio a un filtro di riga in cui il predicato è TRUE.
Se una tabella utilizza la sicurezza a livello di colonna di BigQuery, Knowledge Catalog richiede l'accesso per scansionare le colonne protette. Per concedere l'accesso, assegna al account di servizio Knowledge Catalog il ruolo Lettore granulare Data Catalog (roles/datacatalog.fineGrainedReader) su tutti i tag di policy utilizzati nella tabella. L'utente che crea o aggiorna un'analisi dei dati deve disporre anche delle autorizzazioni per le colonne protette.
Concedi i ruoli al account di servizio di Knowledge Catalog
Per eseguire le scansioni di profilazione dei dati, Knowledge Catalog utilizza un account di servizio che richiede le autorizzazioni per eseguire i job BigQuery e leggere i dati delle tabelle BigQuery. Per concedere i ruoli richiesti, segui questi passaggi:
Recupera l'indirizzo email del account di servizio di Knowledge Catalog. Se non hai mai creato un profilo dati o una scansione della qualità dei dati in questo progetto, esegui il seguente comando
gcloudper generare l'identità di servizio:gcloud beta services identity create --service=dataplex.googleapis.comIl comando restituisce l'indirizzo email del account di servizio, che ha il seguente formato: service-PROJECT_ID@gcp-sa-dataplex..
Se il account di servizio esiste già, puoi trovare la sua email visualizzando le entità con il nome Dataplex nella pagina IAM nella consoleGoogle Cloud .
Concedi all'account di servizio il ruolo BigQuery Job User (
roles/bigquery.jobUser) nel tuo progetto. Questo ruolo consente al account di servizio di eseguire job BigQuery per l'analisi.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex." \ --role="roles/bigquery.jobUser"Sostituisci quanto segue:
PROJECT_ID: il tuo ID progetto Google Cloud .service-PROJECT_NUMBER@gcp-sa-dataplex.: l'indirizzo email del account di servizio Knowledge Catalog.
Concedi al account di servizio il ruolo BigQuery Data Viewer (
roles/bigquery.dataViewer) per ogni tabella di cui vuoi eseguire la profilazione. Questo ruolo concede l'accesso di sola lettura alle tabelle.gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex." \ --role="roles/bigquery.dataViewer"Sostituisci quanto segue:
DATASET_ID: l'ID del set di dati contenente la tabella.TABLE_ID: l'ID della tabella da profilare.service-PROJECT_NUMBER@gcp-sa-dataplex.: l'indirizzo email del account di servizio Knowledge Catalog.
Crea una scansione di profilazione dei dati
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic su Crea scansione di profilazione dei dati.
(Facoltativo) Inserisci un Nome visualizzato.
Inserisci un ID. Consulta le convenzioni di denominazione delle risorse.
Facoltativo: inserisci una descrizione.
Nel campo Tabella, fai clic su Sfoglia. Scegli la tabella da scansionare e poi fai clic su Seleziona. Sono supportate solo le tabelle BigQuery standard, Iceberg REST Catalog, SAP BDC Delta Lake e Apache Hive su Lakehouse Google Cloud.
Per le tabelle in set di dati multiregionali, scegli una regione in cui creare la scansione dei dati.
Per sfogliare le tabelle organizzate nei lake Knowledge Catalog, fai clic su Sfoglia i lake Knowledge Catalog.
Nella sezione Modalità, seleziona una delle seguenti opzioni:
Standard: profila i dati con impostazioni di scansione personalizzabili. Si tratta della modalità predefinita.
Leggero: fornisce insight rapidi con una scansione a bassa latenza e bassa fedeltà.
Se hai scelto la modalità Standard, configura le seguenti opzioni. Queste opzioni non vengono visualizzate quando selezioni la modalità Leggera.
Nel campo Ambito, scegli Incrementale o Tutti i dati.
Se scegli Dati incrementali, nel campo Colonna timestamp, seleziona una colonna di tipo
DATEoTIMESTAMPdalla tabella BigQuery. Knowledge Catalog utilizza questa colonna per identificare i nuovi record man mano che vengono aggiunti. Per le tabelle partizionate in base a una colonna di tipoDATEoTIMESTAMP, ti consigliamo di utilizzare questa colonna come colonna di partizione.(Facoltativo) Per filtrare i dati, esegui una delle seguenti operazioni:
Per filtrare in base alle righe, seleziona la casella di controllo Filtra righe. Inserisci un'espressione SQL valida che può essere utilizzata in una clausola
WHEREnella sintassi GoogleSQL. Ad esempio:col1 >= 0.Il filtro può essere una combinazione di condizioni SQL su più colonne. Ad esempio:
col1 >= 0 AND col2 < 10.Per filtrare in base alle colonne, seleziona la casella di controllo Filtra colonne.
Per includere colonne nell'analisi del profilo, nel campo Includi colonne, fai clic su Sfoglia. Seleziona le colonne da includere, quindi fai clic su Seleziona.
Per escludere colonne dall'analisi del profilo, fai clic su Sfoglia nel campo Escludi colonne. Seleziona le colonne da escludere, quindi fai clic su Seleziona.
Per applicare il campionamento alla scansione di profilazione dei dati, nell'elenco Dimensioni di campionamento, seleziona una percentuale di campionamento. Scegli un valore percentuale compreso tra 0,0% e 100,0% con un massimo di 3 cifre decimali.
Per set di dati più grandi, scegli una percentuale di campionamento inferiore. Ad esempio, per una tabella da 1 PB, se inserisci un valore compreso tra lo 0,1% e l'1,0%, il profilo dati campiona tra 1 e 10 TB di dati.
Per restituire un risultato, i dati campionati devono contenere almeno 100 record.
Per le scansioni dei dati incrementali, la scansione di profilazione dei dati applica il campionamento all'incremento più recente.
(Facoltativo) Pubblica i risultati della scansione di profilazione dei dati nelle pagine BigQuery e Knowledge Catalog nella consoleGoogle Cloud per la tabella di origine. Seleziona la casella di controllo Pubblica i risultati in Knowledge Catalog.
Puoi visualizzare i risultati dell'ultima scansione nella scheda Profilo dati nelle pagine BigQuery e Knowledge Catalog della tabella di origine. Per consentire agli utenti di accedere ai risultati della scansione pubblicati, consulta la sezione Concedi l'accesso ai risultati della scansione di profilazione dei dati di questo documento.
L'opzione di pubblicazione potrebbe non essere disponibile nei seguenti casi:
- Non disponi delle autorizzazioni necessarie per la tabella.
- È impostata un'altra scansione di profilazione dei dati per pubblicare i risultati.
Nella sezione Pianificazione, scegli una delle seguenti opzioni:
Ripeti: esegui la scansione di profilazione dei dati in base a una pianificazione: ogni ora, ogni giorno, ogni settimana, ogni mese o personalizzata. Specifica la frequenza e l'ora di esecuzione dell'analisi. Se scegli Personalizzata, utilizza il formato cron per specificare la pianificazione.
On demand: esegui la scansione di profilazione dei dati on demand.
Esecuzione una tantum: esegui la scansione di profilazione dei dati una volta ora e rimuovila dopo il periodo di eliminazione automatica. Questa funzionalità è in anteprima.
- Imposta l'eliminazione automatica dei risultati post-scansione: il tempo di eliminazione automatica definisce la durata di una scansione di profilazione dei dati dopo l'esecuzione. Una scansione di profilazione dei dati senza un tempo di eliminazione automatica specificato viene rimossa automaticamente dopo 24 ore. Il tempo di eliminazione automatica può variare da 0 secondi (eliminazione immediata) a 365 giorni.
Fai clic su Continua.
(Facoltativo) Esporta i risultati della scansione in una tabella BigQuery standard. Nella sezione Esporta i risultati della scansione in una tabella BigQuery, segui questi passaggi:
Nel campo Seleziona set di dati BigQuery, fai clic su Sfoglia. Seleziona un set di dati BigQuery per archiviare i risultati della scansione di profilazione dei dati.
Nel campo Tabella BigQuery, specifica la tabella in cui archiviare i risultati della scansione di profilazione dei dati. Se utilizzi una tabella esistente, assicurati che sia compatibile con lo schema della tabella di esportazione. Se la tabella specificata non esiste, Knowledge Catalog la crea per te.
(Facoltativo) Aggiungi delle etichette. Le etichette sono coppie chiave-valore che consentono di raggruppare oggetti correlati fra loro o con altre risorse Google Cloud .
Per creare l'analisi, fai clic su Crea.
Se imposti la pianificazione su on demand, puoi anche eseguire la scansione ora facendo clic su Esegui scansione.
gcloud
Per creare una scansione di profilazione dei dati, utilizza il comando gcloud dataplex datascans create data-profile.
Se i dati di origine sono organizzati in un lake di Knowledge Catalog, includi il flag --data-source-entity:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY
Se i dati di origine non sono organizzati in un lake Knowledge Catalog, includi il flag --data-source-resource:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-resource=DATA_SOURCE_RESOURCE
Sostituisci le seguenti variabili:
DATASCAN: il nome della scansione di profilazione dei dati.LOCATION: la regione Google Cloud in cui creare la scansione di profilazione dei dati.DATA_SOURCE_ENTITY: l'entità Knowledge Catalog che contiene i dati per la scansione di profilazione dei dati. Ad esempio,projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.DATA_SOURCE_RESOURCE: il nome della risorsa che contiene i dati per la scansione di profilazione dei dati. Ad esempio,//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.
C#
C#
Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Vai
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Ruby
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per creare una scansione di profilazione dei dati, utilizza il
metodo dataScans.create.
Crea più scansioni di profilazione dei dati
Puoi configurare le scansioni di profilazione dei dati per più tabelle in un set di dati BigQuery contemporaneamente utilizzando la console Google Cloud .
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic su Crea scansione di profilazione dei dati.
Seleziona l'opzione Più scansioni di profilazione dei dati.
Inserisci un prefisso ID. Knowledge Catalog genera automaticamente gli ID scansione utilizzando il prefisso fornito e suffissi univoci.
Inserisci una descrizione per tutte le scansioni di profilazione dei dati.
Nel campo Set di dati, fai clic su Sfoglia. Seleziona un set di dati da cui scegliere le tabelle. Fai clic su Seleziona.
Se il set di dati è multiregionale, seleziona una Regione in cui creare le scansioni di profilazione dei dati.
Nella sezione Modalità, scegli una delle seguenti opzioni:
Standard: profila i dati con impostazioni di scansione personalizzabili. Si tratta della modalità predefinita.
Leggero: fornisce insight rapidi con una scansione a bassa latenza e bassa fedeltà. Questa funzionalità è in anteprima.
Se hai scelto la modalità Standard, configura le seguenti impostazioni per le scansioni. Queste impostazioni non vengono visualizzate quando è selezionata la modalità Lightweight.
Nel campo Ambito, scegli Incrementale o Tutti i dati.
Se scegli i dati Incrementali, puoi selezionare solo le tabelle partizionate in una colonna di tipo
DATEoTIMESTAMP.Per applicare il campionamento alle scansioni di profilazione dei dati, nell'elenco Dimensione campionamento, seleziona una percentuale di campionamento.
Scegli un valore percentuale compreso tra 0,0% e 100,0% con un massimo di 3 cifre decimali.
(Facoltativo) Pubblica i risultati della scansione di profilazione dei dati nelle pagine BigQuery e Knowledge Catalog nella consoleGoogle Cloud per la tabella di origine. Seleziona la casella di controllo Pubblica i risultati in Knowledge Catalog.
Puoi visualizzare i risultati della scansione più recente nella scheda Profilo dati nelle pagine BigQuery e Knowledge Catalog della tabella di origine. Per consentire agli utenti di accedere ai risultati della scansione pubblicati, consulta la sezione Concedi l'accesso ai risultati della scansione di profilazione dei dati di questo documento.
Nella sezione Pianificazione, scegli una delle seguenti opzioni:
Ripeti: esegui le scansioni di profilazione dei dati in base a una pianificazione: ogni ora, ogni giorno, ogni settimana, ogni mese o personalizzata. Specifica la frequenza e l'ora di esecuzione delle scansioni. Se scegli Personalizzata, utilizza il formato cron per specificare la pianificazione.
On demand: esegui le scansioni di profilazione dei dati on demand.
Esecuzione una tantum: esegui la scansione di profilazione dei dati una volta adesso e rimuovila dopo il tempo di eliminazione automatica. Questa funzionalità è in anteprima.
- Imposta l'eliminazione automatica dei risultati post-scansione: il tempo di eliminazione automatica definisce la durata di una scansione di profilazione dei dati dopo l'esecuzione. Una scansione di profilazione dei dati senza un tempo di eliminazione automatica specificato viene rimossa automaticamente dopo 24 ore. Il tempo di eliminazione automatica può variare da 0 secondi (eliminazione immediata) a 365 giorni.
Fai clic su Continua.
Nel campo Scegli tabelle, fai clic su Sfoglia. Scegli una o più tabelle da analizzare, quindi fai clic su Seleziona.
Fai clic su Continua.
(Facoltativo) Esporta i risultati della scansione in una tabella BigQuery standard. Nella sezione Esporta i risultati della scansione in una tabella BigQuery, segui questi passaggi:
Nel campo Seleziona set di dati BigQuery, fai clic su Sfoglia. Seleziona un set di dati BigQuery per archiviare i risultati della scansione di profilazione dei dati.
Nel campo Tabella BigQuery, specifica la tabella in cui archiviare i risultati della scansione di profilazione dei dati. Se utilizzi una tabella esistente, assicurati che sia compatibile con lo schema della tabella di esportazione. Se la tabella specificata non esiste, Knowledge Catalog la crea per te.
Knowledge Catalog utilizza la stessa tabella dei risultati per tutte le scansioni di profilazione dei dati.
(Facoltativo) Aggiungi delle etichette. Le etichette sono coppie chiave-valore che consentono di raggruppare oggetti correlati fra loro o con altre risorse Google Cloud .
Per creare le scansioni, fai clic su Crea.
Se imposti la pianificazione su on demand, puoi anche eseguire le scansioni ora facendo clic su Esegui scansione.
Esegui una scansione di profilazione dei dati
Console
-
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
- Fai clic sulla scansione di profilazione dei dati da eseguire.
- Fai clic su Esegui ora.
gcloud
Per eseguire una scansione di profilazione dei dati, utilizza il comando gcloud dataplex datascans run:
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
Sostituisci le seguenti variabili:
DATASCAN: il nome della scansione di profilazione dei dati.LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.
C#
C#
Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Vai
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Ruby
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per eseguire una scansione di profilazione dei dati, utilizza il metodo dataScans.run.
Airflow
Per eseguire una scansione del profilo dati utilizzando un grafico aciclico diretto (DAG) inServizio gestito per Apache Airflow (Cloud Composer), utilizzare ilDataplexRunDataProfileScanOperator:
from datetime import datetime
from airflow import DAG
from airflow.providers.google.cloud.operators.dataplex import DataplexRunDataProfileScanOperator
with DAG(
"dataplex_data_profile_scan",
start_date=datetime(2026, 1, 1),
schedule_interval="@daily",
catchup=False,
) as dag:
run_profile_scan = DataplexRunDataProfileScanOperator(
task_id="run_dataplex_profile_scan",
project_id="PROJECT_ID",
region="REGION",
data_scan_id="DATASCAN_ID",
)
Sostituisci le seguenti variabili:
PROJECT_ID: l'ID progetto Google Cloud .REGION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.DATASCAN_ID: l'ID della scansione di profilazione dei dati.
Visualizza i risultati della scansione di profilazione dei dati
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sul nome di una scansione di profilazione dei dati.
La sezione Panoramica mostra informazioni sui job più recenti, tra cui quando è stata eseguita la scansione, il numero di record della tabella scansionati e lo stato del job.
La sezione Configurazione della scansione di profilazione dei dati mostra i dettagli della scansione.
Per visualizzare informazioni dettagliate su un job, ad esempio le colonne della tabella scansionata, le statistiche sulle colonne trovate nella scansione e i log del job, fai clic sulla scheda Cronologia job. Poi, fai clic su un ID job.
gcloud
Per visualizzare i risultati di un job di scansione di profilazione dei dati, utilizza il
comando gcloud dataplex datascans jobs describe:
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
Sostituisci le seguenti variabili:
JOB: l'ID job del job di scansione di profilazione dei dati.LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.DATASCAN: il nome della scansione di profilazione dei dati a cui appartiene il job.--view=FULL: per visualizzare il risultato del job di scansione, specificaFULL.
C#
C#
Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Vai
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Ruby
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per visualizzare i risultati di una scansione di profilazione dei dati, utilizza il metodo dataScans.get.
Visualizza i risultati pubblicati
Se i risultati della scansione di profilazione dei dati vengono pubblicati nelle pagine BigQuery e Knowledge Catalog della console Google Cloud , puoi visualizzare i risultati della scansione più recente nella scheda Profilo dei dati della tabella di origine.
Nella console Google Cloud , vai alla pagina BigQuery.
Nel riquadro a sinistra, fai clic su Spazio di esplorazione:

Se non vedi il riquadro a sinistra, fai clic su Espandi riquadro sinistro per aprirlo.
Nel riquadro Explorer, fai clic su Set di dati e poi sul tuo set di dati.
Fai clic su Panoramica > Tabelle, quindi seleziona la tabella di cui vuoi visualizzare i risultati della scansione di profilazione dei dati.
Fai clic sulla scheda Profilo dati.
Vengono visualizzati gli ultimi risultati pubblicati.
Visualizza il job di scansione di profilazione dei dati più recente
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sul nome di una scansione di profilazione dei dati.
Fai clic sulla scheda Risultati del job più recente.
La scheda Risultati del job più recente, quando è presente almeno un'esecuzione completata correttamente, fornisce informazioni sul job più recente. Elenca le colonne della tabella scansionata e le statistiche sulle colonne trovate nella scansione.
gcloud
Per visualizzare l'ultima scansione di profilazione dei dati riuscita, utilizza il
comando gcloud dataplex datascans describe:
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
Sostituisci le seguenti variabili:
DATASCAN: il nome della scansione di profilazione dei dati per cui visualizzare il job più recente.LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.--view=FULL: per visualizzare il risultato del job di scansione, specificaFULL.
REST
Per visualizzare il job di scansione più recente, utilizza il metodo dataScans.get.
Visualizza i risultati delle scansioni storiche
Knowledge Catalog salva la cronologia delle scansioni di profilazione dei dati degli ultimi 300 job o dell'ultimo anno, a seconda di quale evento si verifica per primo.
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sul nome di una scansione di profilazione dei dati.
Fai clic sulla scheda Cronologia job.
La scheda Cronologia job fornisce informazioni sui job passati, ad esempio il numero di record scansionati in ogni job, lo stato del job e l'ora in cui è stato eseguito.
Per visualizzare informazioni dettagliate su un job, fai clic su uno dei job nella colonna ID job.
gcloud
Per visualizzare i job di scansione di profilazione dei dati storici, utilizza il comando gcloud dataplex datascans jobs list:
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
Sostituisci le seguenti variabili:
LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.DATASCAN: il nome della scansione di profilazione dei dati per cui visualizzare i job.
C#
C#
Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Vai
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Ruby
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per visualizzare i job di scansione del profilo dei dati storici, utilizza il metodo dataScans.jobs.list.
Stati dei job
I job di scansione dei dati possono avere i seguenti stati:
PENDING: il job è stato creato, ma non è ancora stato eseguito. In questo stato, l'analisi configura attivamente l'infrastruttura o acquisisce slot. Questa fase può richiedere da 10 a 20 secondi o più, a seconda della complessità dello schema e della contesa delle risorse.RUNNING: il job è in esecuzione.CANCELING: il job è in fase di annullamento.CANCELLED: il job è stato annullato correttamente.SUCCEEDED: il job viene completato correttamente. Lo stato di completamento potrebbe essere in ritardo rispetto al completamento effettivo della query fino a 60 secondi a causa di passaggi di post-elaborazione, come l'aggregazione e la sincronizzazione dei metadati.FAILED: il job non va a buon fine a causa di un errore. Lo stato di completamento potrebbe essere in ritardo rispetto al completamento effettivo della query fino a 60 secondi a causa di passaggi di post-elaborazione, come l'aggregazione e la sincronizzazione dei metadati.SUCCEEDED_WITH_ERRORS: il job viene completato correttamente, ma si verificano alcuni errori durante l'esecuzione.
Best practice per il monitoraggio
Quando monitori i job di scansione dei dati, tieni presente le seguenti best practice:
Evita il polling aggressivo: evita il polling aggressivo (ad esempio, chiamando
GetJobo un equivalente ogni 1-5 secondi). Il polling aggressivo spreca la quota API e non accelera le transizioni di stato.Utilizza il backoff esponenziale: se il polling ripetitivo è inevitabile, utilizza il backoff esponenziale a partire da 10-15 secondi.
Utilizza il disaccoppiamento asincrono basato sugli eventi (consigliato): anziché il polling sincrono delle API, utilizza i trigger Eventarc che ascoltano Cloud Audit Logs (
cloudaudit.googleapis.com). Puoi utilizzare questi trigger per avviare i workflow downstream immediatamente dopo gli eventi di completamento dei job DataScan. Questo approccio bypassa i limiti di polling dell'API, conserva la quota e riduce la latenza percepita.
Visualizza le scansioni di profilazione dei dati per una tabella
Per visualizzare le scansioni di profilazione dei dati applicabili a una tabella specifica, segui questi passaggi:
Nella console Google Cloud , nella pagina Curation dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Filtra l'elenco in base al nome della tabella e al tipo di scansione.
Concedi l'accesso ai risultati della scansione di profilazione dei dati
Per consentire agli utenti della tua organizzazione di visualizzare i risultati della scansione:
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sulla scansione di profilazione dei dati di cui vuoi condividere i risultati.
Fai clic sulla scheda Autorizzazioni.
Segui questi passaggi:
- Per concedere l'accesso a un'entità, fai clic su Concedi l'accesso. Concedi il ruolo Dataplex DataScan DataViewer all'entità associata.
- Per rimuovere l'accesso da un'entità, seleziona l'entità da cui vuoi rimuovere il ruolo Dataplex DataScan DataViewer. Fai clic su Rimuovi accesso, quindi conferma quando richiesto.
Gestisci le scansioni di profilazione dei dati per una tabella specifica
I passaggi descritti in questo documento mostrano come gestire le scansioni di profilazione dei dati nel tuo progetto utilizzando la pagina Curation dei metadati > Profilazione e qualità dei dati di BigQuery nella consoleGoogle Cloud .
Puoi anche creare e gestire scansioni di profilazione dei dati quando lavori con una tabella specifica. Nella console Google Cloud , nella pagina BigQuery della tabella, utilizza la scheda Profilo dati. Segui questi passaggi:
Nella console Google Cloud , vai alla pagina BigQuery.
Nel riquadro Explorer, fai clic su Set di dati e poi sul tuo set di dati. Fai clic su Panoramica > Tabelle e seleziona la tabella di cui vuoi visualizzare i risultati della scansione di profilazione dei dati.
Fai clic sulla scheda Profilo dati.
A seconda che per la tabella sia stata eseguita o meno una scansione di profilazione dei dati i cui risultati sono stati pubblicati, puoi utilizzare le scansioni di profilazione dei dati della tabella nei seguenti modi:
I risultati della scansione di profilazione dei dati sono pubblicati: i risultati della scansione pubblicati più di recente vengono visualizzati nella pagina.
Per gestire le scansioni di profilazione dei dati per questa tabella, fai clic su Scansione di profilazione dei dati, quindi seleziona una delle seguenti opzioni:
Crea nuova scansione: crea una nuova scansione di profilazione dei dati. Per saperne di più, consulta la sezione Crea una scansione di profilazione dei dati di questo documento. Quando crei un'analisi dalla pagina dei dettagli di una tabella, la tabella è preselezionata.
Esegui ora: esegui l'analisi.
Modifica configurazione di scansione: modifica le impostazioni, tra cui il nome visualizzato, i filtri, le dimensioni di campionamento e la pianificazione.
Gestisci autorizzazioni della scansione: controlla chi può accedere ai risultati della scansione. Per saperne di più, consulta la sezione Concedi l'accesso ai risultati della scansione di profilazione dei dati di questo documento.
Visualizza i risultati storici: visualizza informazioni dettagliate sui job di scansione di profilazione dei dati precedenti. Per saperne di più, consulta le sezioni Visualizza i risultati della scansione di profilazione dei dati e Visualizza i risultati della cronologia delle visualizzazioni di questo documento.
Visualizza tutte le scansioni: visualizza un elenco delle scansioni di profilazione dei dati applicabili a questa tabella.
I risultati della scansione di profilazione dei dati non vengono pubblicati: fai clic sul menu accanto a Profilo dati rapido, quindi seleziona una delle seguenti opzioni:
Personalizza la profilazione dei dati: crea una nuova scansione di profilazione dei dati. Per saperne di più, consulta la sezione Crea una scansione di profilazione dei dati di questo documento. Quando crei un'analisi dalla pagina dei dettagli di una tabella, la tabella è preselezionata.
Visualizza profili precedenti: visualizza un elenco di scansioni di profilazione dei dati che si applicano a questa tabella.
Aggiorna una scansione di profilazione dei dati
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sul nome di una scansione di profilazione dei dati.
Fai clic su Modifica e poi modifica i valori.
Fai clic su Salva.
gcloud
Per aggiornare una scansione di profilazione dei dati, utilizza il comando gcloud dataplex datascans update data-profile:
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
Sostituisci le seguenti variabili:
DATASCAN: il nome della scansione di profilazione dei dati da aggiornare.LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.DESCRIPTION: la nuova descrizione per la scansione di profilazione dei dati.
C#
C#
Prima di provare questo esempio, segui le istruzioni di configurazione di C# nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Vai
Go
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
Ruby
Ruby
Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby nella guida rapida di BigQuery per l'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.
Per eseguire l'autenticazione in BigQuery, configura le Credenziali predefinite dell'applicazione. Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.
REST
Per modificare una scansione di profilazione dei dati, utilizza il
metodo dataScans.patch.
Elimina una scansione di profilazione dei dati
Console
Nella console Google Cloud , nella pagina Curatela dei metadati di BigQuery, vai alla scheda Profilazione e qualità dei dati.
Fai clic sulla scansione che vuoi eliminare.
Fai clic su Elimina e poi conferma quando richiesto.
gcloud
Per eliminare una scansione di profilazione dei dati, utilizza il
comando gcloud dataplex datascans delete:
gcloud dataplex datascans delete DATASCAN \ --location=LOCATION --async
Sostituisci le seguenti variabili:
DATASCAN: il nome della scansione di profilazione dei dati da eliminare.LOCATION: la regione Google Cloud in cui è stata creata la scansione di profilazione dei dati.
REST
Per eliminare una scansione di profilazione dei dati, utilizza il metodo dataScans.delete.
Passaggi successivi
- Scopri come esplorare i dati generando insight sui dati.
- Scopri di più sulla governance dei dati in BigQuery.
- Scopri come eseguire la scansione dei dati per individuare problemi di qualità dei dati.
- Scopri come visualizzare l'anteprima dei dettagli dello schema e creare query con il riquadro Riferimento.