Monitorare le metriche di Knowledge Catalog

Questo documento spiega come utilizzare Cloud Monitoring per monitorare l'integrità dei servizi di Knowledge Catalog (precedentemente Dataplex Universal Catalog), ottimizzare le prestazioni e ottenere visibilità sulla tua piattaforma di dati. Il monitoraggio proattivo ti aiuta a garantire l'affidabilità delle applicazioni di dati e a prendere decisioni informate sull'allocazione delle risorse e sulla gestione dei costi.

Per comprendere i costi, consulta Prezzi di Monitoring.

Per saperne di più sulla conservazione dei dati delle metriche, consulta Quote e limiti di Monitoring.

Casi d'uso

Puoi utilizzare le metriche di Knowledge Catalog in Cloud Monitoring per supportare i seguenti casi d'uso:

  • Garantire l'affidabilità della pipeline di dati: monitora i tassi di successo e di errore delle attività di Knowledge Catalog, come l'importazione dati o i job di qualità dei dati. Configura avvisi per errori o durate insolite per ridurre al minimo i tempi di inattività per i workload critici.
  • Ottimizza le prestazioni: monitora le metriche relative alla durata dei job e all'utilizzo delle risorse per identificare e risolvere i colli di bottiglia delle prestazioni nei workload di trattamento dati, qualità dei dati e rilevamento dei dati.
  • Gestisci i costi: monitora il consumo delle risorse di Knowledge Catalog (come lake, zone e asset) in Monitoring e utilizza l'esportazione della fatturazione Cloud in BigQuery per attribuire i costi di serverless computing (DCU) per i workload di qualità dei dati, profilazione dei dati e derivazione dei dati.
  • Mantieni la governance dei dati: monitora le metriche relative alla scoperta dei metadati e all'arricchimento del catalogo per assicurarti che gli asset di dati vengano scansionati e taggati in base alle tue policy di governance.

Come funziona

Knowledge Catalog è integrato con Cloud Monitoring, che raccoglie metriche, eventi e metadati dai servizi Knowledge Catalog. Queste metriche forniscono insight su aree quali lo stato di esecuzione dei job, l'utilizzo delle API e l'integrità delle risorse. Puoi analizzare queste metriche utilizzando gli strumenti di Cloud Monitoring, come Metrics Explorer, le dashboard personalizzate e gli avvisi. Questi strumenti ti consentono di visualizzare il comportamento del servizio, identificare le tendenze delle prestazioni e creare policy di avviso che ti informano quando le prestazioni si discostano dalle soglie definite o quando si verificano errori.

Accedi alle metriche dei servizi in Monitoring

Le metriche delle risorse del servizio Knowledge Catalog vengono abilitate automaticamente sui servizi Knowledge Catalog. Per visualizzare queste metriche, utilizza Monitoring.

Puoi accedere a Monitoring dalla consoleGoogle Cloud o utilizzando l'API Monitoring.

Se non riesci a visualizzare i grafici di monitoraggio o a creare avvisi, potresti aver bisogno di ulteriori autorizzazioni di Monitoring.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Nel menu Seleziona una metrica, seleziona una risorsa Cloud Dataplex.

  3. Seleziona una categoria di metrica, poi seleziona una metrica dall'elenco.

    Per visualizzare le informazioni su una metrica, tieni il puntatore sul nome della metrica.

  4. Fai clic su Applica.

  5. (Facoltativo) Seleziona i filtri, raggruppa per etichette delle metriche, esegui le aggregazioni e seleziona le opzioni di visualizzazione del grafico.

REST

Per acquisire ed elencare le metriche definite da un'espressione filter, utilizza il metodo timeSeries.list di Monitoring.

Per inviare una richiesta API e visualizzare la risposta, utilizza il modello Prova questa API nella pagina dell'API.

Metriche del servizio Knowledge Catalog in Monitoring

Le metriche del servizio Knowledge Catalog ti aiutano a monitorare lo stato del servizio.

Monitora e attribuisci i costi delle DCU di Knowledge Catalog con l'esportazione della fatturazione Cloud

Poiché le scansioni dei dati di Knowledge Catalog (tra cui la qualità dei dati automatica e la profilazione dei dati) e la derivazione dei dati non pubblicano metriche delle serie temporali in Cloud Monitoring, puoi utilizzare l'esportazione della fatturazione Cloud in BigQuery per monitorare e attribuire l'utilizzo e i costi delle unità di calcolo dei dati (DCU) tra progetti, scansioni e risorse di dati.

Etichette di fatturazione di Knowledge Catalog

Knowledge Catalog associa automaticamente le etichette di sistema ai record di fatturazione emessi per le scansioni e la derivazione dei dati. Puoi eseguire query su queste etichette nell'array labels nella tabella di esportazione della fatturazione Cloud:

Chiave di etichetta Workload Descrizione
goog-dataplex-datascan-id Qualità dei dati, profilazione dei dati L'ID o il nome dell'analisi dei dati.
goog-dataplex-datascan-job-id Qualità dei dati, profilazione dei dati L'ID esecuzione specifico per il job di scansione dei dati.
goog-dataplex-datascan-data-source-project Qualità dei dati, profilazione dei dati Il progetto Google Cloud contenente l'origine dati sottoposta a scansione.
goog-dataplex-datascan-data-source-region Qualità dei dati, profilazione dei dati La regione Google Cloud dell'origine dati analizzata.
goog-dataplex-datascan-data-source-bigquery-dataset Qualità dei dati, profilazione dei dati L'ID set di dati BigQuery della tabella scansionata.
goog-dataplex-datascan-data-source-bigquery-table Qualità dei dati, profilazione dei dati L'ID tabella BigQuery scansionato.
goog-dataplex-datascan-data-source-dataplex-lake Qualità dei dati, profilazione dei dati L'ID lake di Knowledge Catalog (se applicabile).
goog-dataplex-datascan-data-source-dataplex-zone Qualità dei dati, profilazione dei dati L'ID della zona di dati di Knowledge Catalog (se applicabile).
goog-dataplex-datascan-data-source-dataplex-entity Qualità dei dati, profilazione dei dati L'ID entità di Knowledge Catalog (se applicabile).
goog-dataplex-datascan-data-source-biglake-catalog Qualità dei dati, profilazione dei dati L'ID catalogo BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-namespace Qualità dei dati, profilazione dei dati Lo spazio dei nomi BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-table Qualità dei dati, profilazione dei dati L'ID tabella BigLake (se applicabile).
goog-dataplex-workload-type Derivazione dei dati Identifica il workload. Impostato su LINEAGE per i costi di elaborazione della derivazione dei dati.

Esempi di query

Prima di eseguire queste query, assicurati di aver abilitato l'esportazione della fatturazione Cloud in BigQuery. Nelle query di esempio, sostituisci i seguenti segnaposto:

  • PROJECT_ID: l'ID progetto Google Cloud che ospita il set di dati di esportazione della fatturazione BigQuery.
  • DATASET_NAME: il nome del set di dati BigQuery contenente la tabella di esportazione della fatturazione.
  • BILLING_ACCOUNT_ID: l'ID account di fatturazione Cloud (formattato con trattini bassi, ad esempio 012345_567890_ABCDEF).

Query 1: attribuisci i costi e l'utilizzo delle DCU in base a DataScan e alla tabella di destinazione

Questa query aggrega i costi di Knowledge Catalog Processing e Premium Processing per ID DataScan e tabella BigQuery di destinazione negli ultimi 30 giorni:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 2: attribuisci i costi di Knowledge Catalog in base al tipo di workload (derivazione rispetto a DataScan)

Questa query suddivide i costi degli SKU di Knowledge Catalog per categoria di workload (ad esempio, derivazione dei dati rispetto a DataScan) in tutti i progetti:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 3: utilizzo giornaliero delle DCU e tendenza dei costi per esecuzione dei job DataScan

Questa query monitora il consumo giornaliero di DCU e i costi per le singole esecuzioni dei job DataScan negli ultimi 7 giorni:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Crea una dashboard di Monitoring personalizzata

Puoi creare una dashboard di Monitoring personalizzata che visualizza i grafici delle metriche del servizio Knowledge Catalog selezionate. Per saperne di più su come creare una dashboard, consulta Crea e gestisci dashboard personalizzate. Quando selezioni una metrica per un widget nella dashboard, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Utilizza gli avvisi di Monitoring

Puoi creare un avviso di Monitoring che ti avvisa quando una metrica di un servizio o di un job di Knowledge Catalog supera una soglia specificata.

Crea un avviso

Per creare un avviso, segui le istruzioni riportate in Crea policy di avviso basate su soglie metriche. Quando selezioni una serie temporale da monitorare, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Visualizza avvisi

Quando un avviso viene attivato da una condizione di soglia metrica, Monitoring crea un incidente e un evento corrispondente.

Per visualizzare un incidente, segui questo passaggio:

  • Nella Google Cloud console, vai alla pagina Avvisi.

    Vai ad Avvisi

Se hai definito un meccanismo di notifica nella policy di avviso, ad esempio una notifica via email o SMS, Monitoring invia anche una notifica dell'incidente.

Per saperne di più sugli avvisi, consulta Incidenti per gli avvisi basati su metriche.

Passaggi successivi