Monitorar métricas do Knowledge Catalog

Este documento explica como usar o Cloud Monitoring para acompanhar a integridade do serviço do Knowledge Catalog (antigo Dataplex Universal Catalog), otimizar o desempenho e ter visibilidade da sua plataforma de dados. O monitoramento proativo ajuda a garantir a confiabilidade dos aplicativos de dados e a tomar decisões informadas sobre a alocação de recursos e o gerenciamento de custos.

Para entender os custos, consulte Preços do Monitoring.

Para mais informações sobre a retenção de dados de métricas, consulte Cotas e limites do Monitoring.

Casos de uso

É possível usar as métricas do Knowledge Catalog no Cloud Monitoring para oferecer suporte aos seguintes casos de uso:

  • Garantir a confiabilidade do pipeline de dados: monitore as taxas de sucesso e falha das tarefas do Knowledge Catalog, como ingestão de dados ou jobs de qualidade de dados. Configure alertas para falhas ou durações incomuns para minimizar o tempo de inatividade de cargas de trabalho críticas.
  • Otimizar o desempenho: acompanhe as durações dos jobs e as métricas de utilização de recursos para identificar e resolver gargalos de desempenho nos seus dados de processamento, qualidade de dados e cargas de trabalho de descoberta de dados.
  • Gerenciar custos: monitore o consumo de recursos do Knowledge Catalog (como lakes, zonas e ativos) no Monitoring e use a exportação do Cloud Billing para o BigQuery para atribuir custos de computação sem servidor (DCU) para cargas de trabalho de qualidade de dados, criação de perfil de dados e linhagem de dados.
  • Manter a governança de dados: acompanhe as métricas relacionadas à descoberta de metadados e ao enriquecimento do catálogo para garantir que os recursos de dados sejam verificados e marcados de acordo com suas políticas de governança.

Como funciona

O Knowledge Catalog é integrado ao Cloud Monitoring, que coleta métricas, eventos e metadados dos serviços do Knowledge Catalog. Essas métricas fornecem insights sobre áreas como status de execução de jobs, uso da API e integridade de recursos. É possível analisar essas métricas usando ferramentas no Cloud Monitoring, como o Metrics Explorer, painéis personalizados e alertas. Essas ferramentas permitem visualizar o comportamento do serviço, identificar tendências de desempenho e criar políticas de alertas que notificam quando o desempenho se desvia dos limites definidos ou quando ocorrem falhas.

Acessar métricas de serviço no Monitoring

As métricas de recursos de serviço do Knowledge Catalog são ativadas automaticamente nos serviços do Knowledge Catalog. Para conferir essas métricas, use o Monitoring.

É possível acessar o Monitoring pelo Google Cloud console ou usando a API Monitoring.

Se você não conseguir ver os gráficos de monitoramento ou criar alertas, talvez precise de mais permissões de monitoramento.

Console

  1. No Google Cloud console do, acesse a página do Metrics Explorer.

    Acesse o Metrics explorer

  2. No menu Selecionar uma métrica, selecione um recurso Cloud Dataplex.

  3. Selecione uma categoria de métrica e, em seguida, uma métrica na lista.

    Para mostrar informações sobre uma métrica, mantenha o ponteiro do mouse sobre o nome dela.

  4. Clique em Aplicar.

  5. Opcional: selecione filtros, agrupe por rótulos de métricas, faça agregações e selecione opções de exibição de gráficos.

REST

Para capturar e listar métricas definidas por uma expressão filter, use o método timeSeries.list do Monitoring.

Para enviar uma solicitação de API e mostrar a resposta, na página da API, use o modelo Testar esta API.

Métricas de serviço do Knowledge Catalog no Monitoring

As métricas de serviço do Knowledge Catalog facilitam o monitoramento do Service Health.

Monitorar e atribuir custos de DCU do Dataplex com a exportação do Cloud Billing

Como as verificações de dados do Knowledge Catalog (incluindo a qualidade de dados automática e a criação de perfil de dados) e a linhagem de dados não publicam métricas de série temporal no Cloud Monitoring, é possível usar a exportação do Cloud Billing para o BigQuery para acompanhar, monitorar e atribuir o uso e os custos da unidade de computação de dados (DCU) em projetos, verificações e recursos de dados.

Rótulos de faturamento do Dataplex

O Knowledge Catalog anexa automaticamente rótulos do sistema aos registros de faturamento emitidos para verificações de dados e linhagem de dados. É possível consultar esses rótulos na matriz labels na tabela de exportação do Cloud Billing:

Chave do rótulo Carga de trabalho Descrição
goog-dataplex-datascan-id Qualidade de dados, criação de perfil de dados O ID ou nome da verificação de dados.
goog-dataplex-datascan-job-id Qualidade de dados, criação de perfil de dados O ID de execução específico do job de verificação de dados.
goog-dataplex-datascan-data-source-project Qualidade de dados, criação de perfil de dados O ID do Google Cloud projeto que contém a fonte de dados verificada.
goog-dataplex-datascan-data-source-region Qualidade de dados, criação de perfil de dados A Google Cloud região da fonte de dados verificada.
goog-dataplex-datascan-data-source-bigquery-dataset Qualidade de dados, criação de perfil de dados O ID do conjunto de dados do BigQuery da tabela verificada.
goog-dataplex-datascan-data-source-bigquery-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigQuery verificada.
goog-dataplex-datascan-data-source-dataplex-lake Qualidade de dados, criação de perfil de dados O ID do lake do Dataplex (se aplicável).
goog-dataplex-datascan-data-source-dataplex-zone Qualidade de dados, criação de perfil de dados O ID da zona de dados do Dataplex (se aplicável).
goog-dataplex-datascan-data-source-dataplex-entity Qualidade de dados, criação de perfil de dados O ID da entidade do Dataplex (se aplicável).
goog-dataplex-datascan-data-source-biglake-catalog Qualidade de dados, criação de perfil de dados O ID do catálogo do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-namespace Qualidade de dados, criação de perfil de dados O namespace do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigLake (se aplicável).
goog-dataplex-workload-type Linhagem de dados Identifica a carga de trabalho. Definido como LINEAGE para cobranças de processamento de linhagem de dados.

Exemplo de consultas

Antes de executar essas consultas, verifique se você ativou a exportação do Cloud Billing para o BigQuery. Nos exemplos de consultas, substitua os seguintes marcadores:

  • PROJECT_ID: o Google Cloud ID do projeto que hospeda o conjunto de dados de exportação de faturamento do BigQuery.
  • DATASET_NAME: o nome do conjunto de dados do BigQuery que contém a tabela de exportação de faturamento.
  • BILLING_ACCOUNT_ID: o ID da conta do Cloud Billing (formatado com sublinhados, por exemplo, 012345_567890_ABCDEF).

Consulta 1: atribuir custos e uso de DCU por DataScan e tabela de destino

Essa consulta agrega os custos de processamento do Dataplex e de processamento premium por ID do DataScan e tabela de destino do BigQuery nos últimos 30 dias:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 2: atribuir custos do Dataplex por tipo de carga de trabalho (linhagem x DataScan)

Essa consulta detalha os custos de SKU do Dataplex por categoria de carga de trabalho (como linhagem de dados versus DataScan) em todos os projetos:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 3: tendência de uso e custo diário de DCU por execução de job do DataScan

Essa consulta acompanha o consumo e os custos diários de DCU para execuções de jobs individuais do DataScan nos últimos 7 dias:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Criar um painel personalizado do Monitoring

É possível criar um painel personalizado do Monitoring que mostra gráficos das métricas de serviço selecionadas do Knowledge Catalog. Para mais informações sobre como criar um painel, consulte Criar e gerenciar painéis personalizados. Ao selecionar uma métrica para um widget no painel, selecione um recurso Cloud Dataplex e escolha uma métrica do Knowledge Catalog.

Usar alertas do Monitoring

É possível criar um alerta do Monitoring que notifica quando uma métrica de serviço ou job do Knowledge Catalog ultrapassa um limite especificado.

Criar um alerta

Para criar um alerta, siga as instruções em Criar políticas de alertas de limite de métrica. Ao selecionar uma série temporal a ser monitorada, selecione um recurso Cloud Dataplex e escolha uma métrica do Knowledge Catalog.

Ver alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente.

Para conferir um incidente, siga esta etapa:

Se você definiu um mecanismo de notificação na política de alertas, como uma notificação por e-mail ou notificação por SMS, o Monitoring também envia uma notificação do incidente.

Para mais informações sobre alertas, consulte Incidentes para alertas baseados em métricas.

A seguir