Monitorar métricas do Knowledge Catalog

Com o Cloud Monitoring, é possível acompanhar a integridade e o desempenho dos recursos do Knowledge Catalog (antigo Dataplex Universal Catalog), incluindo lakes, zonas e recursos. É possível criar painéis personalizados e configurar alertas para limites de serviço no Monitoring ou consultar exportações do Cloud Billing no BigQuery para atribuir custos de unidade de computação de dados (DCU, na sigla em inglês) em verificações de dados e cargas de trabalho de linhagem.

Para mais informações sobre preços, consulte Preços do Google Cloud Observability.

Para mais informações sobre a retenção de dados de métricas, consulte a seção Retenção de dados em Cotas e limites do Monitoring.

Casos de uso

É possível usar as métricas do Knowledge Catalog no Monitoring para dar suporte aos seguintes casos de uso:

  • Garantir a confiabilidade do pipeline de dados: monitorar as taxas de sucesso e falha das tarefas do Knowledge Catalog, como jobs de ingestão de dados ou qualidade de dados. Configure alertas para falhas ou durações incomuns para minimizar o tempo de inatividade de cargas de trabalho críticas.
  • Otimizar o desempenho: acompanhe as durações dos jobs e as métricas de utilização de recursos para identificar e resolver gargalos de desempenho nas cargas de trabalho de tratamento de dados, qualidade de dados e descoberta de dados.
  • Gerenciar custos: monitore o consumo de recursos do Knowledge Catalog (como lakes, zonas e recursos) no Monitoring e use a exportação do Cloud Billing para o BigQuery para atribuir custos de computação sem servidor (DCU) para cargas de trabalho de qualidade de dados, criação de perfis de dados e linhagem de dados.
  • Manter a governança de dados: acompanhe as métricas relacionadas à descoberta de metadados e ao enriquecimento do catálogo para garantir que os recursos de dados sejam verificados e marcados de acordo com suas políticas de governança.

Como funciona

O Knowledge Catalog é integrado ao Monitoring, que coleta métricas, eventos e metadados dos serviços do Knowledge Catalog. Essas métricas fornecem insights sobre áreas como status de execução de jobs, uso de APIs e integridade de recursos. É possível analisar essas métricas usando ferramentas no Monitoring, como o Metrics Explorer, painéis personalizados e alertas. Com essas ferramentas, é possível visualizar o comportamento do serviço, identificar tendências de desempenho e criar políticas de alerta que notificam você quando o desempenho se desvia dos limites definidos ou quando ocorrem falhas.

Acessar métricas de serviço no Monitoring

As métricas de recursos do serviço do Knowledge Catalog são ativadas automaticamente nos serviços do Knowledge Catalog. Para visualizar essas métricas, use o Monitoring.

É possível acessar o Monitoring no console doGoogle Cloud ou usando a API Monitoring.

Se você não conseguir ver os gráficos de monitoramento ou criar alertas, talvez precise de mais permissões de monitoramento.

Console

  1. No console do Google Cloud , acesse a página do Metrics Explorer.

    Acesse o Metrics explorer

  2. No menu Selecionar uma métrica, escolha um recurso Cloud Dataplex.

  3. Selecione uma categoria de métrica e, em seguida, uma métrica na lista.

    Para exibir informações sobre uma métrica, mantenha o ponteiro sobre o nome dela.

  4. Clique em Aplicar.

  5. Opcional: selecione filtros, agrupe por rótulos de métricas, realize agregações e selecione opções de exibição de gráficos.

REST

Para capturar e listar métricas definidas por uma expressão filter, use o método timeSeries.list do Monitoring.

.

Para enviar uma solicitação de API e exibir a resposta, use o modelo Testar esta API na página da API.

Métricas do serviço Knowledge Catalog no Monitoring

As métricas de serviço do Knowledge Catalog ajudam a monitorar a integridade do serviço.

Monitorar e atribuir custos de DCU do Knowledge Catalog com a exportação do Cloud Billing

Como as verificações de dados do Knowledge Catalog (incluindo qualidade de dados automática e criação de perfil de dados) e a linhagem de dados não publicam métricas de série temporal no Monitoring, é possível usar a exportação do Cloud Billing para o BigQuery para rastrear, monitorar e atribuir o uso e os custos da unidade de computação de dados (DCU, na sigla em inglês) em projetos, verificações e recursos de dados.

Rótulos de faturamento do Knowledge Catalog

O Knowledge Catalog anexa automaticamente rótulos do sistema aos registros de faturamento emitidos para verificações e linhagem de dados. É possível consultar esses rótulos na matriz labels na tabela de exportação do Cloud Billing:

Chave de rótulo Carga de trabalho Descrição
goog-dataplex-datascan-id Qualidade de dados, criação de perfil de dados O ID ou nome da verificação de dados.
goog-dataplex-datascan-job-id Qualidade de dados, criação de perfil de dados O ID de execução específico do job de verificação de dados.
goog-dataplex-datascan-data-source-project Qualidade de dados, criação de perfil de dados O projeto do Google Cloud que contém a fonte de dados verificada.
goog-dataplex-datascan-data-source-region Qualidade de dados, criação de perfil de dados A região do Google Cloud da fonte de dados verificada.
goog-dataplex-datascan-data-source-bigquery-dataset Qualidade de dados, criação de perfil de dados O ID do conjunto de dados do BigQuery da tabela verificada.
goog-dataplex-datascan-data-source-bigquery-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigQuery verificada.
goog-dataplex-datascan-data-source-dataplex-lake Qualidade de dados, criação de perfil de dados O ID do lake do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-dataplex-zone Qualidade de dados, criação de perfil de dados O ID da zona de dados do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-dataplex-entity Qualidade de dados, criação de perfil de dados O ID da entidade do Knowledge Catalog (se aplicável).
goog-dataplex-datascan-data-source-biglake-catalog Qualidade de dados, criação de perfil de dados O ID do catálogo do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-namespace Qualidade de dados, criação de perfil de dados O namespace do BigLake (se aplicável).
goog-dataplex-datascan-data-source-biglake-table Qualidade de dados, criação de perfil de dados O ID da tabela do BigLake (se aplicável).
goog-dataplex-workload-type Linhagem de dados Identifica a carga de trabalho. Defina como LINEAGE para cobranças de processamento de linhagem de dados.

Exemplo de consultas

Antes de executar essas consultas, verifique se você ativou a exportação do Cloud Billing para o BigQuery. Nas consultas de exemplo, substitua os seguintes marcadores:

  • PROJECT_ID: o ID do projeto do Google Cloud que hospeda o conjunto de dados de exportação de faturamento do BigQuery.
  • DATASET_NAME: o nome do conjunto de dados do BigQuery que contém a tabela de exportação de faturamento.
  • BILLING_ACCOUNT_ID: o ID da conta do Cloud Billing (formatado com sublinhados, por exemplo, 012345_567890_ABCDEF).

Consulta 1: atribuir custos e uso de DCU por DataScan e tabela de destino

Esta consulta agrega os custos de processamento do Knowledge Catalog e do processamento Premium por ID do DataScan e tabela de destino do BigQuery nos últimos 30 dias:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 2: atribuir custos do Knowledge Catalog por tipo de carga de trabalho (Lineage versus DataScan)

Esta consulta detalha os custos da SKU do Knowledge Catalog por categoria de carga de trabalho (como linhagem de dados versus DataScan) em todos os projetos:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Consulta 3: tendência de custo e uso diário de DCU por execução de job do DataScan

Essa consulta rastreia o consumo diário de DCU e os custos de execuções individuais de jobs do DataScan nos últimos sete dias:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Criar um painel personalizado do Monitoring

É possível criar um painel personalizado do Monitoring que exibe gráficos de métricas selecionadas do serviço do Knowledge Catalog. Para mais informações sobre como criar um painel, consulte Criar e gerenciar painéis personalizados. Ao selecionar uma métrica para um widget no painel, selecione um recurso Cloud Dataplex e escolha uma métrica do Knowledge Catalog.

Usar alertas do Monitoring

É possível criar um alerta do Monitoring que notifica você quando uma métrica de serviço ou job do Knowledge Catalog ultrapassa um limite especificado.

Criar um alerta

Para criar um alerta, siga as instruções em Criar políticas de alertas de limite de métrica. Ao selecionar uma série temporal a ser monitorada, selecione um recurso Cloud Dataplex e escolha uma métrica do Knowledge Catalog.

Ver alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente.

Para ver um incidente, siga esta etapa:

Se você definiu um mecanismo de notificação na política de alertas, como uma notificação por e-mail ou notificação por SMS, o Monitoring também envia uma notificação do incidente.

Para mais informações sobre alertas, consulte Incidentes para alertas com base em métricas.

A seguir