Monitorar a confiabilidade dos clusters do Kafka

Neste documento, descrevemos como monitorar um cluster do Serviço Gerenciado para Apache Kafka para garantir a confiabilidade das cargas de trabalho do Kafka.

Visão geral

Confiabilidade é a capacidade de um sistema de funcionar corretamente e de forma consistente ao longo do tempo. Para cargas de trabalho baseadas no Kafka, a confiabilidade abrange os próprios clusters do Kafka, bem como os aplicativos cliente que produzem e consomem mensagens.

O Serviço Gerenciado para Apache Kafka foi projetado para tolerar e se recuperar de muitas falhas comuns. Por exemplo, o serviço coloca réplicas em diferentes zonas para tolerância a falhas e reinicia automaticamente os agentes que falham. No entanto, outros fatores que afetam a confiabilidade estão fora do controle direto do serviço, como:

  • Configuração do cliente
  • Carga no cluster, incluindo carga média e picos
  • O número de partições e réplicas
  • Configurações de tópicos, como retenção de mensagens

Para garantir operações confiáveis, é importante monitorar o cluster em relação a esses parâmetros operacionais e mantê-los dentro dos intervalos recomendados. As seções a seguir descrevem algumas métricas importantes para a confiabilidade.

Monitorar a capacidade do cluster

Para evitar a sobrecarga de um cluster, monitore os seguintes indicadores. Crie alertas para receber notificações se eles ficarem fora do intervalo recomendado por um período prolongado.

  • Uso da CPU. Tente manter o uso da CPU abaixo de 80% em todos os agentes.

  • Uso do disco do agente: verifique se o uso do disco do agente permanece abaixo de 80%.

  • Tamanho do disco. Como ponto de partida seguro, recomendamos ter pelo menos 2*(segment.bytes) por partição por agente. Na prática, os requisitos reais de disco costumam ser consideravelmente menores.

    Por padrão, um arquivo de segmento é fechado e movido para o armazenamento remoto após sete dias. É comum que a maioria das partições receba menos de segment.bytes de dados durante esse período, o que significa que a maioria das partições usa menos de segment.bytes de espaço em disco. Antes de aumentar o tamanho do disco, monitore a utilização dele à medida que você cria mais partições no cluster.

  • Contagem de partições. Tente manter menos de 4.000 partições por agente e menos de 100.000 partições por cluster.

Se o cluster estiver com pouca capacidade, considere as seguintes mitigações:

A tabela a seguir mostra as consultas da linguagem de consulta do Prometheus (PromQL) para essas métricas que podem ser adicionadas a um painel personalizado do Cloud Monitoring.

SinalConsulta PromQL
Uso da CPU
rate(
  {
    "managedkafka.googleapis.com/cpu/core_usage_time",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/cpu/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
Uso do disco do agente
max_over_time(
  {
    "managedkafka.googleapis.com/disk/used_bytes",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/disk/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
Tamanho do segmento por partição
# Assumes that segment files are 225 MiB. Check your cluster configuration.
2*225*(1024*1024) * max_over_time(
  {
    "managedkafka.googleapis.com/partitions",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/disk/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
Partições por agente
max by (resource_container, location, cluster_id, broker_index) (
  max_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
Partições por cluster
max by (resource_container, location, cluster_id) (
  max_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)

Monitorar o equilíbrio de partições entre agentes

Uma carga desigual pode impedir que um cluster do Kafka atenda às solicitações do cliente corretamente. O número de partições atribuídas a um único agente precisa ficar dentro de cerca de 10% da contagem média de partições por agente. Procure outliers nessa métrica.

Para manter as partições equilibradas, considere ativar o rebalanceamento automático no escalonamento vertical no cluster.

A tabela a seguir mostra as consultas do PromQL que podem ser usadas para monitorar desequilíbrios de partição.

SinalConsulta PromQL
Contagens de partições por agente
sum by (resource_container, location, cluster_id, broker_index) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
Desequilíbrio de partição
sum by (resource_container, location, cluster_id, broker_index) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
/ on (resource_container, location, cluster_id)
  group_left avg by (resource_container, location, cluster_id) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
) - 1

Monitorar a replicação de partições

A replicação de dados é fundamental para garantir que suas cargas de trabalho sejam tolerantes a falhas. Em um cluster íntegro, cada partição em um tópico tem o número total de réplicas, com base no fator de replicação configurado do tópico.

Use os seguintes indicadores para monitorar a replicação de partições:

  • Réplicas em sincronia (ISRs, na sigla em inglês) abaixo do mínimo. Se uma partição tiver menos ISRs em sincronia do que o mínimo configurado (min.insync.replicas), haverá um risco sério de perda de dados e disponibilidade. Normalmente, essa situação é causada por capacidade insuficiente em um ou mais agentes ou por falhas de infraestrutura.

  • Partições sub-replicadas. Uma partição é sub-replicada quando o número de réplicas em sincronia fica abaixo do fator de replicação. Se uma partição permanecer sub-replicada por dezenas de minutos, pode haver um problema com os agentes, a capacidade de armazenamento ou outra coisa.

    Durante uma reinicialização gradual, os agentes ficam indisponíveis enquanto são reiniciados, causando uma sub-replicação temporária. Essa situação é esperada e não requer intervenção.

A tabela a seguir mostra as consultas do PromQL que podem ser usadas para monitorar a replicação.

SinalConsulta PromQL
Abaixo dos ISRs mínimos
max by (
  resource_container,
  location,
  cluster_id
) (
  max_over_time(
    {
      "managedkafka.googleapis.com/broker/under_min_isr_partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
Replicação insuficiente
max by (
  resource_container,
  location,
  cluster_id
) (
  min_over_time(
    {
      "managedkafka.googleapis.com/broker/under_replicated_partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[10m:${__interval}]
  )
)

Monitorar a cota de solicitações de autorização

Quando um cliente se conecta a um cluster, a autorização da conexão é contabilizada na cota de solicitações de conexão de autenticação de cluster por minuto, por projeto e por região. Todos os clusters em um projeto e região compartilham essa cota, e excedê-la bloqueia novas conexões de cliente. Tente manter o uso da cota abaixo de 80% e crie alertas para receber notificações se o uso continuar alto.

Se o uso da cota for alto, considere as seguintes mitigações:

  • Reduza a taxa em que os clientes criam novas conexões desnecessárias. Por exemplo, configure seus clientes para usar a espera exponencial em erros de produção e consumo, consolidar instâncias de cliente quando apropriado e reutilizar conexões atuais.

  • Solicitar um aumento da cota. Para mais informações, consulte Cotas e limites.

A tabela a seguir mostra uma consulta PromQL que pode ser usada para monitorar as três principais utilizações de cota de solicitação de autorização por projeto e região.

SinalConsulta PromQL
As três principais utilizações de cota de solicitação de autorização por projeto e região
topk(3,
  sum by (project_id, location) (
    rate(
      {
        "serviceruntime.googleapis.com/quota/rate/net_usage",
        monitored_resource="consumer_quota",
        service="managedkafka.googleapis.com",
        quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests"
      }[${__interval}]
    )
  )
  / (
    min by (project_id, location) (
      min_over_time(
        {
          "serviceruntime.googleapis.com/quota/limit",
          monitored_resource="consumer_quota",
          service="managedkafka.googleapis.com",
          quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests",
          limit_name="ClusterAuthPerMinutePerProjectPerRegion"
        }[${__interval}]
      )
    )
    / 60
  )
)

A seguir

Apache Kafka® é uma marca registrada da The Apache Software Foundation ou afiliadas nos Estados Unidos e/ou em outros países.