Neste documento, descrevemos como monitorar um cluster do Serviço Gerenciado para Apache Kafka para garantir a confiabilidade das cargas de trabalho do Kafka.
Visão geral
Confiabilidade é a capacidade de um sistema de funcionar corretamente e de forma consistente ao longo do tempo. Para cargas de trabalho baseadas no Kafka, a confiabilidade abrange os próprios clusters do Kafka, bem como os aplicativos cliente que produzem e consomem mensagens.
O Serviço Gerenciado para Apache Kafka foi projetado para tolerar e se recuperar de muitas falhas comuns. Por exemplo, o serviço coloca réplicas em diferentes zonas para tolerância a falhas e reinicia automaticamente os agentes que falham. No entanto, outros fatores que afetam a confiabilidade estão fora do controle direto do serviço, como:
- Configuração do cliente
- Carga no cluster, incluindo carga média e picos
- O número de partições e réplicas
- Configurações de tópicos, como retenção de mensagens
Para garantir operações confiáveis, é importante monitorar o cluster em relação a esses parâmetros operacionais e mantê-los dentro dos intervalos recomendados. As seções a seguir descrevem algumas métricas importantes para a confiabilidade.
Monitorar a capacidade do cluster
Para evitar a sobrecarga de um cluster, monitore os seguintes indicadores. Crie alertas para receber notificações se eles ficarem fora do intervalo recomendado por um período prolongado.
Uso da CPU. Tente manter o uso da CPU abaixo de 80% em todos os agentes.
Uso do disco do agente: verifique se o uso do disco do agente permanece abaixo de 80%.
Tamanho do disco. Como ponto de partida seguro, recomendamos ter pelo menos
2*(segment.bytes)por partição por agente. Na prática, os requisitos reais de disco costumam ser consideravelmente menores.Por padrão, um arquivo de segmento é fechado e movido para o armazenamento remoto após sete dias. É comum que a maioria das partições receba menos de
segment.bytesde dados durante esse período, o que significa que a maioria das partições usa menos desegment.bytesde espaço em disco. Antes de aumentar o tamanho do disco, monitore a utilização dele à medida que você cria mais partições no cluster.Contagem de partições. Tente manter menos de 4.000 partições por agente e menos de 100.000 partições por cluster.
Se o cluster estiver com pouca capacidade, considere as seguintes mitigações:
Aumente a contagem de vCPUs do cluster. Para mais informações, consulte Atualizar um cluster do Kafka.
Escalone o cluster para adicionar mais agentes. Para informações sobre como o serviço provisiona agentes, consulte Provisionamento de agentes.
Aumente o tamanho do disco do agente. Para mais informações, consulte Configurar o tamanho do disco do agente.
A tabela a seguir mostra as consultas da linguagem de consulta do Prometheus (PromQL) para essas métricas que podem ser adicionadas a um painel personalizado do Cloud Monitoring.
| Sinal | Consulta PromQL |
|---|---|
| Uso da CPU | rate( { "managedkafka.googleapis.com/cpu/core_usage_time", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) / min_over_time( { "managedkafka.googleapis.com/cpu/limit", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) |
| Uso do disco do agente | max_over_time( { "managedkafka.googleapis.com/disk/used_bytes", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) / min_over_time( { "managedkafka.googleapis.com/disk/limit", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) |
| Tamanho do segmento por partição | # Assumes that segment files are 225 MiB. Check your cluster configuration. 2*225*(1024*1024) * max_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) / min_over_time( { "managedkafka.googleapis.com/disk/limit", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) |
| Partições por agente | max by (resource_container, location, cluster_id, broker_index) ( max_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) |
| Partições por cluster | max by (resource_container, location, cluster_id) ( max_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) |
Monitorar o equilíbrio de partições entre agentes
Uma carga desigual pode impedir que um cluster do Kafka atenda às solicitações do cliente corretamente. O número de partições atribuídas a um único agente precisa ficar dentro de cerca de 10% da contagem média de partições por agente. Procure outliers nessa métrica.
Para manter as partições equilibradas, considere ativar o rebalanceamento automático no escalonamento vertical no cluster.
A tabela a seguir mostra as consultas do PromQL que podem ser usadas para monitorar desequilíbrios de partição.
| Sinal | Consulta PromQL |
|---|---|
| Contagens de partições por agente | sum by (resource_container, location, cluster_id, broker_index) ( avg_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) |
| Desequilíbrio de partição | sum by (resource_container, location, cluster_id, broker_index) ( avg_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) / on (resource_container, location, cluster_id) group_left avg by (resource_container, location, cluster_id) ( avg_over_time( { "managedkafka.googleapis.com/partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) - 1 |
Monitorar a replicação de partições
A replicação de dados é fundamental para garantir que suas cargas de trabalho sejam tolerantes a falhas. Em um cluster íntegro, cada partição em um tópico tem o número total de réplicas, com base no fator de replicação configurado do tópico.
Use os seguintes indicadores para monitorar a replicação de partições:
Réplicas em sincronia (ISRs, na sigla em inglês) abaixo do mínimo. Se uma partição tiver menos ISRs em sincronia do que o mínimo configurado (
min.insync.replicas), haverá um risco sério de perda de dados e disponibilidade. Normalmente, essa situação é causada por capacidade insuficiente em um ou mais agentes ou por falhas de infraestrutura.Partições sub-replicadas. Uma partição é sub-replicada quando o número de réplicas em sincronia fica abaixo do fator de replicação. Se uma partição permanecer sub-replicada por dezenas de minutos, pode haver um problema com os agentes, a capacidade de armazenamento ou outra coisa.
Durante uma reinicialização gradual, os agentes ficam indisponíveis enquanto são reiniciados, causando uma sub-replicação temporária. Essa situação é esperada e não requer intervenção.
A tabela a seguir mostra as consultas do PromQL que podem ser usadas para monitorar a replicação.
| Sinal | Consulta PromQL |
|---|---|
| Abaixo dos ISRs mínimos | max by ( resource_container, location, cluster_id ) ( max_over_time( { "managedkafka.googleapis.com/broker/under_min_isr_partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[${__interval}] ) ) |
| Replicação insuficiente | max by ( resource_container, location, cluster_id ) ( min_over_time( { "managedkafka.googleapis.com/broker/under_replicated_partitions", monitored_resource="managedkafka.googleapis.com/Cluster" }[10m:${__interval}] ) ) |
Monitorar a cota de solicitações de autorização
Quando um cliente se conecta a um cluster, a autorização da conexão é contabilizada na cota de solicitações de conexão de autenticação de cluster por minuto, por projeto e por região. Todos os clusters em um projeto e região compartilham essa cota, e excedê-la bloqueia novas conexões de cliente. Tente manter o uso da cota abaixo de 80% e crie alertas para receber notificações se o uso continuar alto.
Se o uso da cota for alto, considere as seguintes mitigações:
Reduza a taxa em que os clientes criam novas conexões desnecessárias. Por exemplo, configure seus clientes para usar a espera exponencial em erros de produção e consumo, consolidar instâncias de cliente quando apropriado e reutilizar conexões atuais.
Solicitar um aumento da cota. Para mais informações, consulte Cotas e limites.
A tabela a seguir mostra uma consulta PromQL que pode ser usada para monitorar as três principais utilizações de cota de solicitação de autorização por projeto e região.
| Sinal | Consulta PromQL |
|---|---|
| As três principais utilizações de cota de solicitação de autorização por projeto e região | topk(3, sum by (project_id, location) ( rate( { "serviceruntime.googleapis.com/quota/rate/net_usage", monitored_resource="consumer_quota", service="managedkafka.googleapis.com", quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests" }[${__interval}] ) ) / ( min by (project_id, location) ( min_over_time( { "serviceruntime.googleapis.com/quota/limit", monitored_resource="consumer_quota", service="managedkafka.googleapis.com", quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests", limit_name="ClusterAuthPerMinutePerProjectPerRegion" }[${__interval}] ) ) / 60 ) ) |
A seguir
- Monitorar um cluster do Kafka
- Monitorar aplicativos cliente do Kafka
- Planejar o tamanho do cluster do Kafka
- Criar e gerenciar painéis personalizados