监控 Kafka 集群的可靠性

本文档介绍了如何监控 Managed Service for Apache Kafka 集群,以确保 Kafka 工作负载的可靠性。

概览

可靠性是指系统在一段时间内正确、一致地执行操作的能力。对于基于 Kafka 的工作负载,可靠性既包括 Kafka 集群本身,也包括生成和使用消息的客户端应用。

Managed Service for Apache Kafka 旨在容忍许多常见故障并从中恢复。例如,该服务会将副本放置在不同的可用区中以实现容错,并自动重启发生故障的代理。不过,影响可靠性的其他因素不在服务的直接控制范围内,例如:

  • 客户端配置
  • 集群上的负载,包括平均负载和峰值
  • 分区和副本的数量
  • 主题配置,例如消息保留

为了实现可靠的运行,请务必监控集群的这些运行参数,并将其保持在建议的范围内。以下各部分介绍了一些对可靠性至关重要的关键指标。

监控集群容量

为避免集群过载,请监控以下信号。创建提醒,以便在这些指标长时间超出建议范围时通知您。

  • CPU 利用率。尽量将所有代理的 CPU 利用率保持在 80% 以下。

  • 代理磁盘利用率:确保代理磁盘利用率保持在 80% 以下。

  • 磁盘大小。作为安全的起点,我们建议每个代理的每个分区至少有 2*(segment.bytes)。在实践中,实际磁盘要求通常要低得多。

    默认情况下,分段文件会在 7 天后关闭并移至远程存储。 大多数分区在此期间收到的数据通常少于 segment.bytes,这意味着大多数分区使用的磁盘可用空间少于 segment.bytes。在增加磁盘大小之前,请在集群上创建更多分区时监控磁盘利用率。

  • 分区数。尽量将每个代理的分区数保持在 4,000 个以下,每个集群的分区数保持在 100,000 个以下。

如果集群容量不足,请考虑采取以下缓解措施:

下表显示了这些指标的 Prometheus 查询语言 (PromQL) 查询,您可以将其添加到自定义 Cloud Monitoring 信息中心。

信号PromQL 查询
CPU 利用率
rate(
  {
    "managedkafka.googleapis.com/cpu/core_usage_time",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/cpu/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
代理磁盘利用率
max_over_time(
  {
    "managedkafka.googleapis.com/disk/used_bytes",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/disk/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
每个分区的细分大小
# Assumes that segment files are 225 MiB. Check your cluster configuration.
2*225*(1024*1024) * max_over_time(
  {
    "managedkafka.googleapis.com/partitions",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
/ min_over_time(
  {
    "managedkafka.googleapis.com/disk/limit",
    monitored_resource="managedkafka.googleapis.com/Cluster"
  }[${__interval}]
)
每个代理的分区数
max by (resource_container, location, cluster_id, broker_index) (
  max_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
每个集群的分区数
max by (resource_container, location, cluster_id) (
  max_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)

监控代理之间的分区平衡

负载不均衡可能会导致 Kafka 集群无法正常处理客户端请求。分配给单个代理的分区数量应保持在每个代理平均分区数量的 10% 左右。查找此指标中的离群值。

为了保持分区平衡,请考虑在集群中启用扩容时自动重新平衡。

下表显示了可用于监控分区不平衡的 PromQL 查询。

信号PromQL 查询
每个代理的分区数
sum by (resource_container, location, cluster_id, broker_index) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
分区不平衡
sum by (resource_container, location, cluster_id, broker_index) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
/ on (resource_container, location, cluster_id)
  group_left avg by (resource_container, location, cluster_id) (
  avg_over_time(
    {
      "managedkafka.googleapis.com/partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
) - 1

监控分区复制

数据复制对于确保工作负载具有容错能力至关重要。 在健康集群中,主题中的每个分区都具有完整数量的副本,具体取决于主题配置的复制因子。

使用以下信号监控分区复制:

  • 低于同步副本数下限 (ISR)。如果分区的同步 ISR 数量少于配置的最小值 (min.insync.replicas),则存在严重的数据丢失和可用性风险。通常,这种情况是由一个或多个代理上的容量不足或基础架构故障引起的。

  • 复制不足的分区。当同步副本的数量低于复制因子时,分区就会复制不足。如果某个分区在数十分钟内仍未完成复制,则代理、存储容量或其他方面可能存在问题。

    在滚动重启期间,代理在重启时会变得不可用,从而导致临时复制不足。这种情况属于正常现象,无需干预。

下表显示了可用于监控复制的 PromQL 查询。

信号PromQL 查询
低于最低 ISR
max by (
  resource_container,
  location,
  cluster_id
) (
  max_over_time(
    {
      "managedkafka.googleapis.com/broker/under_min_isr_partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[${__interval}]
  )
)
复制不足
max by (
  resource_container,
  location,
  cluster_id
) (
  min_over_time(
    {
      "managedkafka.googleapis.com/broker/under_replicated_partitions",
      monitored_resource="managedkafka.googleapis.com/Cluster"
    }[10m:${__interval}]
  )
)

监控授权请求配额

当客户端连接到集群时,对连接进行授权会计入每个区域每个项目每分钟的集群身份验证连接请求数配额。项目和区域中的所有集群都共享此配额,超出此配额会阻止新的客户端连接。尽量将配额利用率保持在 80% 以下,并创建提醒,以便在利用率持续较高时通知您。

如果配额利用率较高,请考虑采取以下缓解措施:

  • 降低客户端创建不必要的新连接的速率。例如,将客户端配置为在发生生产和使用错误时使用指数退避算法,在适当情况下整合客户端实例,并重复使用现有连接。

  • 申请增加配额。如需了解详情,请参阅配额和限制。

下表显示了一个 PromQL 查询,您可以使用该查询按项目和区域监控前三个授权请求配额利用率。

信号PromQL 查询
授权请求配额利用率最高的前 3 个项目和区域
topk(3,
  sum by (project_id, location) (
    rate(
      {
        "serviceruntime.googleapis.com/quota/rate/net_usage",
        monitored_resource="consumer_quota",
        service="managedkafka.googleapis.com",
        quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests"
      }[${__interval}]
    )
  )
  / (
    min by (project_id, location) (
      min_over_time(
        {
          "serviceruntime.googleapis.com/quota/limit",
          monitored_resource="consumer_quota",
          service="managedkafka.googleapis.com",
          quota_metric="managedkafka.googleapis.com/cluster_authenticate_requests",
          limit_name="ClusterAuthPerMinutePerProjectPerRegion"
        }[${__interval}]
      )
    )
    / 60
  )
)

后续步骤

Apache Kafka® 是 Apache Software Foundation 或其关联公司在美国和/或其他国家/地区的注册商标。