Kafka监控必备——Kafka-Eagle 2.0.2正式发布

本文涉及的产品
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。

Kafka Eagle


Kafka Eagle是一个监控系统,监控Kafka群集以及偏移量,消费者等等。

通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者,也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本:0.8.2.x0.9.x0.10.x0.11.x1.x2.x

支持的系统:Mac OS XLinuxWindows

JDK:JDK8+

自从Kafka Eagle开源以来,也得到了迅速的发展,目前GitHub的Star已经突破1.5K

微信图片_20220528111846.png

下面我们来了解一下Kafka Eagle的核心功能。


功能展示


大屏支持

炫酷的大屏展示,生产者消费者情况,消息积压情况。

微信图片_20220528111850.png

报警支持

自定义报警阈值,触发报警

微信图片_20220528111854.png

报警消息情况

微信图片_20220528111857.png

除了支持email警报外,Kafka Eagle还支持即时消息警报,例如DingDingWeChat

微信图片_20220528111900.png

消费者组列表和活动图

消费者组的情况

微信图片_20220528111904.png

主题列表明细

每个主题的具体情况

微信图片_20220528111907.png

消费者与生产者图表

微信图片_20220528111911.png


特色功能


偏移量

Kafka的偏移量存储位置发生过变化,这一直是监控的一大难题。

  • Kafka0.8.2之前的版本,偏移量存储于Zookeeper中。
  • 0.10.0以后的Kafka版本默认建议在Kafka主题(__consumer_offsets)中。

这两种Kafka Eagle都支持,Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中,则可以像这样配置它们。

# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

image.png

相关文章
|
消息中间件 监控 Kafka
Kafka集群监控系统Kafka Eagle部署与体验
Kafka集群监控系统Kafka Eagle部署与体验
525 0
Kafka集群监控系统Kafka Eagle部署与体验
|
消息中间件 数据采集 运维
Kafka监控数据采集
上篇文章讲解了运维平台的整体设计,对各个部分并未深入介绍,今天将比较重要的一环——监控数据来源进行讲解。
506 0
|
1月前
|
消息中间件 监控 Java
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
本文由北京宝兰德公司解决方案总监徐清康撰写,探讨了Kafka和AutoMQ集群的监控。
181 2
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
|
26天前
|
消息中间件 监控 Java
使用 JMX 监控 Kafka 集群性能指标
使用 JMX 监控 Kafka 集群性能指标
54 1
|
24天前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台(3)
基于Kafka的nginx日志收集分析与监控平台(3)
|
24天前
|
消息中间件 监控 Kafka
基于Kafka的nginx日志收集分析与监控平台(2)
基于Kafka的nginx日志收集分析与监控平台(2)
|
24天前
|
消息中间件 负载均衡 应用服务中间件
基于Kafka的nginx日志收集分析与监控平台(1)
基于Kafka的nginx日志收集分析与监控平台(1)
|
2月前
|
消息中间件 SQL 监控
kafka监控
kafka监控
49 0
|
消息中间件 监控 Java
Docker安装Kafka(docker-compose)、EFAK监控
Docker安装Kafka(docker-compose)、EFAK监控
Docker安装Kafka(docker-compose)、EFAK监控
|
消息中间件 Prometheus Kubernetes
K8S的Kafka监控(Prometheus+Grafana)
本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana)
627 0
K8S的Kafka监控(Prometheus+Grafana)

热门文章

最新文章