Kafka监控必备——Kafka-Eagle 2.0.2正式发布

2022-05-28 381

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

服务治理 MSE Sentinel/OpenSergo，Agent数量不受限

云原生网关 MSE Higress，422元/月

注册配置 MSE Nacos/ZooKeeper，118元/月

简介： 对于经常使用Kafka的同学，拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况，了解实时数据流的变化。

Kafka Eagle

Kafka Eagle是一个监控系统，监控Kafka群集以及偏移量，消费者等等。

通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正在使用的主题以及该组在每个主题中的偏移量，消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者，也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本：0.8.2.x，0.9.x，0.10.x，0.11.x，1.x，2.x

支持的系统：Mac OS X，Linux，Windows

JDK：JDK8+

自从Kafka Eagle开源以来，也得到了迅速的发展，目前GitHub的Star已经突破1.5K

微信图片_20220528111846.png

下面我们来了解一下Kafka Eagle的核心功能。

功能展示

大屏支持

炫酷的大屏展示，生产者消费者情况，消息积压情况。

微信图片_20220528111850.png

报警支持

自定义报警阈值，触发报警

微信图片_20220528111854.png

报警消息情况

微信图片_20220528111857.png

除了支持email警报外，Kafka Eagle还支持即时消息警报，例如DingDing和WeChat。

微信图片_20220528111900.png

消费者组列表和活动图

消费者组的情况

微信图片_20220528111904.png

主题列表明细

每个主题的具体情况

微信图片_20220528111907.png

消费者与生产者图表

微信图片_20220528111911.png

特色功能

偏移量

Kafka的偏移量存储位置发生过变化，这一直是监控的一大难题。

Kafka0.8.2之前的版本，偏移量存储于Zookeeper中。
0.10.0以后的Kafka版本默认建议在Kafka主题（__consumer_offsets）中。

这两种Kafka Eagle都支持，Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中，则可以像这样配置它们。

# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

Kafka监控必备——Kafka-Eagle 2.0.2正式发布

Kafka Eagle

功能展示

大屏支持