Kafka监控必备——Kafka-Eagle 2.0.2正式发布

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。

Kafka Eagle


Kafka Eagle是一个监控系统,监控Kafka群集以及偏移量,消费者等等。

通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者,也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本:0.8.2.x0.9.x0.10.x0.11.x1.x2.x

支持的系统:Mac OS XLinuxWindows

JDK:JDK8+

自从Kafka Eagle开源以来,也得到了迅速的发展,目前GitHub的Star已经突破1.5K

微信图片_20220528111846.png

下面我们来了解一下Kafka Eagle的核心功能。


功能展示


大屏支持

炫酷的大屏展示,生产者消费者情况,消息积压情况。

微信图片_20220528111850.png

报警支持

自定义报警阈值,触发报警

微信图片_20220528111854.png

报警消息情况

微信图片_20220528111857.png

除了支持email警报外,Kafka Eagle还支持即时消息警报,例如DingDingWeChat

微信图片_20220528111900.png

消费者组列表和活动图

消费者组的情况

微信图片_20220528111904.png

主题列表明细

每个主题的具体情况

微信图片_20220528111907.png

消费者与生产者图表

微信图片_20220528111911.png


特色功能


偏移量

Kafka的偏移量存储位置发生过变化,这一直是监控的一大难题。

  • Kafka0.8.2之前的版本,偏移量存储于Zookeeper中。
  • 0.10.0以后的Kafka版本默认建议在Kafka主题(__consumer_offsets)中。

这两种Kafka Eagle都支持,Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中,则可以像这样配置它们。

# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

image.png

相关文章
|
消息中间件 数据采集 运维
Kafka监控数据采集
上篇文章讲解了运维平台的整体设计,对各个部分并未深入介绍,今天将比较重要的一环——监控数据来源进行讲解。
497 0
|
8天前
|
消息中间件 监控 Java
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
本文由北京宝兰德公司解决方案总监徐清康撰写,探讨了Kafka和AutoMQ集群的监控。
11 2
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
|
1月前
|
消息中间件 SQL 监控
kafka监控
kafka监控
46 0
|
消息中间件 监控 Java
Docker安装Kafka(docker-compose)、EFAK监控
Docker安装Kafka(docker-compose)、EFAK监控
Docker安装Kafka(docker-compose)、EFAK监控
|
消息中间件 Prometheus Kubernetes
K8S的Kafka监控(Prometheus+Grafana)
本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana)
592 0
K8S的Kafka监控(Prometheus+Grafana)
|
消息中间件 Prometheus 运维
最佳实践|从Producer 到 Consumer,如何有效监控 Kafka
对于运维人而言,如何安装维护一套监控系统,或如何进行技术选型,从来不是工作重点。如何借助工具对所需的应用、组件进行监控,发现并解决问题才是重中之重。随着 Prometheus 逐渐成为云原生时代可观测标准,为了帮助更多运维人用好 Prometheus,阿里云云原生团队将定期更新 Prometheus 最佳实践系列。第一期我们讲解了《最佳实践|Spring Boot 应用如何接入 Prometheus 监控》,今天将为大家带来,消息队列产品 Kafka 的监控最佳实践。
最佳实践|从Producer 到 Consumer,如何有效监控 Kafka
|
监控
Prometheus-kafka_export 监控
Prometheus-kafka_export 监控
|
消息中间件 存储 监控
【Kafka从入门到放弃系列 七】Kafka可视化监控
【Kafka从入门到放弃系列 七】Kafka可视化监控
322 0
|
消息中间件 弹性计算 Prometheus
问题盘点|使用 Prometheus 监控 Kafka,我们该关注哪些指标
Kafka 作为当前广泛使用的中间件产品,承担了重要/核心业务数据流转,其稳定运行关乎整个业务系统可用性。本文旨在分享阿里云 Prometheus 在阿里云 Kafka 和自建 Kafka 的监控实践。
1334 30
问题盘点|使用 Prometheus 监控 Kafka,我们该关注哪些指标
BXA
|
消息中间件 存储 Prometheus
Kafka运维与监控
Kafka是由Apache Software Foundation开发的一款分布式流处理平台和消息队列系统 可以处理大规模的实时数据流,具有高吞吐量、低延迟、持久性和可扩展性等优点 常用于数据架构、数据管道、日志聚合、事件驱动等场景,对Kafka的运维和监控十分必要 本文旨在介绍Kafka的运维和监控相关内容
BXA
279 0

热门文章

最新文章