开发者社区> 大数据流动> 正文

Kafka监控必备——Kafka-Eagle 2.0.2正式发布

简介: 对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。
+关注继续查看

Kafka Eagle


Kafka Eagle是一个监控系统,监控Kafka群集以及偏移量,消费者等等。

通过Kafka Eagle可以看到当前的消费者组,对于每个组,他们正在使用的主题以及该组在每个主题中的偏移量,消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者,也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本:0.8.2.x0.9.x0.10.x0.11.x1.x2.x

支持的系统:Mac OS XLinuxWindows

JDK:JDK8+

自从Kafka Eagle开源以来,也得到了迅速的发展,目前GitHub的Star已经突破1.5K

微信图片_20220528111846.png

下面我们来了解一下Kafka Eagle的核心功能。


功能展示


大屏支持

炫酷的大屏展示,生产者消费者情况,消息积压情况。

微信图片_20220528111850.png

报警支持

自定义报警阈值,触发报警

微信图片_20220528111854.png

报警消息情况

微信图片_20220528111857.png

除了支持email警报外,Kafka Eagle还支持即时消息警报,例如DingDingWeChat

微信图片_20220528111900.png

消费者组列表和活动图

消费者组的情况

微信图片_20220528111904.png

主题列表明细

每个主题的具体情况

微信图片_20220528111907.png

消费者与生产者图表

微信图片_20220528111911.png


特色功能


偏移量

Kafka的偏移量存储位置发生过变化,这一直是监控的一大难题。

  • Kafka0.8.2之前的版本,偏移量存储于Zookeeper中。
  • 0.10.0以后的Kafka版本默认建议在Kafka主题(__consumer_offsets)中。

这两种Kafka Eagle都支持,Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中,则可以像这样配置它们。

# Set kafka cluster alias
kafka.eagle.zk.cluster.alias=cluster1,cluster2
# Set kafka cluster zookeeper address
cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181
cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
# Set kafka cluster offset storage path
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

image.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23580 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
22359 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
19808 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
14761 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
22538 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
36450 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
16454 0
122
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载