Kafka三款监控工具比较(转载)

简介: 转自:http://top.jobbole.com/31084/在之前的博客中,介绍了Kafka Web Console这个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。

转自:http://top.jobbole.com/31084/

在之前的博客中,介绍了Kafka Web Console这个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下其他同类的Kafka监控软件。

通过研究,发现主流的三种kafka监控程序分别为:

Kafka Web Conslole

Kafka Manager

KafkaOffsetMonitor

现在依次介绍以上三种工具:

Kafka Web Conslole

使用Kafka Web Console,可以监控:

Brokers列表

Kafka 集群中 Topic列表,及对应的Partition、LogSiz e等信息

点击Topic,可以浏览对应的Consumer Groups、Offset、Lag等信息

生产和消费流量图、消息预览…

img_af38e8abf71082344037727b99d54445.png

程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞。

Kafka Manager

雅虎开源的Kafka集群管理工具:

管理几个不同的集群

监控集群的状态(topics, brokers, 副本分布, 分区分布)

产生分区分配(Generate partition assignments)基于集群的当前状态

重新分配分区

img_33e1159dd7f85c2410c5cc11e3167d36.png

KafkaOffsetMonitor

KafkaOffsetMonitor可以实时监控:

Kafka集群状态

Topic、Consumer Group列表

图形化展示topic和consumer之间的关系

图形化展示consumer的Offset、Lag等信息

img_8960b3488a80f6b2e743c493852c2b3b.png

总结

通过使用,个人总结以上三种监控程序的优缺点:

Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。

Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。

KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。

若只需要监控功能,推荐使用KafkaOffsetMonito,若偏重Kafka集群管理,推荐使用Kafka Manager。

因为都是开源程序,稳定性欠缺。故需先了解清楚目前已存在哪些Bug,多测试一下,避免出现类似于Kafka Web Console的问题。

目录
相关文章
|
消息中间件 监控 Kafka
Kafka集群监控系统Kafka Eagle部署与体验
Kafka集群监控系统Kafka Eagle部署与体验
734 0
Kafka集群监控系统Kafka Eagle部署与体验
|
关系型数据库 Go 数据库
【Go语言专栏】Go语言中的数据库迁移与版本控制
【4月更文挑战第30天】本文介绍了Go语言中的数据库迁移和版本控制。针对数据库迁移,文章提到了使用Flyway和Liquibase两个工具。通过示例展示了如何在Go中集成这两个工具进行数据库结构的修改,以适应业务变化。而对于版本控制,文章以Git为例,说明了如何利用Git进行源代码和配置文件的管理,确保代码一致性与可追溯性。
521 0
|
JSON JavaScript 中间件
深入浅出Node.js后端开发之Express框架应用
【8月更文挑战第29天】本文将带领读者快速了解并掌握使用Express框架进行Node.js后端开发的基础和进阶知识。我们将一起探索Express的安装、基本使用方法,并通过实际代码示例学习如何搭建一个简单的Web服务器。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供有价值的指导和灵感。
|
应用服务中间件 网络安全 nginx
nginx 常用命令 |升级到1.20.1版本 | 如何更换 Nginx SSL 证书
nginx 常用命令 |升级到1.20.1版本 | 如何更换 Nginx SSL 证书
752 0
|
Python Windows
02-pycharm详细安装教程(大妈看了都会)
02-pycharm详细安装教程(大妈看了都会)
667 0
|
存储 NoSQL 搜索推荐
Redis地理位置和搜索:实现位置服务和简单搜索引擎
本篇深入研究了Redis的地理位置数据类型及其应用,以及如何基于Redis构建一个简单的搜索引擎。我们首先介绍了地理位置数据类型(Geo),展示了如何使用它来存储位置信息,并进行位置查询、距离计算以及附近位置搜索。通过代码示例,读者可以了解如何利用地理位置数据类型实现位置服务。
778 0
wechat协议接口免费分享
wechat协议接口免费分享
271 5
wechat协议接口免费分享
|
数据采集 API Python
python关于ip代理池的获取和随机生成
python关于ip代理池的获取和随机生成
258 0
|
机器学习/深度学习 关系型数据库 PyTorch
DeepSpeed-MoE:训练更大及更复杂的混合专家网络
这是微软发布在**2022 ICML**的论文,MoE可以降低训练成本,但是快速的MoE模型推理仍然是一个未解决的问题。所以论文提出了一个端到端的MoE训练和推理解决方案DeepSpeed-MoE:它包括新颖的MoE架构设计和模型压缩技术,可将MoE模型大小减少3.7倍;通过高度优化的推理系统,减少了7.3倍的延迟和成本;与同等质量的密集模型相比,推理速度提高4.5倍,成本降低9倍。
751 0
|
消息中间件 运维 监控
Kafka监控工具汇总
对于大数据集群来说,监控功能是非常必要的,通过日志判断故障低效,我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
1423 0
Kafka监控工具汇总