Kafka三款监控工具比较(转载)

简介: 转自:http://top.jobbole.com/31084/在之前的博客中,介绍了Kafka Web Console这个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。

转自:http://top.jobbole.com/31084/

在之前的博客中,介绍了Kafka Web Console这个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下其他同类的Kafka监控软件。

通过研究,发现主流的三种kafka监控程序分别为:

Kafka Web Conslole

Kafka Manager

KafkaOffsetMonitor

现在依次介绍以上三种工具:

Kafka Web Conslole

使用Kafka Web Console,可以监控:

Brokers列表

Kafka 集群中 Topic列表,及对应的Partition、LogSiz e等信息

点击Topic,可以浏览对应的Consumer Groups、Offset、Lag等信息

生产和消费流量图、消息预览…

img_af38e8abf71082344037727b99d54445.png

程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞。

Kafka Manager

雅虎开源的Kafka集群管理工具:

管理几个不同的集群

监控集群的状态(topics, brokers, 副本分布, 分区分布)

产生分区分配(Generate partition assignments)基于集群的当前状态

重新分配分区

img_33e1159dd7f85c2410c5cc11e3167d36.png

KafkaOffsetMonitor

KafkaOffsetMonitor可以实时监控:

Kafka集群状态

Topic、Consumer Group列表

图形化展示topic和consumer之间的关系

图形化展示consumer的Offset、Lag等信息

img_8960b3488a80f6b2e743c493852c2b3b.png

总结

通过使用,个人总结以上三种监控程序的优缺点:

Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。

Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。

KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。

若只需要监控功能,推荐使用KafkaOffsetMonito,若偏重Kafka集群管理,推荐使用Kafka Manager。

因为都是开源程序,稳定性欠缺。故需先了解清楚目前已存在哪些Bug,多测试一下,避免出现类似于Kafka Web Console的问题。

目录
相关文章
|
消息中间件 监控 Kafka
Kafka集群监控系统Kafka Eagle部署与体验
Kafka集群监控系统Kafka Eagle部署与体验
607 0
Kafka集群监控系统Kafka Eagle部署与体验
|
消息中间件 数据采集 运维
Kafka监控数据采集
上篇文章讲解了运维平台的整体设计,对各个部分并未深入介绍,今天将比较重要的一环——监控数据来源进行讲解。
596 0
|
4月前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
240 2
|
9月前
|
消息中间件 数据可视化 关系型数据库
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
ELK7.x日志系统搭建 4. 结合kafka集群完成日志系统
223 0
|
消息中间件 监控 Java
一款开源的 Kafka 管理平台
Apache Kafka UI 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群,可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况,支持多集群管理、性能监控、访问控制等功能
|
消息中间件 JSON 数据可视化
Kafdrop-Kafka开源可视化工具
Kafdrop是Apache Kafka的开源Web UI可视化工具。
743 0
|
消息中间件 存储 监控
【Kafka从入门到放弃系列 七】Kafka可视化监控
【Kafka从入门到放弃系列 七】Kafka可视化监控
358 0
|
消息中间件 存储 数据采集
iLogtail社区版使用入门 - 如何将业务日志采集到Kafka
本文将会详细介绍如何使用iLogtail社区版将日志采集到Kafka中,从而帮助使用者构建日志采集系统。
1548 0
|
消息中间件 运维 监控
Kafka监控工具汇总
对于大数据集群来说,监控功能是非常必要的,通过日志判断故障低效,我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
1233 0
Kafka监控工具汇总
|
消息中间件 存储 Kafka
部署ELK+Kafka+Filebeat日志收集分析系统
ELK+Kafka+Filebeat日志系统 文章目录 ELK+Kafka+Filebeat日志系统 1.环境规划 2.部署elasticsearch集群 2.1.配置es-1节点 2.2.配置es-2节点 2.3.配置es-3节点 2.4.使用es-head插件查看集群状态 3.部署kibana 4.部署zookeeper 4.1.配置zookeeper-1节点 4.2.配置zookeeper-2节点 4.3.配置zookeeper-3节点 4.4.启动所有节点 5.部署kafka 5.1.配置kafka-1节点 5.2.配置kafka-2节点 5.3.配置kafka-3节点
943 1
部署ELK+Kafka+Filebeat日志收集分析系统

热门文章

最新文章