【Kafka从入门到放弃系列 七】Kafka可视化监控

简介: 【Kafka从入门到放弃系列 七】Kafka可视化监控

了解了Kafka的基本概念搭建了Kafka集群以及使用基本命令、**深入了解Kafka架构【工作流程和存储机制、生产者策略、消费者策略、Zookeeper的管理】**之后,我们来安装一款监控工具来监控Kafka的动态,可以说也是一趟趟坑之旅。

下载Kafka-eagle

下载的话很简单,直接从官网下载后解压即可,下载完成后可以看到如下目录:

找到jdk的安装路径

因为使用的是Centos自带的jdk,所以不知道路径在哪儿,可以使用如下命令获取:

which  java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java

默认路径为:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64,但是即使如此后期配置kafka-eagle也不成功,因为自带的只有jre,没有启动命令。所以使用如下命令拉取更新

yum install java-devel

配置环境变量

打开文件/etc/profile,在其末尾添加如下配置:

export KE_HOME=/soft/kafka-eagle
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin

修改完成后执行source /etc/profile

修改Kafka启动配置

修改如下目录的JMX端口,让之后的eagle能通:export JMX_PORT="9999"

修改Kafka-eagle配置文件

找到配置文件地址进行修改

修改集群部分配置:

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.5.101:2181,192.168.5.102:2181,192.168.5.103:2181

修改数据库部分配置

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/soft/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org

启动Kafka-eagle

启动之前首先把集群的zookeeper和kafka启动了,启动时首先修改文件的启动权限,进入kafka-eagle下的bin目录执行sudo chomd 777 ke.sh,执行完成后启动ke.sh start,启动成功后可以看到:

访问地址:http://192.168.5.101:8048/ke,查看启动结果:

输入账号密码进入界面即可查看:

查看topic和broker概览

查看broker信息:

查看详细topic信息

可以看到topic列表

进入其中一个我们可以看到topic详情:

查看集群信息

可以看到我们之前创建的topic,同样也可以看到集群信息

查看消费者信息

我们创建一个消费者:bin/kafka-console-consumer.sh --bootstrap-server 192.168.5.102:9092 --from-beginning --topic tml-second,然后就可以看到消费者信息

相关文章
|
26天前
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
43 2
|
6月前
|
消息中间件 分布式计算 Kafka
SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)
SparkStreaming(SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭)(一)
|
3月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
6月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
212 1
|
5月前
|
消息中间件 监控 Java
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
本文由北京宝兰德公司解决方案总监徐清康撰写,探讨了Kafka和AutoMQ集群的监控。
226 2
「布道师系列文章」宝兰德徐清康解析 Kafka 和 AutoMQ 的监控
|
4月前
|
消息中间件 监控 Java
使用 JMX 监控 Kafka 集群性能指标
使用 JMX 监控 Kafka 集群性能指标
450 1
|
4月前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台(3)
基于Kafka的nginx日志收集分析与监控平台(3)
|
4月前
|
消息中间件 监控 Kafka
基于Kafka的nginx日志收集分析与监控平台(2)
基于Kafka的nginx日志收集分析与监控平台(2)
|
4月前
|
消息中间件 负载均衡 应用服务中间件
基于Kafka的nginx日志收集分析与监控平台(1)
基于Kafka的nginx日志收集分析与监控平台(1)
|
6月前
|
消息中间件 存储 Kafka
Kafka【基础入门】
Kafka【基础入门】
65 1