在了解了Kafka的基本概念、搭建了Kafka集群以及使用基本命令、**深入了解Kafka架构【工作流程和存储机制、生产者策略、消费者策略、Zookeeper的管理】**之后,我们来安装一款监控工具来监控Kafka的动态,可以说也是一趟趟坑之旅。
下载Kafka-eagle
下载的话很简单,直接从官网下载后解压即可,下载完成后可以看到如下目录:
找到jdk的安装路径
因为使用的是Centos自带的jdk,所以不知道路径在哪儿,可以使用如下命令获取:
which java ls -lrt /usr/bin/java ls -lrt /etc/alternatives/java
默认路径为:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
,但是即使如此后期配置kafka-eagle也不成功,因为自带的只有jre,没有启动命令。所以使用如下命令拉取更新
yum install java-devel
配置环境变量
打开文件/etc/profile
,在其末尾添加如下配置:
export KE_HOME=/soft/kafka-eagle export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 export PATH=$PATH:$KE_HOME/bin:$JAVA_HOME/bin
修改完成后执行source /etc/profile
修改Kafka启动配置
修改如下目录的JMX端口,让之后的eagle能通:export JMX_PORT="9999"
修改Kafka-eagle配置文件
找到配置文件地址进行修改
修改集群部分配置:
###################################### # multi zookeeper&kafka cluster list ###################################### kafka.eagle.zk.cluster.alias=cluster1 cluster1.zk.list=192.168.5.101:2181,192.168.5.102:2181,192.168.5.103:2181
修改数据库部分配置
###################################### # kafka jdbc driver address ###################################### kafka.eagle.driver=org.sqlite.JDBC kafka.eagle.url=jdbc:sqlite:/soft/kafka-eagle/db/ke.db kafka.eagle.username=root kafka.eagle.password=www.kafka-eagle.org
启动Kafka-eagle
启动之前首先把集群的zookeeper和kafka启动了,启动时首先修改文件的启动权限,进入kafka-eagle下的bin目录执行sudo chomd 777 ke.sh
,执行完成后启动ke.sh start
,启动成功后可以看到:
访问地址:http://192.168.5.101:8048/ke
,查看启动结果:
输入账号密码进入界面即可查看:
查看topic和broker概览
查看broker信息:
查看详细topic信息
可以看到topic列表
进入其中一个我们可以看到topic详情:
查看集群信息
可以看到我们之前创建的topic,同样也可以看到集群信息
查看消费者信息
我们创建一个消费者:bin/kafka-console-consumer.sh --bootstrap-server 192.168.5.102:9092 --from-beginning --topic tml-second
,然后就可以看到消费者信息