Hadoop-Kafka监控工具KafkaOffsetMonitor配置及使用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Hadoop-Kafka监控工具KafkaOffsetMonitor配置及使用

KafkaOffsetMonitor是一个可以用于监控Kafka的Topic及Consumer消费状况的工具,其配置和使用特别的方便。源项目Github地址为:


https://github.com/quantifind/KafkaOffsetMonitor


最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar,上传到某服务器上,然后执行一句命令就可以运行起来。


1.  创建kafka管理台文件夹


创建一个kafka-monitor的文件夹,并将KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar拷贝进去。


网络异常,图片无法展示
|


创建文件夹


2.  创建启动&停止脚本


启动脚本kafka-monitor-start.sh

java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m \
     -cp KafkaOffsetMonitor-assembly-0.4.1-SNAPSHOT.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --offsetStorage kafka \
     --kafkaBrokers 192.168.10.128:9092 \
     --kafkaSecurityProtocol PLAINTEXT \
     --zk 192.168.10.129:2181 \
     --port 8088 \
     --refresh 10.seconds \
     --retain 2.days 1>/app/kafka-monitor/logs/stdout.log 2>/app/kafka-monitor/logs/stderr.log & \


停止脚本kafka-monitor-stop.sh

killnum=`jps | grep OffsetGetterWeb | awk '{print $1}'`
kill -9 ${killnum}
echo "OK...."


3.  创建日志文件夹&日志文件


在kafka-monitor 下mkdir logs,创建logs文件件,touch stdout.log ,touch stderr.log,创建stdout.log和stderr.log日志文件


网络异常,图片无法展示
|


创建文件


网络异常,图片无法展示
|


日志文件


4.  运行启动脚本


运行启动脚本后,查看日志文件,出现如下信息,基本代码启动成功


网络异常,图片无法展示
|


启动日志


查看是否已经成功启动进程:

ps -ef | grep 'kafka'


5.  访问web控制台


启动浏览器,输入部署服务器的ip:8089,看到如下画面即代表OK.


网络异常,图片无法展示
|


展示页面


网络异常,图片无法展示
|


关键页面说明


说明:
  1. 通过对比producer offset和consumer offset的值,也即是offset lag.可以监控消息是否能够及时被消费.
  2. 若lag一直持续增大,超过一定的量,达到kafka清除消息的话,消息就可能会出现被清除掉而永远不能被消费的风险.所以当lag超过一定量时要提前做预警.
相关文章
|
7天前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
30天前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
64 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
65 4
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
131 5
|
29天前
|
消息中间件 分布式计算 Java
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
27 2
|
30天前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
40 3
|
1月前
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
66 4
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
65 4
|
30天前
|
消息中间件 Java 大数据
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
62 2
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
66 2