DiDi Kafka-Manager安装和简单使用

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: DiDi Kafka-Manager安装和简单使用

之前本来想装kafka-manager,现在叫做CMAK,后来发现滴滴开源的kafka-manager,功能更丰富。看了下它的架构图和源码,还是很值得参考和借鉴的。

让我们来看看didi kafka-manager官网介绍的功能:

一站式 ApacheKafka集群指标监控与运维管控平台

主要功能特性

集群监控维度

  • 多版本集群管控,支持从 0.10.22.4版本;
  • 集群Topic、Broker等多维度历史与实时关键指标查看;

集群管控维度

  • 集群运维,包括逻辑Region方式管理集群;
  • Broker运维,包括优先副本选举;
  • Topic运维,包括创建、查询、扩容、修改属性、数据采样及迁移等;
  • 消费组运维,包括指定时间或指定偏移两种方式进行重置消费偏移;

用户使用维度

  • 管理员用户与普通用户视角区分;
  • 管理员用户与普通用户权限区分;

kafka-manager架构图

安装手册

环境依赖

  • Maven3.5.0+(后端打包依赖)
  • node v8.12.0+(前端打包依赖)
  • Java8+(运行环境需要)
  • MySQLPostgreSQL(数据存储)

环境初始化

mysql建库kafka-manager,执行初始化脚本 createmysqltable.sql,从而创建所需的MySQL库及表,默认创建的库名是 kafka_manager

打包

执行 mvn install命令即可。

备注:每一次执行 mvn install命令,都将在 web/src/main/resources/templates下面生成最新的前端资源文件,如果 console模块下的代码没有变更,可以修改 ./pom.xml文件,忽略对 console模块的打包。

在对console执行npm的过程中遇到下面的错误:

“Unexpected end of JSON input while parsing near···”

解决方法:先清除缓存,再重新安装

清除缓存


npm cache clean --force


在重新执行命令

启动

############# application.yml 是配置文件
cp web/src/main/resources/application.yml web/target/
cd web/target/
nohup java -jar kafka-manager-web-1.0.0-SNAPSHOT.jar --spring.config.location=./application.yml > /dev/null 2>&

由于集群8080端口被占用,我们改成了9005

Web界面

用管理员帐号admin/admin登录


我们需要添加kafka集群

这里注意,我们CDH中zookeeper的连接地址为 cdh1.macro.com:2181,cdh2.macro.com:2181,cdh3.macro.com:2181/kafka

后续我们深度使用,看会遇到哪些问题。


相关文章
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
72 0
|
7月前
|
消息中间件 负载均衡 Java
Kafka的安装及使用
Kafka的安装及使用
241 0
Kafka的安装及使用
|
6月前
|
消息中间件 数据可视化 Kafka
【kafka可视化工具】kafka-eagle在windows环境的下载、安装、启动与访问
【kafka可视化工具】kafka-eagle在windows环境的下载、安装、启动与访问
702 0
|
1月前
|
消息中间件 Java Kafka
Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
【2月更文挑战第19天】Kafka【环境搭建 01】kafka_2.12-2.6.0 单机版安装+参数配置及说明+添加到service服务+开机启动配置+验证+chkconfig配置说明(一篇入门kafka)
55 1
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.19 安装Kafka
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
74 0
Hadoop学习笔记(HDP)-Part.19 安装Kafka
|
1月前
|
消息中间件 Kafka Linux
Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)
【2月更文挑战第21天】Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer)
194 2
|
2月前
|
消息中间件 Java Kafka
docker安装kafka(wurstmeister)
docker安装kafka(wurstmeister)
124 0
|
3月前
|
消息中间件 Kafka Linux
linux如何安装KafKa
linux如何安装KafKa
962 0
|
3月前
|
消息中间件 Java Kafka
使用Java编写代码安装Kafka及启动Zookeeper和Kafka
如何使用Java编写代码安装Kafka及启动Zookeeper和Kafka?其中包括安装前准备、修改配置文件、创建日志目录和数据目录等步骤,请提供详细实现过程。
43 0
|
4月前
|
消息中间件 Kafka Docker
docker 安装kafka
docker 安装kafka
74 0

热门文章

最新文章