公司使用到了Kafka，想借助一套可视化的工具更好地管理Kafka。笔者将目光瞄准了Kafka Manager。
安装Kafka
一、下载Kafka
前往http://kafka.apache.org/downloads ，根据自己的需要，下载合适版本的Kafka，笔者使用的版本是kafka_2.12-0.10.2.1。
二、启动Kafka
-
启动Zookeeper。Kafka依赖Zookeeper，因此，启动Kafka前得先启动Zookeeper。在Kafka的根路径执行如下命令即可启动Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties & -
启动Kafka。启动完Zookeeper后，即可启动Kafka。执行如下命令即可。
bin/kafka-server-start.sh config/server.properties &
三、测试Kafka
-
创建一个Topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test如创建成功，将会显示类似如下的内容：
Created topic "test". -
查看创建的Topic
bin/kafka-topics.sh --list --zookeeper localhost:2181 -
创建一个消息生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test此时，终端会滞留，我们可以随便输入一些内容，该内容将会生产到Kafka中。
-
创建一个消息消费者。新建一个终端，输入如下命令：
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning如消费者可收到在生产者中输入的内容，则说明Kafka搭建成功。
安装Kafka Manager
一、Kafka Manager简介
Kafka Manager是一款非常强大的Kafka管理工具。功能如下：
- Manage multiple clusters
- Easy inspection of cluster state (topics, consumers, offsets, brokers, replica distribution, partition distribution)
- Run preferred replica election
- Generate partition assignments with option to select brokers to use
- Run reassignment of partition (based on generated assignments)
- Create a topic with optional topic configs (0.8.1.1 has different configs than 0.8.2+)
- Delete topic (only supported on 0.8.2+ and remember set delete.topic.enable=true in broker config)
- Topic list now indicates topics marked for deletion (only supported on 0.8.2+)
- Batch generate partition assignments for multiple topics with option to select brokers to use
- Batch run reassignment of partition for multiple topics
- Add partitions to existing topic
- Update config for existing topic
- Optionally enable JMX polling for broker level and topic level metrics.
- Optionally filter out consumers that do not have ids/ owners/ & offsets/ directories in zookeeper.
二、下载Kafka Manager
前往https://github.com/yahoo/kafka-manager/releases ，根据自己的需要，下载合适版本的Kafka Manager源码，笔者使用的版本是1.3.3.13。
三、构建
由于Kafka Manager只提供了源码，并没有提供二进制包，因此我们需要对下载下来的源码进行构建，构建依赖工具sbt。
-
安装sbt。在macOS中，执行如下命令即可安装sbt。对于其他操作系统，可参考官方文档进行安装：http://www.scala-sbt.org/0.13/docs/Setup.html
brew install sbt
解压源码
-
在源码根目录下执行如下命令构建项目：
sbt clean dist由于伟大的墙，尽管我为sbt配置了
Aliyun等若干镜像仓库，依然很慢。经过长达100年的等待，本机依然无法构建成功。笔者实在受不了了，干脆在Linode上购置了一台云服务器。在服务器上安装Java、sbt，并执行sbt clean dist进行构建，只花了5分钟不到，构建就完成了，不得不鄙视国内的【局域网】。 构建成功后，在
target/universal目录下找到类似kafka-manager-1.3.3.13.zip的文件，这个就是构件好的Kafka Manager啦。
四、配置
解压
kafka-manager-1.3.3.13.zip。修改
conf/application.conf，将配置属性kafka-manager.zkhosts改为您的zk集群地址。-
在Kafka Manager根目录下执行如下命令，即可启动Kafka Manager。
nohup bin/kafka-manager \ -Dconfig.file=conf/application.conf \ -Dhttp.port=9000 &如提示
akka.ConfigurationException: Could not start logger due to [akka.ConfigurationException: Logger specified in config can't be loaded [akka.event.slf4j.Slf4jLogger] due to [akka.event.Logging$LoggerInitializationException: Logger log1-Slf4jLogger did not respond with LoggerInitialized, sent instead [TIMEOUT]]] at akka.event.LoggingBus$class.startDefaultLoggers(Logging.scala:144)则在
conf/application.conf中找到类似如下是内容：akka { loggers = ["akka.event.slf4j.Slf4jLogger"] loglevel = "INFO" }改为：
akka { loggers = ["akka.event.slf4j.Slf4jLogger"] loglevel = "INFO" logger-startup-timeout = 30s }这样就不会报超时了。
使用http://localhost:9000 即可访问Kafka Manager啦。
配置Kafka Manager
初次访问时，需配置想要监控的Kafka集群。
- 点击http://localhost:9000 导航栏上的"Add Cluster"按钮，
- 配置Kafka集群名称、Kafka集群的ZK列表等参数，如下图：
- 这样即可监控你的Kafka集群啦。
参考文档
- 搭建单机版Kafka：http://blog.csdn.net/jingshuigg/article/details/24439637
- Kafka Manager的GitHub：https://github.com/yahoo/kafka-manager
- Kafka Manager启动报超时异常的Issue：https://github.com/yahoo/kafka-manager/issues/256
本文链接： http://www.itmuch.com/work/kafka-manager/
**版权声明： **本博客由周立创作，采用 CC BY 3.0 CN 许可协议。可自由转载、引用，但需署名作者且注明文章出处。如转载至微信公众号，请在文末添加作者公众号二维码。
