kafka3.0集群环境搭建

tar -xzvf jdk-8u311-linux-x64.tar.gz
复制代码

vim /etc/profile
添加
export JAVA_HOME=/usr/share/java/jdk1.8.0_311
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
复制代码

sudo vim /etc/sudoers
在Defaults secure_path 中添加Java的路径
注意事项linux中用:分割的，win下使用;
复制代码

conf/zoo_sample.cfg重命名为 zoo.cfg
# 心跳检测
tickTime=2000
#leader和follower初始化连接时最长能忍受多少个心跳时间的间隔数
initLimit=10 
# leader和follower之间发送消息，请求和应达时间长度，最长不能超过多少个tickTime的时间长度
syncLimit=5
# Zookeeper 保存数据的目录.
dataDir=/usr/share/zookeeper/data
# 日志目录
dataDirLog=/usr/share/zookeeper/log
# 客户端链接的端口
clientPort=2181
复制代码

./zkServer.sh start
 ./zkServer.sh stop
 ./zkServer.sh restart
复制代码

export JAVA_HOME=/usr/share/java/jdk1.8.0_311
复制代码

./zkServer.sh status
或者
./zkCli.sh -server 127.0.0.1:2181
创建节点
create [-s] [-e] path data acl 
-s表示创建顺序节点 
-e表示创建临时节点 
data 数据
acl 权限
查看所有节点
ls /
ls /brokers/ids
删除节点
delete path [version]
有子目录
deleteall
复制代码

listeners=PLAINTEXT://127.0.0.1:9092
log.dirs=/usr/share/kafka/log
zookeeper.connect=localhost:2181
复制代码

./bin/kafka-server-start.sh  config/server.properties
守护线程启动 控制台没输出
./bin/kafka-server-start.sh -daemon config/server.properties
复制代码

kafka-run-class.sh: line 342: exec: java: not found
参考上面java配置
复制代码

./bin/kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic hello
复制代码

./bin/kafka-topics.sh --list  --bootstrap-server 127.0.0.1:9092
复制代码

./bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic hello
复制代码

./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic hello
复制代码

由于是本机的
复制配置文件,改下端口和日志路径多搞一份吧
broker.id=2
kafka-server-start.sh -daemon config/server2.properties
复制代码

./bin/kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --replication-factor 1 --partitions 1 --topic hello
--replication-factor 1 一个副本
--partitions 1 一个分区
复制代码

./bin/kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic hello
./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic hello2 --from-beginning
复制代码

./bin/kafka-topics.sh  --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --list
复制代码

./bin/kafka-topics.sh --describe  --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic hello
复制代码

./bin/kafka-topics.sh -delete --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic hello
复制代码

数据清理不仅要清理日志、还需要把zk的节点也要清理掉
复制代码

ke.sh [start|status|stop|restart|stats]
复制代码

java.sql.SQLException: path to '/hadoop/kafka-eagle/db/ke.db': '/hadoop' does not exist
 修改数据库的位置:支持mysql和sqlit的 默认是sqlit 看下文件路径是否存在
 数据库信息是自动建立ke.db的
复制代码