四十二、centos安装kafka,集群模式(生产者消费者部署测试)

简介: 四十二、centos安装kafka,集群模式(生产者消费者部署测试)

环境准备:


centos 7


zookeeper正常运行


kafka_2.11-1.0.0.tgz


环境搭建:


一、安装:

   

1、免费下载:


kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载

kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.


https://download.csdn.net/download/m0_54925305/37705799


       2、解压:


tar -zxvf kafka_2.11-1.0.0.tgz -C /home/


83.png


       3、重命名:


mv kafka_2.11-1.0.0/ kafka


84.png


二、修改配置文件

     

1、修改 server.properties文件:


vim server.properties


85.png


               A、修改zookeeper.connect:


86.png

87.png


       注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2


               B、修改log.dirs:


88.png



               C、最后加入两行:

host.name=master
delete.topic.enable=true

       注:master这里为对应的节点名


       2、创建logs文件:


               由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:


mkdir logs

       3、分发给slave1和slave2节点:


89.png


90.png


       4、分别修改slave1和slave2的server.properties文件:


               A、修改broker.id和host.name:

slave1节点:
broker.id=1
host.name=slave1
slave2节点:
broker.id=2
host.name=slave2

三、启动zookeeper

               1、进入zookeeper目录:


91.png


92.png


93.png


       注:三张图三台机器,简洁明了


四、启动kafka

       1、进入kafka安装目录:


bin/kafka-server-start.sh -daemon ./config/server.properties  &


94.png

95.png

96.png

       注:三台机器,全部启动,查看节点


五、测试

     

1、在mastr上创建topic-test


./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

97.png


        2、在master,slave1,slave2上查看已创建的topic列表 test:


98.png

99.png

100.png


        3、在master上启动生产者:


./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

101.png


       4、在slave上启动消费者:


./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test


102.png

       注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束


       5、删除主题:


./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

       6、停止kafka集群:


./bin/kafka-server-stop.sh


centos安装kafka,集群模式(生产者消费者部署测试)完成


相关文章
|
6月前
|
存储 分布式计算 Linux
安装篇--CentOS 7 虚拟机安装
VMware 装 CentOS 7 不知道从哪下手?这篇超详细图文教程手把手教你在 VMware Workstation 中完成 CentOS 7 桌面系统的完整安装流程。从 ISO 镜像下载、虚拟机配置,到安装图形界面、设置用户密码,每一步都有截图讲解,适合零基础新手快速上手。装好之后无论你是要搭 Hadoop 集群,还是练 Linux ,这个环境都够你折腾一整天!
2671 3
|
6月前
|
安全 关系型数据库 MySQL
CentOS 7 yum 安装 MySQL教程
在CentOS 7上安装MySQL 8,其实流程很清晰。首先通过官方Yum仓库来安装服务,然后启动并设为开机自启。最重要的环节是首次安全设置:需要先从日志里找到临时密码来登录,再修改成你自己的密码,并为远程连接创建用户和授权。最后,也别忘了在服务器防火墙上放行3306端口,这样远程才能连上。
1428 16
|
7月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
561 10
|
7月前
|
运维 网络协议 Linux
CentOS下Bind服务的安装与故障排查
通过以上的步骤,您应该能够在CentOS系统上安装并配置BIND DNS服务,并进行基本的故障排查。
610 0
|
7月前
|
存储 Ubuntu Linux
安卓手机免root安装各种Linux系统:Ubuntu, Centos,Kali等
此外还可以安装Slackware、Archstrike等系统,还可以通过github查找方法安装更多有趣的东西。 昨日小编就是通过Termux安装的Kali Linux工具包。
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
消息中间件 Java Linux
Linux(centos 7.5)服务器安装Kafka
Linux(centos 7.5)服务器安装Kafka
231 0
|
消息中间件 Kafka Linux
centos 7 安装kafka 2.6.2(集群)
centos 7 安装kafka 2.6.2(集群)
304 0
centos 7 安装kafka 2.6.2(集群)
|
消息中间件 Kafka Linux
centos7 安装 kafka 2.6.2(单机)
centos7 安装 kafka 2.6.2(单机)
570 0
centos7 安装 kafka 2.6.2(单机)
|
消息中间件 Kafka Linux
CentOS7 安装 Kafka
CentOS7 安装 Kafka
346 0