四十二、centos安装kafka,集群模式(生产者消费者部署测试)

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 四十二、centos安装kafka,集群模式(生产者消费者部署测试)

环境准备:


centos 7


zookeeper正常运行


kafka_2.11-1.0.0.tgz


环境搭建:


一、安装:

   

1、免费下载:


kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载

kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.


https://download.csdn.net/download/m0_54925305/37705799


       2、解压:


tar -zxvf kafka_2.11-1.0.0.tgz -C /home/


83.png


       3、重命名:


mv kafka_2.11-1.0.0/ kafka


84.png


二、修改配置文件

     

1、修改 server.properties文件:


vim server.properties


85.png


               A、修改zookeeper.connect:


86.png

87.png


       注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2


               B、修改log.dirs:


88.png



               C、最后加入两行:

host.name=master
delete.topic.enable=true

       注:master这里为对应的节点名


       2、创建logs文件:


               由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:


mkdir logs

       3、分发给slave1和slave2节点:


89.png


90.png


       4、分别修改slave1和slave2的server.properties文件:


               A、修改broker.id和host.name:

slave1节点:
broker.id=1
host.name=slave1
slave2节点:
broker.id=2
host.name=slave2

三、启动zookeeper

               1、进入zookeeper目录:


91.png


92.png


93.png


       注:三张图三台机器,简洁明了


四、启动kafka

       1、进入kafka安装目录:


bin/kafka-server-start.sh -daemon ./config/server.properties  &


94.png

95.png

96.png

       注:三台机器,全部启动,查看节点


五、测试

     

1、在mastr上创建topic-test


./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

97.png


        2、在master,slave1,slave2上查看已创建的topic列表 test:


98.png

99.png

100.png


        3、在master上启动生产者:


./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

101.png


       4、在slave上启动消费者:


./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test


102.png

       注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束


       5、删除主题:


./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

       6、停止kafka集群:


./bin/kafka-server-stop.sh


centos安装kafka,集群模式(生产者消费者部署测试)完成


相关文章
|
2月前
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
202 4
|
3月前
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
1月前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
3月前
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
610 3
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
3月前
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
151 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
3月前
|
消息中间件 运维 Linux
linux之centos运维kafka
linux之centos运维kafka
|
3月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
27天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第16天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括配置系统源、安装 SQL Server 2019 软件包以及数据库初始化,确保 SQL Server 正常运行。
|
1月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
1月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
下一篇
DataWorks