四十二、centos安装kafka,集群模式(生产者消费者部署测试)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 四十二、centos安装kafka,集群模式(生产者消费者部署测试)

环境准备:


centos 7


zookeeper正常运行


kafka_2.11-1.0.0.tgz


环境搭建:


一、安装:

   

1、免费下载:


kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载

kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.


https://download.csdn.net/download/m0_54925305/37705799


       2、解压:


tar -zxvf kafka_2.11-1.0.0.tgz -C /home/


83.png


       3、重命名:


mv kafka_2.11-1.0.0/ kafka


84.png


二、修改配置文件

     

1、修改 server.properties文件:


vim server.properties


85.png


               A、修改zookeeper.connect:


86.png

87.png


       注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2


               B、修改log.dirs:


88.png



               C、最后加入两行:

host.name=master
delete.topic.enable=true

       注:master这里为对应的节点名


       2、创建logs文件:


               由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:


mkdir logs

       3、分发给slave1和slave2节点:


89.png


90.png


       4、分别修改slave1和slave2的server.properties文件:


               A、修改broker.id和host.name:

slave1节点:
broker.id=1
host.name=slave1
slave2节点:
broker.id=2
host.name=slave2

三、启动zookeeper

               1、进入zookeeper目录:


91.png


92.png


93.png


       注:三张图三台机器,简洁明了


四、启动kafka

       1、进入kafka安装目录:


bin/kafka-server-start.sh -daemon ./config/server.properties  &


94.png

95.png

96.png

       注:三台机器,全部启动,查看节点


五、测试

     

1、在mastr上创建topic-test


./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

97.png


        2、在master,slave1,slave2上查看已创建的topic列表 test:


98.png

99.png

100.png


        3、在master上启动生产者:


./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

101.png


       4、在slave上启动消费者:


./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test


102.png

       注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束


       5、删除主题:


./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

       6、停止kafka集群:


./bin/kafka-server-stop.sh


centos安装kafka,集群模式(生产者消费者部署测试)完成


相关文章
|
20天前
|
消息中间件 大数据 Kafka
【Kafka】Kafka 中生产者运行流程
【4月更文挑战第10天】【Kafka】Kafka 中生产者运行流程
|
5天前
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的在线测试管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的在线测试管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
|
8天前
|
分布式计算 API Spark
Spline部署&测试
Spline是Spark的元数据管理和血缘追踪工具,通过Docke部署。安装涉及下载docker-compose.yml和.env文件,使用`docker compose up -d`命令启动,包括rest-server(核心,处理血缘数据并存储在ArangoDB)、arangodb(多模型数据库)、ui(Web服务)等组件。测试中使用pyspark进行血缘捕获,通过spark-submit命令指定Spline相关依赖并连接到Spline服务器。成功后,血缘数据可在Spline UI中查看。未来计划在DolphinScheduler上测试Spark SQL任务并启用血缘追踪。
22 0
|
11天前
|
关系型数据库 MySQL 数据库
测试部署PolarDB-X 分布式与集中式
在本文中,作者详述了在CentOS 7.9上部署测试PolarDB-X分布式与集中式数据库的过程。PolarDB-X作为阿里云优化的分布式数据库,提供高稳定性和与MySQL的兼容性,是应对单体数据库扩展性和性能瓶颈的解决方案,同时也符合国产化需求。文章介绍了部署环境准备,包括关闭防火墙和SELinux,设置系统参数,安装Python3和Docker,以及配置MySQL客户端。接着,通过PXD工具部署了PolarDB-X的集中式和分布式版,遇到的问题包括阿里云镜像源异常导致的部署失败以及指定版本安装的困扰。最后,作者进行了初步的压力测试,并对文档完善、生态工具建设以及提供更多使用案例提出了建议。
280 9
测试部署PolarDB-X 分布式与集中式
|
12天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之测试使用initial模式,使用savepoint停掉再加上表,不会做全量同步,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
20天前
|
机器学习/深度学习 Shell C++
测试本地部署ChatGLM-6B | ChatGPT
ChatGLM-6B是款62亿参数的中英对话模型,类似ChatGPT,可在6GB显存(INT4量化)的GPU或CPU上运行。它提供流畅、多样的对话体验。用户可从Hugging Face或清华云下载模型配置。部署涉及创建Python环境,安装依赖,下载模型到`ckpt`文件夹。测试时加载tokenizer和模型,使用示例代码进行交互。应用包括基于MNN和JittorLLMs的推理实现,以及langchain-ChatGLM、闻达、chatgpt_academic和glm-bot等项目。5月更文挑战第10天
36 1
|
20天前
|
Linux 测试技术 数据安全/隐私保护
CentOS安装MeterSphere并实现无公网IP远程访问本地测试平台
CentOS安装MeterSphere并实现无公网IP远程访问本地测试平台
|
20天前
|
负载均衡 监控 Linux
CentOS6.5高可用集群LVS+Keepalived(DR模式)
CentOS6.5高可用集群LVS+Keepalived(DR模式)
|
20天前
|
Ubuntu Linux 测试技术
Linux(32)Rockchip RK3568 Ubuntu22.04上部署 Docker: 详细配置与功能测试(下)
Linux(32)Rockchip RK3568 Ubuntu22.04上部署 Docker: 详细配置与功能测试
60 1
|
20天前
|
Ubuntu Linux 测试技术
Linux(32)Rockchip RK3568 Ubuntu22.04上部署 Docker: 详细配置与功能测试(上)
Linux(32)Rockchip RK3568 Ubuntu22.04上部署 Docker: 详细配置与功能测试
148 0