四十二、centos安装kafka,集群模式(生产者消费者部署测试)

本文涉及的产品
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 四十二、centos安装kafka,集群模式(生产者消费者部署测试)

环境准备:


centos 7


zookeeper正常运行


kafka_2.11-1.0.0.tgz


环境搭建:


一、安装:

   

1、免费下载:


kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载

kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.


https://download.csdn.net/download/m0_54925305/37705799


       2、解压:


tar -zxvf kafka_2.11-1.0.0.tgz -C /home/


83.png


       3、重命名:


mv kafka_2.11-1.0.0/ kafka


84.png


二、修改配置文件

     

1、修改 server.properties文件:


vim server.properties


85.png


               A、修改zookeeper.connect:


86.png

87.png


       注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2


               B、修改log.dirs:


88.png



               C、最后加入两行:

host.name=master
delete.topic.enable=true

       注:master这里为对应的节点名


       2、创建logs文件:


               由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:


mkdir logs

       3、分发给slave1和slave2节点:


89.png


90.png


       4、分别修改slave1和slave2的server.properties文件:


               A、修改broker.id和host.name:

slave1节点:
broker.id=1
host.name=slave1
slave2节点:
broker.id=2
host.name=slave2

三、启动zookeeper

               1、进入zookeeper目录:


91.png


92.png


93.png


       注:三张图三台机器,简洁明了


四、启动kafka

       1、进入kafka安装目录:


bin/kafka-server-start.sh -daemon ./config/server.properties  &


94.png

95.png

96.png

       注:三台机器,全部启动,查看节点


五、测试

     

1、在mastr上创建topic-test


./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

97.png


        2、在master,slave1,slave2上查看已创建的topic列表 test:


98.png

99.png

100.png


        3、在master上启动生产者:


./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

101.png


       4、在slave上启动消费者:


./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test


102.png

       注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束


       5、删除主题:


./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

       6、停止kafka集群:


./bin/kafka-server-stop.sh


centos安装kafka,集群模式(生产者消费者部署测试)完成


相关文章
|
6月前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
236 0
|
3月前
|
消息中间件 存储 负载均衡
Apache Kafka核心概念解析:生产者、消费者与Broker
【10月更文挑战第24天】在数字化转型的大潮中,数据的实时处理能力成为了企业竞争力的重要组成部分。Apache Kafka 作为一款高性能的消息队列系统,在这一领域占据了重要地位。通过使用 Kafka,企业可以构建出高效的数据管道,实现数据的快速传输和处理。今天,我将从个人的角度出发,深入解析 Kafka 的三大核心组件——生产者、消费者与 Broker,希望能够帮助大家建立起对 Kafka 内部机制的基本理解。
123 2
|
6月前
|
消息中间件 负载均衡 大数据
揭秘Kafka背后的秘密!再均衡如何上演一场消费者组的‘权力游戏’,让消息处理秒变高能剧情?
【8月更文挑战第24天】Kafka是一款在大数据处理领域备受推崇的产品,以其出色的性能和可扩展性著称。本文通过一个具体案例介绍其核心机制之一——再均衡(Rebalancing)。案例中,“user_activity”主题下10个分区被3个消费者均衡消费。当新消费者加入或原有消费者离开时,Kafka将自动触发再均衡过程,确保所有消费者能有效处理分配给它们的分区。
149 62
|
6月前
|
消息中间件 Kafka API
【Kafka消费新风潮】告别复杂,迎接简洁之美——深度解析Kafka新旧消费者API大比拼!
【8月更文挑战第24天】Apache Kafka作为一个领先的分布式流处理平台,广泛用于实时数据管道和流式应用的构建。随着其发展,消费者API经历了重大更新。旧消费者API(包括“低级”和“高级”API)虽提供灵活性但在消息顺序处理上存在挑战。2017年引入的新消费者API简化了接口,自动管理偏移量,支持更强大的消费组功能,显著降低了开发复杂度。通过对比新旧消费者API的代码示例可以看出,新API极大提高了开发效率和系统可维护性。
149 58
|
4月前
|
消息中间件 SQL 分布式计算
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
大数据-76 Kafka 高级特性 稳定性-消费重复 生产者、Broker、消费者 导致的重复消费问题
66 1
|
3月前
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
|
5月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
6月前
|
消息中间件 负载均衡 Kafka
【Kafka消费秘籍】深入了解消费者组与独立模式,掌握消息消费的两种超能力!
【8月更文挑战第24天】Apache Kafka是一款高性能的分布式消息系统,支持灵活多样的消费模型以适应不同的应用场景。消息按主题组织,每个主题可划分为多个分区,确保消息顺序性。本文深入探讨了Kafka中的两大核心消费模式:消费者组(Consumer Group)和独立消费者(Standalone Consumer)。消费者组允许多个消费者协同工作,实现负载均衡及故障恢复,是最常用的消费模式。独立消费者模式则适用于需要高度定制化处理逻辑的场景,如消息重放等。通过对比这两种模式的特点和提供的示例代码,开发者可以根据具体需求选择最合适的消费策略,从而更好地利用Kafka构建高效的数据流应用程序。
178 3
|
7月前
|
消息中间件 存储 负载均衡
深入理解Kafka核心设计及原理(三):消费者
深入理解Kafka核心设计及原理(三):消费者
130 8
|
6月前
|
图形学 C# 开发者
全面掌握Unity游戏开发核心技术:C#脚本编程从入门到精通——详解生命周期方法、事件处理与面向对象设计,助你打造高效稳定的互动娱乐体验
【8月更文挑战第31天】Unity 是一款强大的游戏开发平台,支持多种编程语言,其中 C# 最为常用。本文介绍 C# 在 Unity 中的应用,涵盖脚本生命周期、常用函数、事件处理及面向对象编程等核心概念。通过具体示例,展示如何编写有效的 C# 脚本,包括 Start、Update 和 LateUpdate 等生命周期方法,以及碰撞检测和类继承等高级技巧,帮助开发者掌握 Unity 脚本编程基础,提升游戏开发效率。
181 0