五十一、Kafka组件部署(MINI版)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,182元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 五十一、Kafka组件部署(MINI版)

Hadoop HA部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501

https://blog.csdn.net/m0_54925305/article/details/121566611?spm=1001.2014.3001.5501


Spark组件部署(MINI版)https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501

https://blog.csdn.net/m0_54925305/article/details/121615781?spm=1001.2014.3001.5501


环境准备:

编号 主机名 类型 用户

密码

1

master1-1 主节点 root
passwd

2


slave1-1


从节点

root
passwd

3


slave1-2

从节点
root
passwd


kafka_2.11-1.0.0.tgz


       注:提取码均为:0000


环境部署:

一、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求,并与 Kafka 环境适配,启动 Zookeeper 并截图保存结果


       1、启动三台机器zookeeper


bin/zkServer.sh start


8de429a5f3e8496ba2c3985aa7c5ffbb.png

cc898bcd5e2d4ec781b0817d151ceb36.png

8e0da0888f6547feb409132fd5249e8e.png


二、解压 Kafka 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 kafka,截图并保存结果


       1、进入/h3cu目录找到kafka


cd /h3cu


695305f65da0492ca6a1003e69ae1fbf.png


        2、解压kafka


tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src


       3、重命名kafka


mv kafka_2.11-1.0.0 kafka


ff74532f3e384659ba81a4d91f227623.png


三、设置 Kafka 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果


       1、添加环境变量


vi /root/.bashrc


437ae816d6484b78bf2642d20355a85e.png


       2、使环境变量立即生效


source /root/.bashrc


四、修改 Kafka 相应文件,截图并保存结果


       1、进入kafka/config目录下


cd /usr/local/src/kafka/config


       2、修改 server.properties文件


vi server.properties


               A、修改zookeeper.connect,修改log.dirs,最后加入两行


更改前:

5b3e895c42384a00bf9a646f138157e6.png


更改后:


3ccfd7880da04979a1d9d334f37f1510.png


更改前:


94bb2b692e0c4da9a24fed5b61778cc7.png


更改后:


7d65dffc349949b59b4e5b8daa0b49e6.png


最后加入:


host.name=master1-1
delete.topic.enable=true


       3、创建logs目录


mkdir logs


       注:由于kafka安装目录下默认没有logs目录,故在 kafka/ 下创建logs目录


       4、集群分发


scp -r /usr/local/src/kafka slave1-1:/usr/local/src/


scp -r /usr/local/src/kafka slave1-2:/usr/local/src/


       5、分别修改slave1和slave2的server.properties文件


slave1-1节点:


broker.id=1
host.name=slave1-1


slave1-2节点:


broker.id=2
host.name=slave1-2


五、启动 Kafka 并保存命令输出结果,截图并保存结果


进入kafka安装目录


       1、启动kafka


bin/kafka-server-start.sh -daemon ./config/server.properties  &


       注:启动kafka之前确保zookeeper已经启动,三台机器全部启动


b2f6b6d67cbc4dfabe50d84cc9f57a2f.png

8ae85e5b9b9947a79055f5c32bff918f.png

a7cb5446809e45bdb353ea258879b791.png



六、创建指定 topic,并截图并保存结果


       1、在master上创建topic-test


./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test

98995b0d6b0a41ebaee16ff3b928fcd2.png


七、查看所有的 topic 信息,并截图并保存结果


       1、查看所有topic信息


./bin/kafka-topics.sh --list --zookeeper localhost:2181

c2b1e372728043d6a42cc20769f72224.png


八、启动指定生产者(producer),并截图并保存结果


       1、在master上启动生产者


./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test

168aa8a5ffa64a4c95d40e08d61f403a.png


九、启动消费者(consumer),并截图并保存结果


       1、在slave启动消费者


./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test

40f672060e404ae2b312f7d5e998394d.png


十、测试生产者(producer),并截图并保存结果


7b66ae634adc423f90c192affd660bb4.png


       注:在生产者随便输入一些内容


十一、测试消费者(consumer),并截图并保存结果


abd2df73b4104a89a4802f1e061ed89d.png


74baf9bffb114b9390f954acf4c6c538.png


       注:消费者将会自动打印生产者输入的内容


Kafka组件部署(MINI版)完成


相关文章
|
消息中间件 存储 Java
【Kafka】Kafka 组件分析
【4月更文挑战第5天】【Kafka】Kafka 组件分析
|
消息中间件 存储 运维
王者归位:Kafka控制器组件解析
王者归位:Kafka控制器组件解析
179 0
|
1月前
|
消息中间件 Java Kafka
Java 事件驱动架构设计实战与 Kafka 生态系统组件实操全流程指南
本指南详解Java事件驱动架构与Kafka生态实操,涵盖环境搭建、事件模型定义、生产者与消费者实现、事件测试及高级特性,助你快速构建高可扩展分布式系统。
154 7
|
4月前
|
消息中间件 数据可视化 Kafka
docker arm架构部署kafka要点
本内容介绍了基于 Docker 的容器化解决方案,包含以下部分: 1. **Docker 容器管理**:通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。 2. **Kafka 可视化工具**:部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群,支持动态配置功能, 3. **Kafka 安装与配置**:基于 Bitnami Kafka 镜像,提供完整的 Kafka 集群配置示例,涵盖 KRaft 模式、性能调优参数及数据持久化设置,适用于高可用生产环境。 以上方案适合 ARM64 架构,为用户提供了一站式的容器化管理和消息队列解决方案。
348 10
|
9月前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
2104 1
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
11月前
|
消息中间件 监控 Kafka
Apache Kafka 成为实时数据流处理的关键组件
【10月更文挑战第8天】随着大数据技术的发展,Apache Kafka 成为实时数据流处理的关键组件。Kafka Manager 提供了一个简洁易用的 Web 界面,方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法,包括配置文件修改、启动服务、创建和管理 Topic 等操作,帮助你快速上手。
135 3
|
11月前
|
消息中间件 NoSQL Kafka
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
250 4
|
10月前
|
消息中间件 监控 Kafka
Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面
随着大数据技术的发展,Apache Kafka 成为处理实时数据流的关键组件。Kafka Manager 提供了一个简洁的 Web 界面,方便管理和监控 Kafka 集群。本文详细介绍了 Kafka Manager 的部署步骤和基本使用方法,包括配置文件的修改、启动命令、API 示例代码等,帮助你快速上手并有效管理 Kafka 集群。
165 0
|
消息中间件 监控 Java
【一键解锁!】Kafka Manager 部署与测试终极指南 —— 从菜鸟到高手的必经之路!
【8月更文挑战第9天】随着大数据技术的发展,Apache Kafka 成为核心组件,用于处理实时数据流。Kafka Manager 提供了简洁的 Web 界面来管理和监控 Kafka 集群。本文介绍部署步骤及示例代码,助您快速上手。首先确认已安装 Java 和 Kafka。
1023 4
|
消息中间件 域名解析 网络协议
【Azure 应用服务】部署Kafka Trigger Function到Azure Function服务中,解决自定义域名解析难题
【Azure 应用服务】部署Kafka Trigger Function到Azure Function服务中,解决自定义域名解析难题
119 0