Kafak - 单机/集群快速安装指北(3.x版本)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,182元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
简介: Kafak - 单机/集群快速安装指北(3.x版本)

官方下载地址

http://kafka.apache.org/downloads.html


上传安装包

解压安装包到指定目录

[root@localhost kafka]# pwd
/root/kafka
[root@localhost kafka]# ll
total 110744
-rw-r--r--. 1 root root 113400977 Oct 25 10:25 kafka_2.12-3.6.0.tgz
[root@localhost kafka]#
[root@localhost kafka]#
[root@localhost kafka]#
[root@localhost kafka]#
[root@localhost kafka]# tar -xvzf kafka_2.12-3.6.0.tgz  -C   ./
......
......
......

修改解压包名为kafka

[root@localhost kafka]# mv kafka_2.12-3.6.0 kafka

修改config目录下的配置文件server.propertie

[root@localhost kafka]# cd kafka
[root@localhost kafka]# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
[root@localhost kafka]# cd config/
[root@localhost config]# ls
connect-console-sink.properties    connect-file-source.properties   consumer.properties  server.properties
connect-console-source.properties  connect-log4j.properties         kraft                tools-log4j.properties
connect-distributed.properties     connect-mirror-maker.properties  log4j.properties     trogdor.conf
connect-file-sink.properties       connect-standalone.properties    producer.properties  zookeeper.properties
[root@localhost config]# ll server.properties
-rw-r--r--. 1 root root 6896 Sep 29 12:56 server.properties
[root@localhost config]# 
#broker的全局唯一编号,不能重复,只能是数字。
broker.id=102
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘IO的线程数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka运行日志(数据)存放的路径,路径不需要提前创建,kafka自动帮你创建,可以配置多个磁盘路径,路径与路径之间可以用","分隔
log.dirs=/opt/module/kafka/datas
#topic在当前broker上的分区个数
num.partitions=1
#用来恢复和清理data下数据的线程数量
num.recovery.threads.per.data.dir=1
# 每个topic创建时的副本数,默认时1个副本
offsets.topic.replication.factor=1
#segment文件保留的最长时间,超时将被删除
log.retention.hours=168
#每个segment文件的大小,默认最大1G
log.segment.bytes=1073741824
# 检查过期数据的时间,默认5分钟检查一次是否数据过期
log.retention.check.interval.ms=300000
#配置连接Zookeeper集群地址(在zk根目录下创建/kafka,方便管理)
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

建议也修改 listeners 和 advertised.listeners

不然非本机部署的外部应用通过物理IP连接会出问题


配置环境变量

[root@localhost profile.d]# cat /etc/profile.d/my_env.sh
#KAFKA_HOME
export KAFKA_HOME=/root/kafka/kafka
export PATH=$PATH:$KAFKA_HOME/bin
[root@localhost profile.d]#
[root@localhost profile.d]# source /etc/profile
[root@localhost profile.d]#
[root@localhost profile.d]#
[root@localhost profile.d]#

其他机器同上 - 修改配置文件中的brokerid

分别在hadoop103和hadoop104主机上修改配置文件server.properties中broker.id=103、broker.id=104

注:broker.id不得重复

broker.id=103
.......
.......
.......
broker.id=104
.......
.......
.......

启动集群

先启动zk

[root@localhost conf]# cd /root/kafka/
[root@localhost kafka]# cd kafka
[root@localhost kafka]# ll
total 68
drwxr-xr-x. 3 root root  4096 Sep 29 13:00 bin
drwxr-xr-x. 3 root root  4096 Oct 25 11:27 config
drwxr-xr-x. 2 root root  8192 Oct 25 10:29 libs
-rw-r--r--. 1 root root 14973 Sep 29 12:56 LICENSE
drwxr-xr-x. 2 root root  4096 Sep 29 13:00 licenses
-rw-r--r--. 1 root root 28184 Sep 29 12:56 NOTICE
drwxr-xr-x. 2 root root    44 Sep 29 13:00 site-docs
[root@localhost kafka]# cd bin/
[root@localhost bin]# ./zookeeper-server-start.sh
USAGE: ./zookeeper-server-start.sh [-daemon] zookeeper.properties
 [root@localhost bin]# ./zookeeper-server-start.sh -daemon ../config/zookeeper.properties
[root@localhost bin]#

建议使用单独的zk

然后启动kafka

[root@localhost bin]# export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-1.el7_9.x86_64/jre
[root@localhost bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@localhost bin]#

停止

直接调用 kafka-server-stop.sh 即可

注意:停止Kafka集群时,一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。

因为Zookeeper集群当中记录着Kafka集群相关信息,Zookeeper集群一旦先停止,Kafka集群就没有办法再获取停止进程的信息,只能手动杀死Kafka进程了。


Kraft 方式部署集群----(不使用zookeeper)

https://huaweicloud.csdn.net/637ee7a2df016f70ae4c93b2.html

相关文章
|
前端开发 Java API
类加载器“如果我定义了一个类名与Java核心类类名相同,那它还能被加载吗?”
类加载器“如果我定义了一个类名与Java核心类类名相同,那它还能被加载吗?”
|
Java 调度
阿里编程规范不建议使用线程池,为什么?
阿里编程规范不建议使用线程池,为什么?
509 0
|
SQL Java 数据库
Spring Authorization Server 1.1 扩展实现 OAuth2 密码模式与 Spring Cloud 的整合实战(上)
Spring Authorization Server 1.1 扩展实现 OAuth2 密码模式与 Spring Cloud 的整合实战(上)
|
2月前
|
缓存 前端开发 Java
Java类加载机制与双亲委派模型
本文深入解析Java类加载机制,涵盖类加载过程、类加载器、双亲委派模型、自定义类加载器及实战应用,帮助开发者理解JVM核心原理与实际运用。
|
6月前
|
监控 数据可视化 Java
调试技巧 - 用Linux命令排查Java问题
总的来说,使用Linux命令来排查Java问题,需要一定的实践经验和理论知识。然而,只要我们愿意花时间深入了解这些工具,我们就能够熟练地使用它们来分析和解决问题。此外,这些工具只是帮助我们定位问题,真正解决问题需要我们对Java和JVM有深入的理解,并能够读懂和分析代码。
388 13
|
9月前
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
346 1
|
安全 前端开发 Java
Spring Authorization Server 1.1 扩展实现 OAuth2 密码模式与 Spring Cloud 的整合实战(下)
Spring Authorization Server 1.1 扩展实现 OAuth2 密码模式与 Spring Cloud 的整合实战(下)
|
消息中间件 Kafka Linux
安装Kafka3.0
消息队列是当前分布式系统中不可或缺的一部分了,今天先简单学习一下安装吧。
504 0
|
Docker 容器
蓝易云 - docker环境安装软件、更换镜像源以及E: Unable to locate package xxx解决
"E: Unable to locate package xxx"这个错误通常意味着APT包管理器无法找到你想要安装的软件包。可能的原因包括:软件包名称错误,软件包不存在,或者软件源没有更新。可以尝试更新软件源(`apt-get update`),确保软件包名称正确,或者更换软件源解决这个问题。
1274 1