Linux下安装Kafka 3.9.1

简介: 本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
  • 官网下载安装包后,版本:kafka_2.13-3.9.1
    如:放在如下路径下
/opt/kafka_2.13-4.0.0
  • 在 /opt/kafka_2.13-3.9.1/config 下修改日志路径,避免被清空,如:

image.png

log.dirs=/opt/kafka_2.13-4.0.0/kraft-combined-logs
  • 设置环境变量
vim /etc/profile
KAFKA_HOME=/opt/kafka_2.13-4.0.0
PATH=$JAVA_HOME/bin:$GOROOT/bin:$KAFKA_HOME/bin:$PATH
source /etc/profile

启动Kafka环境

  • 注意:本地环境必须安装了Java 8+;
  • Apache Kafka可以使用ZooKeeper或KRaft启动;但只能使用其中一种方式,不能同时使用;
  • KRaft:Apache Kafka的内置共识机制,用于取代 Apache ZooKeeper;

1. Kafka启动使用Zookeeper

  • 在bin目录下启动zookeeper:
./zookeeper-server-start.sh ../config/zookeeper.properties &

image.png

  • 查看zk进程
ps -ef|grep zookeeper
  • 查看zk端口号
netstat -nlpt

image.png

或者单独下载个zk启动,不使用kafka内置的zk,可以参考我写的这篇文章:
Zookeeper 3.8.4 安装和参数解析

  • 启动kafka
./kafka-server-start.sh ../config/server.properties &
  • 查看 Kafka 端口号,默认 9092
    netstat -nlpt
    
    image.png

可以看到上面 zk 和 kafka 的 pid 分别占用了两个端口号

  • 关闭Kafka
./kafka-server-stop.sh ../config/server.properties
  • 关闭zookeeper
./zookeeper-server-stop.sh ../config/zookeeper.properties

2. Zookeeper的下载和安装

  • 详细安装请参考如下

Windows下安装:Windows下安装zookeeper
Linux下安装:Zookeeper 3.8.4 安装和参数解析

下面简单介绍下

  • 获取Zookeeper
  1. 下载最新版本的Zookeeper:https://zookeeper.apache.org/
  2. 安装Zookeeper
tar -xzf apache-zookeeper-3.9.2-bin.tar.gz -C /usr/local/
cd apache-zookeeper-3.9.2-bin
  1. 配置Zookeeper
cp zoo_sample.cfg  zoo.cfg
  • zoo.cfg 不需要修改,直接使用即可;
  1. 启动Zookeeper
    启动:zkServer.sh start
    关闭:zkServer.sh stop
    
    image.png
    image.png
  • 可以看到 zk 启动的进程占用了如下三个端口号

image.png

  • zookeeper启动默认会占用8080端口,修改配置文件,添加如下配置:
vim zoo.cfg
admin.serverPort=9089
  • 在配置文件最后一行加上

image.png

  • zk启动后,再启动Kafka
./kafka-server-start.sh ../config/server.properties &
  • 在 Kafka 的 config 目录中的 server.properties 可以看到连接 zk 的配置

image.png

3. Kafka启动使用KRaft

1、生成Cluster UUID(集群UUID):

  • 在 Kafka 中的 bin 目录下

image.png

  • 可以看下怎么使用

image.png

./kafka-storage.sh random-uuid

image.png

  • info 命令使用

image.png

./kafka-storage.sh info -c ../config/kraft/server.properties

image.png

2、格式化日志目录:

  • 查看命令介绍

image.png

./kafka-storage.sh format -t 8tLx5xkqSWOZq1X4xHsY6Q -c ../config/kraft/server.properties

image.png

3、启动Kafka:

./kafka-server-start.sh ../config/kraft/server.properties &

image.png

  • 查看 Kafka 进程占用的端口号

image.png
image.png

  • Kafka占用的 9002、9003 端口是固定的,还有一个端口号是随机的
  • 查看 info 信息
./kafka-storage.sh info -c ../config/kraft/server.properties

image.png

4、关闭Kafka:

./kafka-server-stop.sh ../config/kraft/server.properties
目录
相关文章
|
5月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
5月前
|
Ubuntu Linux
任何Ubuntu用户都应安装的四大Linux应用程序
当然,这款程序不需要太多介绍。我们面对的是网上最庞大最完整的多媒体中心,由于丰富的插件,我们能够高度细化地定制其每一项功能。这是我们的Linux发行版不可或缺的必备软件。 我们可以通过运行以下命令来轻松安装Kodi:sudo apt install kodi。
|
5月前
|
Ubuntu 物联网 Linux
从零安装一个Linux操作系统几种方法,以Ubuntu18.04为例
一切就绪后,我们就可以安装操作系统了。当系统通过优盘引导起来之后,我们就可以看到跟虚拟机中一样的安装向导了。之后,大家按照虚拟机中的顺序安装即可。 好了,今天主要介绍了Ubuntu Server版操作系统的安装过程,关于如何使用该操作系统,及操作系统更深层的原理,还请关注本号及相关圈子。
|
5月前
|
Ubuntu Linux 网络安全
Linux服务器之Ubuntu的安装与配置
Ubuntu Desktop是目前最成功、最流行的图形界面的Linux发行版;而Ubuntu Server也在服务器端市场占据了较大的份额。今天为大家详细介绍了Ubuntu Server的安装与配置,希望对你能有所帮助。关于VMware、VirtualBox等虚拟化软件的使用,朱哥还会在后续的文章中为大家详细介绍,敬请关注!
|
3月前
|
安全 Linux iOS开发
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
229 6
Nessus Professional 10.10 Auto Installer for RHEL 10, AlmaLinux 10, Rocky Linux 10 - Nessus 自动化安装程序
|
5月前
|
网络协议 关系型数据库 Linux
【App Service Linux】在Linux App Service中安装 tcpdump 并抓取网络包
在App Service for Linux环境中,无法像Windows一样直接使用网络排查工具抓包。本文介绍了如何通过TCPDUMP在Linux环境下抓取网络包,包括SSH进入容器、安装tcpdump、执行抓包命令及下载分析文件的完整操作步骤。
264 5
|
5月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
|
5月前
|
Ubuntu 安全 Linux
Linux这5款微型发行版,体积小+精简,比win7运行还快,值得安装
以上5款微型发行版体积小且精简,如果你有台旧电脑,不妨试试?
|
5月前
|
安全 Ubuntu Linux
如何安装Linux操作系统?
此时,您可以选择重新启动计算机,然后从硬盘上的Linux系统启动。以上是一个大致的安装过程。请注意,不同的Linux发行版可能会在细节上有所差异,因此在进行安装之前,请确保您阅读并理解了相应发行版的安装指南或文档。