Ubuntu系统上安装Apache Kafka

简介: Ubuntu系统上安装Apache Kafka

在Ubuntu系统上安装Apache Kafka的步骤如下:

1. 安装Java环境

Kafka需要Java环境,因此首先需要安装Java。可以通过以下命令安装OpenJDK 11:

sudo apt update
sudo apt install openjdk-11-jdk -y

然后检查Java版本:

java -version

2. 下载Apache Kafka

访问Apache Kafka官网下载最新版本的Kafka,或者使用wget命令直接下载:

wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz

请替换上述链接中的版本号为你需要的版本。

3. 解压Kafka压缩包

tar -xzf kafka_2.13-3.5.1.tgz

4. 移动Kafka到合适的目录

建议将Kafka移动到/usr/local目录下:

sudo mv kafka_2.13-3.5.1 /usr/local/kafka

5. 设置环境变量(可选)

为了方便使用,可以设置环境变量:

echo 'export KAFKA_HOME=/usr/local/kafka' >> ~/.bashrc
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> ~/.bashrc
source ~/.bashrc

这样你就可以直接使用kafka-server-startkafka-topics等命令了。

6. 启动ZooKeeper

Kafka使用ZooKeeper来维护集群元数据,因此需要先启动ZooKeeper:

sudo /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties

7. 启动Kafka服务

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

这将在后台启动Kafka服务。

8. 创建Kafka Topic

使用以下命令创建一个Kafka Topic:

kafka-topics.sh --create --topic test-topic --zookeeper localhost:2181 --partitions 1 --replication-factor 1

9. 验证Kafka和Topic

使用以下命令列出所有的Kafka Topics:

kafka-topics.sh --list --zookeeper localhost:2181

10. 停止Kafka和ZooKeeper

当你完成测试后,可以使用以下命令停止Kafka和ZooKeeper服务:

sudo /usr/local/kafka/bin/kafka-server-stop.sh
sudo /usr/local/kafka/bin/zookeeper-server-stop.sh

以上步骤提供了一个基本的指南来在Ubuntu系统上安装和启动Apache Kafka。确保在安装过程中,你已经满足了所有环境要求,包括安装了正确版本的Java和ZooKeeper。

相关文章
|
11月前
|
消息中间件 Java Kafka
Java 事件驱动架构设计实战与 Kafka 生态系统组件实操全流程指南
本指南详解Java事件驱动架构与Kafka生态实操,涵盖环境搭建、事件模型定义、生产者与消费者实现、事件测试及高级特性,助你快速构建高可扩展分布式系统。
500 7
|
10月前
|
消息中间件 监控 Java
Apache Kafka 分布式流处理平台技术详解与实践指南
本文档全面介绍 Apache Kafka 分布式流处理平台的核心概念、架构设计和实践应用。作为高吞吐量、低延迟的分布式消息系统,Kafka 已成为现代数据管道和流处理应用的事实标准。本文将深入探讨其生产者-消费者模型、主题分区机制、副本复制、流处理API等核心机制,帮助开发者构建可靠、可扩展的实时数据流处理系统。
857 4
|
9月前
|
消息中间件 Kafka Linux
Linux下安装Kafka 3.9.1
本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
1193 0
|
Ubuntu PHP
Ubuntu下使用apt为Apache2编译PHP7.1
以上就是在Ubuntu系统下,使用apt为Apache2编译PHP7.1的过程。希望这个过程对你有所帮助,如果你在执行过程中遇到任何问题,都可以在网上找到相关的解决方案。
316 25
|
Ubuntu PHP Apache
在Ubuntu系统中为apt的apache2编译PHP 7.1的方法
以上就是在Ubuntu系统中为apt的apache2编译PHP 7.1的方法。希望这个指南能帮助你成功编译PHP 7.1,并在你的Apache服务器上运行PHP应用。
357 28
|
消息中间件 存储 监控
Apache Kafka 3.0与KRaft模式的革新解读
在该架构中,Kafka集群依旧包含多个broker节点,但已不再依赖ZooKeeper集群。被选中的Kafka集群Controller将从KRaft Quorum中加载其状态,并在必要时通知其他Broker节点关于元数据的变更。这种设计支持更多分区与快速Controller切换,并有效避免了因数据不一致导致的问题。
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤,您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理,方便快速搭建和测试分布式系统。
2267 2
|
消息中间件 Java Kafka
什么是Apache Kafka?如何将其与Spring Boot集成?
什么是Apache Kafka?如何将其与Spring Boot集成?
910 5
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
882 1
|
10月前
|
存储 Ubuntu iOS开发
在Ubuntu 22.04系统上安装libimobiledevice的步骤
为了获取更多功能或者解决可能出现问题,请参考官方文档或者社区提供支持。
982 14