【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
简介: 【Kafka专栏】windows搭建Kafka环境 & 详细教程(01)


01 引言

1.1 官网地址

官网:https://kafka.apache.org/quickstart

中文官网:https://kafka.apachecn.org/1/#apache-kafka

1.2 概述简介

Apache Kafka 是一个开源分布式事件流平台,已被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序

1.3 kafka与zookeeper

Kafka和Zookeeper之间的关系可以概括为紧密的合作关系。Kafka是一个高性能、可扩展的分布式发布订阅消息系统,主要用于处理大规模的实时数据流。而Zookeeper则是一个分布式协调服务,负责管理和协调分布式系统中的各种资源。

02 部署zookeeper

2.1 下载组件包

官网:https://archive.apache.org/dist/zookeeper/zookeeper-3.6.4/apache-zookeeper-3.6.4-bin.tar.gz
网盘:https://pan.baidu.com/s/1TbgZXmK5_O8W4iZiuFicgw?pwd=yyds

2.2 解压压缩包

(1)解压到任意路径

如:E:\apache-zookeeper-3.6.4-bin

(2)解压后的目录创建数据目录data

如:E:\apache-zookeeper-3.6.4-bin\data

2.3 修改zoo配置

配置文件路径:E:\apache-zookeeper-3.6.4-bin\config

(1)zoo_sample.cfg文件改名为zoo.cfg

(2)修改zoo.cfg文件里面的datadir数据路径

dataDir=/tmp/zookeeper
修改为:dataDir=E:\apache-zookeeper-3.6.4-bin\data

2.4 设置系统变量

1.此电脑–属性–高级系统设置–环境变量–新建zookeeper环境变量

变量名:ZOOKEEPER_HOME

变量值:zk地址,如:E:\apache-zookeeper-3.6.4-bin

2.环境变量Path新建追加%ZOOKEEPER_HOME%\bin

2.5 启动zookeepe服务

(1)服务端启动

tips:使用管理员权限启动cmd命令窗口,执行zkServer启动服务

(2)客户端连接

tips:使用管理员权限再重新启动一个新的cmd命令窗口,执行zkCli

03 部署kafka

3.1 下载组件包

官网:https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz
网盘:https://pan.baidu.com/s/1Av4ZwQPUaAntwVxz79Ne9w?pwd=yyds

3.2 解压安装包

(1)解压到任意目录,如:E:\kafka_2.12-3.5.1

(2)解压后创建对应的日志logs目录,如:E:\kafka_2.12-3.5.1\logs

3.3 修改配置

文件路径:E:\kafka_2.12-3.5.1\config\server.properties

log.dirs=/tmp/kafka-logs
改为
log.dirs=E:\kafka_2.12-3.5.1\logs
#listeners=PLAINTEXT://localhost:9092
改为
listeners=PLAINTEXT://localhost:9092

3.4 启动kafka服务端

tips:启动kafka服务端前记得先启动zookeeper服务端

E:
#进入对应的盘
cd kafka_2.12-3.5.1
#启动服务
.\bin\windows\kafka-server-start.bat .\config\server.properties

3.5 创建主题

E:
#进入对应的盘,记得是进入到windows盘,执行bat命令
cd kafka_2.12-3.5.1\bin\windows
#创建主题
kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 5 --topic aurora_test
#查询主题
kafka-topics.bat --bootstrap-server localhost:9092 --list

3.6 模拟生产者生成消息

tips:使用管理员权限新建cmd命令窗口,通过生产者生成消息

E:
#进入对应的盘,记得是进入到windows盘,执行bat命令
cd kafka_2.12-3.5.1\bin\windows
#启动生产者
kafka-console-producer.bat --broker-list localhost:9092 --topic aurora_test
#输入任意数据
aaa

3.7 启动消费者消费消息

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic aurora_test --from-beginning

相关文章
|
2月前
|
Linux C++ Windows
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
【Azure 应用服务】Azure App Service(Windows)环境中如何让.NET应用调用SAP NetWeaver RFC函数
|
13天前
|
消息中间件 Java Kafka
windows服务器重装系统之后,Kafka服务如何恢复?
windows服务器重装系统之后,Kafka服务如何恢复?
19 8
|
9天前
|
消息中间件 Kafka API
kafka使用教程
kafka使用教程
|
23天前
|
SQL JavaScript 数据库
sqlite在Windows环境下安装、使用、node.js连接
sqlite在Windows环境下安装、使用、node.js连接
|
1月前
|
存储 Web App开发 调度
Windows系统新手教程:常见操作命令帮你玩转电脑
Windows系统新手教程:常见操作命令帮你玩转电脑
73 5
|
2月前
|
Java 应用服务中间件 Windows
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
【App Service for Windows】为 App Service 配置自定义 Tomcat 环境
|
2月前
|
Windows
Windows 10找不到恢复环境
Windows 10找不到恢复环境
20 0
|
2月前
|
消息中间件 Kafka 网络安全
【Azure Developer】在Azure VM (Windows) 中搭建 kafka服务,并且通过本地以及远程验证 发送+消费 消息
【Azure Developer】在Azure VM (Windows) 中搭建 kafka服务,并且通过本地以及远程验证 发送+消费 消息
|
2月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
86 9
|
2月前
|
消息中间件 负载均衡 Java
"Kafka核心机制揭秘:深入探索Producer的高效数据发布策略与Java实战应用"
【8月更文挑战第10天】Apache Kafka作为顶级分布式流处理平台,其Producer组件是数据高效发布的引擎。Producer遵循高吞吐、低延迟等设计原则,采用分批发送、异步处理及数据压缩等技术提升性能。它支持按消息键值分区,确保数据有序并实现负载均衡;提供多种确认机制保证可靠性;具备失败重试功能确保消息最终送达。Java示例展示了基本配置与消息发送流程,体现了Producer的强大与灵活性。
59 3
下一篇
无影云桌面