Linux下安装并(单节点)配置启动Kafka

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

1. 从Kafka官网下载最新的Kafka,目前最新版本为0.9.0.1


2. 下载完毕后,上传到Linux服务器,并解压

1
  tar  -xzf kafka_2.11-0.9.0.1.tgz


3. 修改Zookeeper服务器配置,并启动

1
2
3
4
5
6
7
8
9
10
11
12
13
14
cd  kafka_2.11-0.9.0.1
vi  config /zookeeper .properties 
 
#修改ZooKeeper的数据目录
dataDir= /opt/favccxx/db/zookeeper
 
#配置host.name和advertised.host.name为IP地址,防止通过Java客户端连接时解析为localhost
host.name=10.0.10.6
 
 
advertised.host.name=10.0.10.6
 
#启动Zookeeper服务器
. /zookeeper-server-start .sh  /opt/favccxx/kafka_2 .11-0.9.0.1 /config/zookeeper .properties


4.修改Kafka配置,并启动Kafka服务器

1
2
3
4
5
6
vi  config /server .properties 
 
log. dirs = /opt/favccxx/kafka/kafka-logs
 
#启动Kafka服务器
. /kafka-server-start .sh  /opt/favccxx/kafka_2 .11-0.9.0.1 /config/server .properties


5.创建并查看Topic

1
2
3
4
5
6
7
cd  /opt/favccxx/kafka_2 .11-0.9.0.1 /bin/
. /kafka-topics .sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic  test
Created topic  "test" .
 
#查看刚才的topic
. /kafka-topics .sh --list --zookeeper localhost:2181
test


6. 使用生产者发送消息,每行是一条独立的消息

1
2
3
. /kafka-console-producer .sh --broker-list localhost:9092 --topic  test
This is a message
This is My mesage


7. 使用消费者接收消息 

1
2
3
. /kafka-console-consumer .sh --zookeeper localhost:2181 --topic  test  --from-beginning
This is a message
This is My me

  





本文转自 genuinecx 51CTO博客,原文链接:http://blog.51cto.com/favccxx/1761663,如需转载请自行联系原作者

目录
相关文章
|
19天前
|
消息中间件 存储 Prometheus
Kafka集群如何配置高可用性
Kafka集群如何配置高可用性
|
1月前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
76 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
1月前
|
消息中间件 分布式计算 Java
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
31 2
|
1月前
|
消息中间件 Java 大数据
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
大数据-56 Kafka SpringBoot与Kafka 基础简单配置和使用 Java代码 POM文件
65 2
|
1月前
|
消息中间件 NoSQL Kafka
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
大数据-116 - Flink DataStream Sink 原理、概念、常见Sink类型 配置与使用 附带案例1:消费Kafka写到Redis
131 0
|
2月前
|
消息中间件 运维 Linux
linux之centos运维kafka
linux之centos运维kafka
|
2月前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
1月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
|
1月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
47 1
|
3月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
274 9