kafka安装启动集群搭建

简介: kafka安装启动集群搭建

https://kafka.apache.org/quickstart


# 集群中当前broker唯一id
broker.id=0
# 换成自己电脑的ip
listeners=PLAINTEXT://localhost:9092
# 日志存放路径
log.dirs=../kafka-data-log/kafka-logs
默认的分区数
num.partitions=1
# 连接的zk地址
zookeeper.connect=localhost:2181


  • 启动 bin/kafka-server-start.sh -daemon ../config/server.properties
  • 检查是否启动
  • ps -aux |grep ../config/server.properties
  • ps -aux |grep kafka
  • 检查zk节点


image.png

集群搭建

  • 复制3分kafka安装包


image.png

分别修改配置文件


image.png

broker.id=0
listeners=PLAINTEXT://127.0.0.1:9092
log.dirs=../kafka-data-log/kafka-logs-0

broker.id=1
listeners=PLAINTEXT://127.0.0.1:9093
log.dirs=../kafka-data-log/kafka-logs-1

broker.id=2
listeners=PLAINTEXT://127.0.0.1:9094
log.dirs=../kafka-data-log/kafka-logs-2


  • 分别启动


image.png


  • 检查是否启动成功


image.png

可视化管理工具


相关文章
|
2月前
|
消息中间件 Ubuntu Java
在Ubuntu 18.04上安装Apache Kafka的方法
在Ubuntu 18.04上安装Apache Kafka的方法
107 0
|
10天前
|
消息中间件 Java Linux
linux 之centos7安装kafka;;;;;待补充,未完成
linux 之centos7安装kafka;;;;;待补充,未完成
|
2月前
|
消息中间件 Kafka 测试技术
【Kafka揭秘】Leader选举大揭秘!如何打造一个不丢失消息的强大Kafka集群?
【8月更文挑战第24天】Apache Kafka是一款高性能分布式消息系统,利用分区机制支持数据并行处理。每个分区含一个Leader处理所有读写请求,并可有多个副本确保数据安全与容错。关键的Leader选举机制保障了系统的高可用性和数据一致性。选举发生于分区创建、Leader故障或被手动移除时。Kafka提供多种选举策略:内嵌机制自动选择最新数据副本为新Leader;Unclean选举快速恢复服务但可能丢失数据;Delayed Unclean选举则避免短暂故障下的Unclean选举;Preferred选举允许基于性能或地理位置偏好指定特定副本为首选Leader。
45 5
|
2月前
|
消息中间件 监控 Java
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
联通实时计算平台问题之监控Kafka集群的断传和积压情况要如何操作
|
2月前
|
消息中间件 监控 Java
【Kafka节点存活大揭秘】如何让Kafka集群时刻保持“心跳”?探索Broker、Producer和Consumer的生死关头!
【8月更文挑战第24天】在分布式系统如Apache Kafka中,确保节点的健康运行至关重要。Kafka通过Broker、Producer及Consumer间的交互实现这一目标。文章介绍Kafka如何监测节点活性,包括心跳机制、会话超时与故障转移策略。示例Java代码展示了Producer如何通过定期发送心跳维持与Broker的连接。合理配置这些机制能有效保障Kafka集群的稳定与高效运行。
38 2
|
2月前
|
消息中间件 存储 Ubuntu
在Ubuntu 14.04上安装Apache Kafka的方法
在Ubuntu 14.04上安装Apache Kafka的方法
16 0
|
2月前
|
消息中间件 Java Kafka
Linux——Kafka集群搭建
Linux——Kafka集群搭建
38 0
|
2月前
|
消息中间件 Java Kafka
Docker 安装 kafka
Docker 安装 kafka
63 0
|
2月前
|
消息中间件 Kafka Apache
部署安装kafka集群
部署安装kafka集群
|
2月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
86 9
下一篇
无影云桌面