【docker专题_04】docker搭建kafka与zookeeper

本文涉及的产品
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 【docker专题_04】docker搭建kafka与zookeeper

1.拉取zookeeper镜像

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

#默认拉取最新版本镜像
docker pull wurstmeister/zookeeper
#检查镜像是否拉取成功
docker images | grep zookeeper

2.通过docker运行zookeeper

#docker容器单机启动
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
#检查zookeeper是否运行成功
docker ps | grep zookeeper
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 zookeeper

3.拉取kafka镜像

#默认拉取最新版本
docker pull wurstmeister/kafka
#检查kafka是否拉取成功
docker images | grep kafka

4.通过docker运行kafka

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

注意:124.71.65.6 替换为自己的服务器地址

#单机启动
docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=124.71.65.6:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://124.71.65.6:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
#检查kafka是否运行成功
docker ps | grep kafka
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 kafka
#进入容器内部
docker exec -it kafka /bin/bash
cd opt/kafka/bin
#创建topic,测试使用
./kafka-topics.sh --create --zookeeper 124.71.65.6:2181 --replication-factor 1 --partitions 1 --topic kafka_test
#查看topic是否创建成功
./kafka-topics.sh --list --zookeeper 124.71.65.6:2181
#--新开一个窗口,运行生产者
./kafka-console-producer.sh --broker-list 124.71.65.6:9092 --topic kafka_test
#再新开窗口运行消费者,监控消费情况
./kafka-console-consumer.sh --bootstrap-server 124.71.65.6:9092 --topic kafka_test --from-beginning
其他命令:
#查看某个组的消费情况
./kafka-consumer-groups.sh --zookeeper 124.71.65.6:2181 --describe --group groupName
#查看目前所有的消费者组
./kafka-consumer-groups.sh --list --bootstrap-server 124.71.65.6:9092


相关文章
|
27天前
|
消息中间件 运维 算法
Kafka 为什么要抛弃 Zookeeper?
本文探讨了Kafka为何逐步淘汰ZooKeeper。长久以来,ZooKeeper作为Kafka的核心组件,负责集群管理和协调任务。然而,随着Kafka的发展,ZooKeeper带来的复杂性增加、性能瓶颈及一致性问题日益凸显。为解决这些问题,Kafka引入了KRaft,这是一种基于Raft算法的内置元数据管理方案,不仅简化了部署流程,还提升了系统的一致性和扩展性。本文详细分析了这一转变背后的原因及其带来的优势,并展望了Kafka未来的发展方向。
81 1
|
30天前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
64 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
1月前
|
消息中间件 NoSQL Kafka
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
33 4
|
1月前
|
消息中间件 Java Kafka
ELFK对接zookeeper&kafka
ELFK对接zookeeper&kafka
|
3月前
|
消息中间件 存储 Kafka
ZooKeeper助力Kafka:掌握这四大作用,让你的消息队列系统稳如老狗!
【8月更文挑战第24天】Kafka是一款高性能的分布式消息队列系统,其稳定运行很大程度上依赖于ZooKeeper提供的分布式协调服务。ZooKeeper在Kafka中承担了四大关键职责:集群管理(Broker的注册与选举)、主题与分区管理、领导者选举机制以及消费者组管理。通过具体的代码示例展示了这些功能的具体实现方式。
81 2
|
3月前
|
Java Linux Docker
【zookeeper 第二篇章】windows、linux、docker-compose 安装 zookeeper
本文介绍Zookeeper在不同环境下的安装方法。Linux安装需备好JDK,下载并解压Zookeeper后,复制`zoo_sample.cfg`为`zoo.cfg`,最后运行`zkServer.sh start`启动服务。Windows安装类似,通过`zkServer.bat`启动。使用Docker-Compose则需编写配置文件,并通过`docker-compose up -d`后台启动容器。
67 0
|
3月前
|
消息中间件 Java Kafka
Docker 安装 kafka
Docker 安装 kafka
90 0
|
22天前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
|
1月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
41 1
|
3月前
|
消息中间件 Java Kafka
Kafka不重复消费的终极秘籍!解锁幂等性、偏移量、去重神器,让你的数据流稳如老狗,告别数据混乱时代!
【8月更文挑战第24天】Apache Kafka作为一款领先的分布式流处理平台,凭借其卓越的高吞吐量与低延迟特性,在大数据处理领域中占据重要地位。然而,在利用Kafka进行数据处理时,如何有效避免重复消费成为众多开发者关注的焦点。本文深入探讨了Kafka中可能出现重复消费的原因,并提出了四种实用的解决方案:利用消息偏移量手动控制消费进度;启用幂等性生产者确保消息不被重复发送;在消费者端实施去重机制;以及借助Kafka的事务支持实现精确的一次性处理。通过这些方法,开发者可根据不同的应用场景灵活选择最适合的策略,从而保障数据处理的准确性和一致性。
221 9