【docker专题_04】docker搭建kafka与zookeeper

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,182元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
简介: 【docker专题_04】docker搭建kafka与zookeeper

1.拉取zookeeper镜像

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

#默认拉取最新版本镜像
docker pull wurstmeister/zookeeper
#检查镜像是否拉取成功
docker images | grep zookeeper

2.通过docker运行zookeeper

#docker容器单机启动
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
#检查zookeeper是否运行成功
docker ps | grep zookeeper
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 zookeeper

3.拉取kafka镜像

#默认拉取最新版本
docker pull wurstmeister/kafka
#检查kafka是否拉取成功
docker images | grep kafka

4.通过docker运行kafka

注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败

注意:124.71.65.6 替换为自己的服务器地址

#单机启动
docker run -d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=124.71.65.6:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://124.71.65.6:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
#检查kafka是否运行成功
docker ps | grep kafka
#若是服务异常,则查日志,最后100行
docker logs -f -t --tail 100 kafka
#进入容器内部
docker exec -it kafka /bin/bash
cd opt/kafka/bin
#创建topic,测试使用
./kafka-topics.sh --create --zookeeper 124.71.65.6:2181 --replication-factor 1 --partitions 1 --topic kafka_test
#查看topic是否创建成功
./kafka-topics.sh --list --zookeeper 124.71.65.6:2181
#--新开一个窗口,运行生产者
./kafka-console-producer.sh --broker-list 124.71.65.6:9092 --topic kafka_test
#再新开窗口运行消费者,监控消费情况
./kafka-console-consumer.sh --bootstrap-server 124.71.65.6:9092 --topic kafka_test --from-beginning
其他命令:
#查看某个组的消费情况
./kafka-consumer-groups.sh --zookeeper 124.71.65.6:2181 --describe --group groupName
#查看目前所有的消费者组
./kafka-consumer-groups.sh --list --bootstrap-server 124.71.65.6:9092


相关文章
|
5月前
|
消息中间件 数据可视化 Kafka
docker arm架构部署kafka要点
本内容介绍了基于 Docker 的容器化解决方案,包含以下部分: 1. **Docker 容器管理**:通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。 2. **Kafka 可视化工具**:部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群,支持动态配置功能, 3. **Kafka 安装与配置**:基于 Bitnami Kafka 镜像,提供完整的 Kafka 集群配置示例,涵盖 KRaft 模式、性能调优参数及数据持久化设置,适用于高可用生产环境。 以上方案适合 ARM64 架构,为用户提供了一站式的容器化管理和消息队列解决方案。
395 10
|
12月前
|
消息中间件 运维 算法
Kafka 为什么要抛弃 Zookeeper?
本文探讨了Kafka为何逐步淘汰ZooKeeper。长久以来,ZooKeeper作为Kafka的核心组件,负责集群管理和协调任务。然而,随着Kafka的发展,ZooKeeper带来的复杂性增加、性能瓶颈及一致性问题日益凸显。为解决这些问题,Kafka引入了KRaft,这是一种基于Raft算法的内置元数据管理方案,不仅简化了部署流程,还提升了系统的一致性和扩展性。本文详细分析了这一转变背后的原因及其带来的优势,并展望了Kafka未来的发展方向。
691 1
|
6月前
|
消息中间件 运维 Java
搭建Zookeeper、Kafka集群
本文详细介绍了Zookeeper和Kafka集群的搭建过程,涵盖系统环境配置、IP设置、主机名设定、防火墙与Selinux关闭、JDK安装等基础步骤。随后深入讲解了Zookeeper集群的安装与配置,包括数据目录创建、节点信息设置、SASL认证配置及服务启动管理。接着描述了Kafka集群的安装,涉及配置文件修改、安全认证设置、生产消费认证以及服务启停操作。最后通过创建Topic、发送与查看消息等测试验证集群功能。全网可搜《小陈运维》获取更多信息。
487 1
|
8月前
|
消息中间件 Kafka 流计算
docker环境安装kafka/Flink/clickhouse镜像
通过上述步骤和示例,您可以系统地了解如何使用Docker Compose安装和配置Kafka、Flink和ClickHouse,并进行基本的验证操作。希望这些内容对您的学习和工作有所帮助。
762 28
|
8月前
|
消息中间件 Kafka Docker
docker compose 安装 kafka
通过本文的步骤,您可以快速在本地使用 Docker Compose 安装并配置 Kafka 和 Zookeeper。Docker Compose 简化了多容器应用的管理,方便快速搭建和测试分布式系统。
1032 2
|
12月前
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
339 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
12月前
|
消息中间件 NoSQL Kafka
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
272 4
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2
|
负载均衡 Java 应用服务中间件
微服务分布式系统架构之zookeeper与dubbor-1
微服务分布式系统架构之zookeeper与dubbor-1
|
存储 负载均衡 Dubbo
分布式-Zookeeper(一)
分布式-Zookeeper(一)