docker安装kafka(wurstmeister)

简介: docker安装kafka(wurstmeister)

本文记录一下docker中安装kafka集群的过程

命令不能使用报错,请检查空格,尤其第一个转行符号后面的空格

客户端连接9092

如果java(springboot)连接,需要配置advertised.port

  1. 使用docker-compose,因为本机还没有安装,然后又安装了一下,之前有python的环境,所以直接使用pip安装了,各位看官自行百度找到适合自己的安装方式,如果没有安装docker-compose的安装一下
sudo pip install --upgrade pip
sudo pip install docker-compose\n
  1. 创建一个kafka的文件目录,后续所有操作都在该目录,然后创建docker-compose.yml文件
mkdir /kafka
cd /kafka
vim docker-compose.yml
  1. docker-compose.yml文件内容如下
version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka:2.11-0.11.0.3
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://:9092
      KAFKA_LISTENERS: PLAINTEXT://:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
  1. 本地拉取kafka镜像(wurstmeister/kafka)start数最多的
docker search kafka
docker pull wurstmeister/kafka
  1. 开始创建
# 切换到刚才创建docker-compsoe.yml文件的地
cd /kafka 
# 执行命令
docker-compose up -d
  1. 查看创建容器
docker ps
# 此处已经可以看到创建了一个kafka-zookeeper容器
  1. 查看kafka版本号
docker exec kafka_kafka_1 find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
  1. 查看zookeeper版本号
docker exec (zookeeper容器名称或者容器id) pwd
  1. 扩展broker
docker-compose scale kafka=4
  1. 查看创建的多个broker
docker ps
# 此处可以看到已经创建了4个
  1. 创建topic
docker exec kafka_kafka_1 \
kafka-topics.sh \
--create --topic topic001 \
--partitions 4 \
--zookeeper zookeeper:2181 \
--replication-factor 2
  1. 查看创建的topic(每个broker的容器id或者名称都可以)kafka_kafka_1即第一个容器名称
docker exec kafka_kafka_1 \
kafka-topics.sh --list \
--zookeeper zookeeper:2181 \
topic001
  1. 查看刚刚创建的topic的情况,borker和副本情况一目了然,代码一行一行输入
docker exec kafka_kafka_1 \     
kafka-topics.sh \
--describe \
--topic topic001 \
--zookeeper zookeeper:2181
  1. 创建消费者开始生产消息消费消息演示,此处还没有生产消息,所有没有任何显示
docker exec kafka_kafka_1 \
kafka-console-consumer.sh \
--topic topic001 \
--bootstrap-server kafka_kafka_1:9092,kafka_kafka_2:9092,kafka_kafka_3:9092,kafka_kafka_4:9092
  1. 生产者生产消息(新开一个窗口)
docker exec -it kafka_kafka_1 \
kafka-console-producer.sh \
--topic topic001 \
--broker-list kafka_kafka_1:9092,kafka_kafka_2:9092,kafka_kafka_3:9092,kafka_kafka_4:9092
  1. 在生产者窗口运行15的命令之后,随意输入几个字符串,即可在消费者端看到显示,到此,docker安装kafka就结束了。
  2. 感谢参考的博客
    参考链接:kafka的docker镜像使用
    docker镜像地址
  3. 送上docker-compose 开启关闭命令
#开启
docker-compose up -d
#关闭
docker-compose stop
目录
相关文章
|
11月前
|
关系型数据库 应用服务中间件 nginx
Docker一键安装中间件(RocketMq、Nginx、MySql、Minio、Jenkins、Redis)
本系列脚本提供RocketMQ、Nginx、MySQL、MinIO、Jenkins和Redis的Docker一键安装与配置方案,适用于快速部署微服务基础环境。
|
9月前
|
关系型数据库 数据库 PostgreSQL
docker 安装 Postgres 17.6
本文介绍如何通过Docker安装和配置PostgreSQL 17.6。内容包括拉取镜像、导出配置文件、运行容器并挂载数据与配置文件目录,以及进入容器使用psql操作数据库的完整步骤,便于持久化管理和自定义配置。
1538 3
docker 安装 Postgres 17.6
|
8月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
872 6
|
8月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
698 2
|
8月前
|
消息中间件 Kafka Linux
Linux下安装Kafka 3.9.1
本文介绍Kafka 3.9.1版本的安装与配置,包括通过ZooKeeper或KRaft模式启动Kafka。涵盖环境变量设置、日志路径修改、集群UUID生成、存储格式化及服务启停操作,适用于Linux环境下的部署实践。
1124 0
|
12月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
1519 4
|
11月前
|
Linux Docker Windows
windows docker安装报错适用于 Linux 的 Windows 子系统必须更新到最新版本才能继续。可通过运行 “wsl.exe --update” 进行更新。
适用于 Linux 的 Windows 子系统需更新至最新版本(如 wsl.2.4.11.0.x64.msi)以解决 2025 年 Windows 更新后可能出现的兼容性问题。用户可通过运行 “wsl.exe --update” 或访问提供的链接下载升级包进行更新。
4231 0

热门文章

最新文章