docker arm架构部署kafka要点

简介: 本内容介绍了基于 Docker 的容器化解决方案,包含以下部分:1. **Docker 容器管理**:通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。2. **Kafka 可视化工具**:部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群,支持动态配置功能,3. **Kafka 安装与配置**:基于 Bitnami Kafka 镜像,提供完整的 Kafka 集群配置示例,涵盖 KRaft 模式、性能调优参数及数据持久化设置,适用于高可用生产环境。以上方案适合 ARM64 架构,为用户提供了一站式的容器化管理和消息队列解决方案。

docker容器管理器

--主管理器
docker pull --platform linux/arm64/v8 docker.imgdb.de/portainer/portainer-ce
docker run -d -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data docker.imgdb.de/portainer/portainer-ce
--其他节点
podman run -d -p 9001:9001 --name portainer_agent --restart=always --privileged -v /run/podman/podman.sock:/var/run/docker.sock -v /var/lib/containers/storage/volumes:/var/lib/docker/volumes -v /:/host docker.imgdb.de/portainer/agent:2.27.6

kafka可视化工具

docker pull --platform linux/arm64/v8 docker.imgdb.de/provectuslabs/kafka-ui
docker run -d -p 8080:8080 --name kafka-ui --restart=always -e DYNAMIC_CONFIG_ENABLED=true docker.imgdb.de/provectuslabs/kafka-ui

kafka安装
docker pull --platform linux/arm64/v8 docker.imgdb.de/bitnami/kafka:3.6

version: '3.8'
services:
  kafka:
    container_name: kafka
    image: 'docker.imgdb.de/bitnami/kafka:3.6'
    user: root
    ports:
      - '9092:9092'
      - '9093:9093'
    environment:
      KAFKA_ENABLE_KRAFT: 'yes'
      KAFKA_CFG_PROCESS_ROLES: broker,controller
      KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
      KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://ip1:9092
      KAFKA_BROKER_ID: 1
      KAFKA_CFG_NODE_ID: 1
      KAFKA_KRAFT_CLUSTER_ID: iZWRiSqjZAlYwlKEqHFQWI
      KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 1@ip1:9093,2@ip2:9093,3@ip3:9093
      ALLOW_PLAINTEXT_LISTENER: 'yes'
      KAFKA_HEAP_OPTS: -Xmx2048M -Xms256M
      KAFKA_CFG_NUM_NETWORK_THREADS: 6
      KAFKA_CFG_NUM_IO_THREADS: 16
      KAFKA_CFG_SOCKET_SEND_BUFFER_BYTES: 1024000
      KAFKA_CFG_SOCKET_RECEIVE_BUFFER_BYTES: 1024000
      KAFKA_CFG_SOCKET_REQUEST_MAX_BYTES: 104857600
      KAFKA_CFG_NUM_PARTITIONS: 3
      KAFKA_CFG_NUM_RECOVERY_THREADS_PER_DATA_DIR: 3
      KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 3
      KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR: 3
      KAFKA_CFG_LOG_FLUSH_INTERVAL_MESSAGES: 1000
      KAFKA_CFG_LOG_FLUSH_INTERVAL_MS: 500
      KAFKA_CFG_LOG_RETENTION_HOURS: 72
      KAFKA_CFG_LOG_RETENTION_CHECK_INTERVAL_MS: 300000
    volumes:
      - /root/kafka/data:/bitnami/kafka:rw
相关文章
|
5月前
|
应用服务中间件 网络安全 nginx
手把手教你使用 Docker 部署 Nginx 教程
本文详解Nginx核心功能与Docker部署优势,涵盖镜像拉取、容器化部署(快速、挂载、Compose)、HTTPS配置及常见问题处理,助力高效搭建稳定Web服务。
2195 4
|
5月前
|
应用服务中间件 Linux nginx
在虚拟机Docker环境下部署Nginx的步骤。
以上就是在Docker环境下部署Nginx的步骤。需要注意,Docker和Nginix都有很多高级用法和细节需要掌握,以上只是一个基础入门级别的教程。如果你想要更深入地学习和使用它们,请参考官方文档或者其他专业书籍。
255 5
|
6月前
|
存储 Docker Python
docker 部署 sftp
本文介绍SFTP服务的部署与配置,包括users.conf用户配置规则、Docker容器运行命令及上传目录权限说明,重点解析atmoz/sftp镜像的chroot机制与子目录映射,确保用户登录后正确访问/upload目录,并提供Python脚本实现文件上传示例。
540 12
docker 部署 sftp
|
6月前
|
运维 Linux 数据库
基于 Docker 部署 n8n 指南,新手一看就会
本教程详解如何通过 Docker 快速部署开源自动化工具 n8n,适合新手快速上手。内容涵盖官方部署步骤、常见难点及第三方一键部署方案,助你高效搭建自动化工作流平台。
1987 6
|
5月前
|
存储 NoSQL Redis
手把手教你用 Docker 部署 Redis
Redis是高性能内存数据库,支持多种数据结构,适用于缓存、消息队列等场景。本文介绍如何通过Docker快速拉取轩辕镜像并部署Redis,涵盖快速启动、持久化存储及docker-compose配置,助力开发者高效搭建稳定服务。
1595 8
|
5月前
|
存储 搜索推荐 数据库
🚀 RAGFlow Docker 部署全流程教程
RAGFlow是开源的下一代RAG系统,融合向量数据库与大模型,支持全文检索、插件化引擎切换,适用于企业知识库、智能客服等场景。支持Docker一键部署,提供轻量与完整版本,助力高效搭建私有化AI问答平台。
3994 8
|
5月前
|
存储 关系型数据库 MySQL
MySQL Docker 容器化部署全指南
MySQL是一款开源关系型数据库,广泛用于Web及企业应用。Docker容器化部署可解决环境不一致、依赖冲突问题,实现高效、隔离、轻量的MySQL服务运行,支持数据持久化与快速迁移,适用于开发、测试及生产环境。
830 4