docker arm架构部署kafka要点

简介: 本内容介绍了基于 Docker 的容器化解决方案,包含以下部分:1. **Docker 容器管理**:通过 Portainer 可视化管理工具实现对主节点和代理节点的统一管理。2. **Kafka 可视化工具**:部署 Kafka-UI 以图形化方式监控和管理 Kafka 集群,支持动态配置功能,3. **Kafka 安装与配置**:基于 Bitnami Kafka 镜像,提供完整的 Kafka 集群配置示例,涵盖 KRaft 模式、性能调优参数及数据持久化设置,适用于高可用生产环境。以上方案适合 ARM64 架构,为用户提供了一站式的容器化管理和消息队列解决方案。

docker容器管理器

--主管理器
docker pull --platform linux/arm64/v8 docker.imgdb.de/portainer/portainer-ce
docker run -d -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data docker.imgdb.de/portainer/portainer-ce
--其他节点
podman run -d -p 9001:9001 --name portainer_agent --restart=always --privileged -v /run/podman/podman.sock:/var/run/docker.sock -v /var/lib/containers/storage/volumes:/var/lib/docker/volumes -v /:/host docker.imgdb.de/portainer/agent:2.27.6

kafka可视化工具

docker pull --platform linux/arm64/v8 docker.imgdb.de/provectuslabs/kafka-ui
docker run -d -p 8080:8080 --name kafka-ui --restart=always -e DYNAMIC_CONFIG_ENABLED=true docker.imgdb.de/provectuslabs/kafka-ui

kafka安装
docker pull --platform linux/arm64/v8 docker.imgdb.de/bitnami/kafka:3.6

version: '3.8'
services:
  kafka:
    container_name: kafka
    image: 'docker.imgdb.de/bitnami/kafka:3.6'
    user: root
    ports:
      - '9092:9092'
      - '9093:9093'
    environment:
      KAFKA_ENABLE_KRAFT: 'yes'
      KAFKA_CFG_PROCESS_ROLES: broker,controller
      KAFKA_CFG_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CFG_LISTENERS: PLAINTEXT://:9092,CONTROLLER://:9093
      KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://ip1:9092
      KAFKA_BROKER_ID: 1
      KAFKA_CFG_NODE_ID: 1
      KAFKA_KRAFT_CLUSTER_ID: iZWRiSqjZAlYwlKEqHFQWI
      KAFKA_CFG_CONTROLLER_QUORUM_VOTERS: 1@ip1:9093,2@ip2:9093,3@ip3:9093
      ALLOW_PLAINTEXT_LISTENER: 'yes'
      KAFKA_HEAP_OPTS: -Xmx2048M -Xms256M
      KAFKA_CFG_NUM_NETWORK_THREADS: 6
      KAFKA_CFG_NUM_IO_THREADS: 16
      KAFKA_CFG_SOCKET_SEND_BUFFER_BYTES: 1024000
      KAFKA_CFG_SOCKET_RECEIVE_BUFFER_BYTES: 1024000
      KAFKA_CFG_SOCKET_REQUEST_MAX_BYTES: 104857600
      KAFKA_CFG_NUM_PARTITIONS: 3
      KAFKA_CFG_NUM_RECOVERY_THREADS_PER_DATA_DIR: 3
      KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_CFG_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 3
      KAFKA_CFG_TRANSACTION_STATE_LOG_MIN_ISR: 3
      KAFKA_CFG_LOG_FLUSH_INTERVAL_MESSAGES: 1000
      KAFKA_CFG_LOG_FLUSH_INTERVAL_MS: 500
      KAFKA_CFG_LOG_RETENTION_HOURS: 72
      KAFKA_CFG_LOG_RETENTION_CHECK_INTERVAL_MS: 300000
    volumes:
      - /root/kafka/data:/bitnami/kafka:rw
相关文章
|
8月前
|
消息中间件 Java Kafka
Java 事件驱动架构设计实战与 Kafka 生态系统组件实操全流程指南
本指南详解Java事件驱动架构与Kafka生态实操,涵盖环境搭建、事件模型定义、生产者与消费者实现、事件测试及高级特性,助你快速构建高可扩展分布式系统。
379 7
|
6月前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
534 3
|
6月前
|
存储 监控 安全
132_API部署:FastAPI与现代安全架构深度解析与LLM服务化最佳实践
在大语言模型(LLM)部署的最后一公里,API接口的设计与安全性直接决定了模型服务的可用性、稳定性与用户信任度。随着2025年LLM应用的爆炸式增长,如何构建高性能、高安全性的REST API成为开发者面临的核心挑战。FastAPI作为Python生态中最受青睐的Web框架之一,凭借其卓越的性能、强大的类型安全支持和完善的文档生成能力,已成为LLM服务化部署的首选方案。
1084 3
|
11月前
|
监控 Linux 应用服务中间件
Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
3520 57
|
11月前
|
Kubernetes 应用服务中间件 nginx
鲲鹏Arm+麒麟V10,国产化信创 K8s 离线部署保姆级教程
Rainbond V6 国产化部署教程,针对鲲鹏 CPU + 麒麟 V10 的离线环境,手把手教你从环境准备到应用上线,所有依赖包提前打包好,步骤写成**傻瓜式**操作指南。别说技术团队了,照着文档一步步来,让你领导来都能独立完成部署。
鲲鹏Arm+麒麟V10,国产化信创 K8s 离线部署保姆级教程
|
9月前
|
前端开发 iOS开发 MacOS
macOS 13+ ARM版电脑零接触部署问题解决方法
macOS 13+ ARM版电脑使用MDM工具零接触部署

热门文章

最新文章