AI 助理
备案控制台
开发者社区 云原生 文章 正文

Docker swarm实现基于Consul和Haproxy的RabbitMQ高可用集群

2022-06-23 596
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 基于Consul服务发现和Haproxy实现的RabbitMQ高可用的负载均衡集群

实验中通过Docker swarm建立RabbitMQ集群，同时我们将专注于基于Consul的RabbitMQ集群。我们还将添加HAProxy服务器场以负载均衡AMQP请求，并提高群集的整体可用性。以下是最终的逻辑拓扑。

Image for post

So, Let’s get started! 👊

安装docker swarm集群

主机名 IP
master 192.168.99.128
Node1 192.168.99.133
Node2 192.168.99.134

安装docker

curl -fsSL get.docker.com -o get-docker.sh
CHANNEL=stable sh get-docker.sh --mirror Aliyun
root@master:~# docker -v
Docker version 19.03.12, build 48a66213fe

初始化docker swarm集群

  • 在master上初始化集群
#Init Docker Swarm - run on master
root@master:~# docker swarm init --advertise-addr 192.168.99.128
Swarm initialized: current node (htu24tq7mhip4ca7a9uqnndef) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
  • node1加入集群
root@node1:~# docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377
This node joined a swarm as a worker.

root@master:~# docker node ls
ID                            HOSTNAME              STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
htu24tq7mhip4ca7a9uqnndef *   master.devopsman.cn   Ready               Active              Leader              19.03.12
vlfb0ibx4k1z41r76yhgpummk     node1.devopsman.cn    Ready               Active                                  19.03.12
root@master:~# docker node promote node1.devopsman.cn
Node node1.devopsman.cn promoted to a manager in the swarm.
  • node2加入集群
root@node2:~# docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377
This node joined a swarm as a worker.
root@master:~# docker node ls
ID                            HOSTNAME              STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
htu24tq7mhip4ca7a9uqnndef *   master.devopsman.cn   Ready               Active              Leader              19.03.12
vlfb0ibx4k1z41r76yhgpummk     node1.devopsman.cn    Ready               Active              Reachable           19.03.12
99f5xkfepct301n48tqqslz22     node2.devopsman.cn    Ready               Active                                  19.03.12
root@master:~# docker node promote node2.devopsman.cn
Node node2.devopsman.cn promoted to a manager in the swarm.

root@master:~# docker network create --driver=overlay --attachable prod
q5rzw0i1xdh9kovytjeg0sj9p

root@master:~# docker network ls
NETWORK ID          NAME                            DRIVER              SCOPE
ba6f05d438cf        bridge                          bridge              local
ee47cd6a4247        docker_gwbridge                 bridge              local
8df9d4ecb5be        host                            host                local
rl5o9jz6fxp8        ingress                         overlay             swarm
25lk998untvk        local                           overlay             swarm
3a66aac75dbf        none                            null                local
q5rzw0i1xdh9        prod                            overlay             swarm

部署consul集群

注意点

  • 持久化consul的数据，避免数据丢失
  • 在global模式下部署Consul服务，并通过节点标签管理服务调度
  • 使用两个单独的网络，一个用于内部consul的通信，另一个用于RabbitMQ与Consul服务之间的通信

consul部署清单

version: '3.6'
services:
  consul:
    image: consul:1.4.0
    hostname: "{{.Node.Hostname}}"
    networks:
      - consul
      - prod
    ports:
      - 8400:8400
      - 8500:8500
      - 8600:53
    volumes:
      - consul-data:/consul/data
    deploy:
      mode: global
      placement:
        constraints: [node.labels.consul == true]
    command: [ "agent", "-server", "-bootstrap-expect=3", "-retry-max=3", "-retry-interval=10s", "-datacenter=prod", "-join=consul", "-retry-join=consul", "-bind={{ GetInterfaceIP \"eth0\" }}", "-client=0.0.0.0", "-ui"]
networks:
  consul:
  prod:
    external: true
volumes:
  consul-data:

初始化consul集群

docker node update --label-add consul=true node1.devopsman.cn
node1.devopsman.cn
docker stack deploy -c docker-compose_consul.yaml consul
# 等待10s
root@master:~/consul_rabbitmq_docker# docker node update --label-add consul=true master.devopsman.cn
master.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add consul=true node1.devopsman.cn
node1.devopsman.cn

root@master:~/consul_rabbitmq_docker# curl 192.168.99.134:8500/v1/status/leader
"10.0.3.5:8300"
root@master:~/consul_rabbitmq_docker# curl 192.168.99.134:8500/v1/status/peers
["10.0.3.5:8300","10.0.3.7:8300","10.0.3.9:8300"]
root@master:~/consul_rabbitmq_docker#

image-20200818215926636

在浏览器打开http://192.168.99.128:8500访问consul的dashboard来验证安装是否成功。

image-20200818220043988

部署RabbitMQ集群

注意点

  • 持久化数据防止数据丢失。
  • 在global模式下部署RabbitMQ服务，并通过节点标签管理服务调度
  • 使用Prod网络进行内部/外部RabbitMQ通信
  • 不要暴露 RABBITMQ_ERLANG_COOKIE and RABBITMQ_DEFAULT_PASS
  • 主机名很重要，因为RabbitMQ使用主机名作为数据目录

RabbitMQ部署清单

version: "3.6"
services:
  rabbitmq-01:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-01
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-01-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq1 == true]rabbitmq-02:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-02
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-02-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq2 == true]rabbitmq-03:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-03
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-03-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq3 == true]networks:
  prod:
    external: true
volumes:
  rabbitmq-01-data:
  rabbitmq-02-data:
  rabbitmq-03-data:

config/enabled_plugins

[rabbitmq_management,
rabbitmq_peer_discovery_consul,
rabbitmq_federation,
rabbitmq_federation_management,
rabbitmq_shovel,
rabbitmq_shovel_management].

config/rabbitmq.conf

loopback_users.admin = false
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_consul
cluster_formation.consul.host = consul
cluster_formation.node_cleanup.only_log_warning = true
cluster_formation.consul.svc_addr_auto = true
cluster_partition_handling = autoheal#Flow Control is triggered if memory usage above %80.
vm_memory_high_watermark.relative = 0.8#Flow Control is triggered if free disk size below 5GB.
disk_free_limit.absolute = 5GB

RabbitMQ集群初始化

root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq1=true master.devopsman.cn
master.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq2=true node1.devopsman.cn
node1.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq3=true node2.devopsman.cn
node2.devopsman.cn

root@master:~/consul_rabbitmq_docker# docker stack deploy -c docker-compose_rabbitmq.yml rabbitmq
Creating service rabbitmq_rabbitmq-03
Creating service rabbitmq_rabbitmq-01
Creating service rabbitmq_rabbitmq-02
root@master:~/consul_rabbitmq_docker#

image-20200818221955073

配置haproxy代理端口

haproxy部署清单

version: "3.6"
services:
  haproxy:
    image: olgac/haproxy-for-rabbitmq:1.8.14-alpine
    ports:
      - 15672:15672
      - 5672:5672
      - 1936:1936
    networks:
      - prod
    deploy:
      mode: global
networks:
  prod:
    external: true

config/haproxy.cfg

global
    log 127.0.0.1   local0
    log 127.0.0.1   local1 notice
    maxconn 4096
 
defaults
    log     global
    option  tcplog
    option  dontlognull
    timeout connect 6s
    timeout client 60s
    timeout server 60s
 
listen  stats
    bind *:1936
    mode http
    stats enable
    stats hide-version
    stats realm Haproxy\ Statistics
    stats uri /listen rabbitmq
    bind   *:5672
    mode   tcp
    server rabbitmq-01 rabbitmq-01:5672 check
    server rabbitmq-02 rabbitmq-02:5672 check
    server rabbitmq-03 rabbitmq-03:5672 checklisten rabbitmq-ui
    bind   *:15672
    mode   http
    server rabbitmq-01 rabbitmq-01:15672 check
    server rabbitmq-02 rabbitmq-02:15672 check
    server rabbitmq-03 rabbitmq-03:15672 check

验证RabbitMQ集群

访问 http://192.168.99.128:15672 RabbitMQ的控制后台，密码为:(admin/Passw0rd)

image-20200818223017251

最后，查看一下haproxy的后台。

image-20200818222844405

文章标签：
云消息队列 MQ
容器
消息中间件
负载均衡
数据安全/隐私保护
Docker
调度
关键词：
Docker swarm
Docker Swarm集群
Docker集群
Consul docker
docker云消息队列 MQ
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
架构实验室1
目录
相关文章
蓝易云
|
12天前
|
应用服务中间件 nginx Docker
Docker Swarm、Docker Stack和Portainer的使用
Docker Swarm、Docker Stack 和 Portainer 各有其独特的功能和优势。Docker Swarm 适用于分布式服务的管理和编排，Docker Stack 便于多容器应用的定义和部署，而 Portainer 提供了直观的 UI，简化了 Docker 环境的管理。结合使用这些工具，可以大大提高容器化应用的部署和管理效率。希望本文对您理解和应用这些工具有所帮助。
蓝易云
25 5
warmhearted
|
27天前
|
负载均衡 应用服务中间件 网络安全
docker swarm添加更多的服务
【10月更文挑战第16天】
warmhearted
21 6
warmhearted
|
27天前
|
Docker 容器
docker swarm启动服务并连接到网络
【10月更文挑战第16天】
warmhearted
26 5
warmhearted
|
27天前
|
调度 Docker 容器
docker swarm创建覆盖网络
【10月更文挑战第16天】
warmhearted
18 5
warmhearted
|
29天前
|
负载均衡 网络协议 关系型数据库
docker swarm 使用网络启动服务
【10月更文挑战第15天】
warmhearted
26 4
warmhearted
|
29天前
|
Docker 容器
docker swarm 初始化 Swarm 或加入节点到 Swarm
【10月更文挑战第15天】
warmhearted
37 2
warmhearted
|
29天前
|
数据安全/隐私保护 Docker 容器
docker swarm创建网络
【10月更文挑战第15天】
warmhearted
16 1
赵渝强老师
|
13天前
|
API Docker 容器
【赵渝强老师】构建Docker Swarm集群
本文介绍了如何使用三台虚拟主机构建Docker Swarm集群。首先在master节点上初始化集群，然后通过特定命令将node1和node2作为worker节点加入集群。最后，在master节点上查看集群的节点信息，确认集群构建成功。文中还提供了相关图片和视频教程，帮助读者更好地理解和操作。
赵渝强老师
17 0
赵渝强老师
|
13天前
|
调度 Docker 容器
【赵渝强老师】Docker Swarm集群的体系架构
Docker Swarm自1.12.0版本起集成至Docker引擎，无需单独安装。它内置服务发现功能，支持跨多服务器或宿主机创建容器，形成集群提供服务。相比之下，Docker Compose仅限于单个宿主机。Docker Swarm采用主从架构，Swarm Manager负责管理和调度集群中的容器资源，用户通过其接口发送指令，Swarm Node根据指令创建容器运行应用。
赵渝强老师
23 0
张志凌
|
25天前
|
负载均衡 安全 调度
深入调查研究Docker Swarm
【10月更文挑战第19天】
张志凌
31 0

热门文章

最新文章

  • 1
    RabbitMQ：四种ExChange用法
  • 2
    SpringBoot 整合 AMQP（RabbitMQ）
  • 3
    未读消息（小红点），前端与 RabbitMQ实时消息推送实践，贼简单~
  • 4
    rabbitmq开启web界面教程
  • 5
    安装配置rabbitmq
  • 6
    3分钟实现SpringBoot集成RabbitMQ，实现消息队列服务！
  • 7
    一些你会忘记的RabbitMQ集群和仲裁队列小知识点
  • 8
    rabbitmq逻辑与开发
  • 9
    转载RabbitMQ入门（3）--发布和订阅
  • 10
    消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ
  • 1
    RabbitMQ的springboot项目集成使用-01
    143
  • 2
    深入理解MQ消息队列的高可用与可靠性策略
    1340
  • 3
    rabbitmq插件升级-延时队列为列
    664
  • 4
    rabbitmq安装erlang环境后没生效
    1021
  • 5
    Springboot 集成Rabbitmq之延时队列
    183
  • 6
    RabbitMQ高级
    45
  • 7
    rabbitMQ集群
    51
  • 8
    rabbitmq与kafka的区别
    89
  • 9
    涉及rocketMQ，jemeter等性能测试服务器的安装记录
    72
  • 10
    用docker方式 安装rabbitmq 并配置MQTT
    295

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • Docker@Alibaba——超大规模Docker化的实战经验

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • Docker Compose部署案例
  • Docker Compose入门
  • 使用 Fleet 管理 Elastic Agent 监控应用
  • 通过Helm CLI部署wordpress到ACK集群
  • 部署并使用Docker（Alibaba Cloud Linux 3）

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • kubernetes
    • 下一篇
    无影云桌面