备案控制台
开发者社区 云原生 文章 正文

Docker swarm实现基于Consul和Haproxy的RabbitMQ高可用集群

2022-06-23 522
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 基于Consul服务发现和Haproxy实现的RabbitMQ高可用的负载均衡集群

实验中通过Docker swarm建立RabbitMQ集群，同时我们将专注于基于Consul的RabbitMQ集群。我们还将添加HAProxy服务器场以负载均衡AMQP请求，并提高群集的整体可用性。以下是最终的逻辑拓扑。

Image for post

So, Let’s get started! 👊

安装docker swarm集群

主机名 IP
master 192.168.99.128
Node1 192.168.99.133
Node2 192.168.99.134

安装docker

curl -fsSL get.docker.com -o get-docker.sh
CHANNEL=stable sh get-docker.sh --mirror Aliyun
root@master:~# docker -v
Docker version 19.03.12, build 48a66213fe

初始化docker swarm集群

  • 在master上初始化集群
#Init Docker Swarm - run on master
root@master:~# docker swarm init --advertise-addr 192.168.99.128
Swarm initialized: current node (htu24tq7mhip4ca7a9uqnndef) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.
  • node1加入集群
root@node1:~# docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377
This node joined a swarm as a worker.

root@master:~# docker node ls
ID                            HOSTNAME              STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
htu24tq7mhip4ca7a9uqnndef *   master.devopsman.cn   Ready               Active              Leader              19.03.12
vlfb0ibx4k1z41r76yhgpummk     node1.devopsman.cn    Ready               Active                                  19.03.12
root@master:~# docker node promote node1.devopsman.cn
Node node1.devopsman.cn promoted to a manager in the swarm.
  • node2加入集群
root@node2:~# docker swarm join --token SWMTKN-1-1ifiwgcc2k4ztyr80zm6e3vj7ewbbi1fqfnba1vfisesnos6o4-es73sy0dx4ie5lbivx90mcbky 192.168.99.128:2377
This node joined a swarm as a worker.
root@master:~# docker node ls
ID                            HOSTNAME              STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
htu24tq7mhip4ca7a9uqnndef *   master.devopsman.cn   Ready               Active              Leader              19.03.12
vlfb0ibx4k1z41r76yhgpummk     node1.devopsman.cn    Ready               Active              Reachable           19.03.12
99f5xkfepct301n48tqqslz22     node2.devopsman.cn    Ready               Active                                  19.03.12
root@master:~# docker node promote node2.devopsman.cn
Node node2.devopsman.cn promoted to a manager in the swarm.

root@master:~# docker network create --driver=overlay --attachable prod
q5rzw0i1xdh9kovytjeg0sj9p

root@master:~# docker network ls
NETWORK ID          NAME                            DRIVER              SCOPE
ba6f05d438cf        bridge                          bridge              local
ee47cd6a4247        docker_gwbridge                 bridge              local
8df9d4ecb5be        host                            host                local
rl5o9jz6fxp8        ingress                         overlay             swarm
25lk998untvk        local                           overlay             swarm
3a66aac75dbf        none                            null                local
q5rzw0i1xdh9        prod                            overlay             swarm

部署consul集群

注意点

  • 持久化consul的数据，避免数据丢失
  • 在global模式下部署Consul服务，并通过节点标签管理服务调度
  • 使用两个单独的网络，一个用于内部consul的通信，另一个用于RabbitMQ与Consul服务之间的通信

consul部署清单

version: '3.6'
services:
  consul:
    image: consul:1.4.0
    hostname: "{{.Node.Hostname}}"
    networks:
      - consul
      - prod
    ports:
      - 8400:8400
      - 8500:8500
      - 8600:53
    volumes:
      - consul-data:/consul/data
    deploy:
      mode: global
      placement:
        constraints: [node.labels.consul == true]
    command: [ "agent", "-server", "-bootstrap-expect=3", "-retry-max=3", "-retry-interval=10s", "-datacenter=prod", "-join=consul", "-retry-join=consul", "-bind={{ GetInterfaceIP \"eth0\" }}", "-client=0.0.0.0", "-ui"]
networks:
  consul:
  prod:
    external: true
volumes:
  consul-data:

初始化consul集群

docker node update --label-add consul=true node1.devopsman.cn
node1.devopsman.cn
docker stack deploy -c docker-compose_consul.yaml consul
# 等待10s
root@master:~/consul_rabbitmq_docker# docker node update --label-add consul=true master.devopsman.cn
master.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add consul=true node1.devopsman.cn
node1.devopsman.cn

root@master:~/consul_rabbitmq_docker# curl 192.168.99.134:8500/v1/status/leader
"10.0.3.5:8300"
root@master:~/consul_rabbitmq_docker# curl 192.168.99.134:8500/v1/status/peers
["10.0.3.5:8300","10.0.3.7:8300","10.0.3.9:8300"]
root@master:~/consul_rabbitmq_docker#

image-20200818215926636

在浏览器打开http://192.168.99.128:8500访问consul的dashboard来验证安装是否成功。

image-20200818220043988

部署RabbitMQ集群

注意点

  • 持久化数据防止数据丢失。
  • 在global模式下部署RabbitMQ服务，并通过节点标签管理服务调度
  • 使用Prod网络进行内部/外部RabbitMQ通信
  • 不要暴露 RABBITMQ_ERLANG_COOKIE and RABBITMQ_DEFAULT_PASS
  • 主机名很重要，因为RabbitMQ使用主机名作为数据目录

RabbitMQ部署清单

version: "3.6"
services:
  rabbitmq-01:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-01
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-01-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq1 == true]rabbitmq-02:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-02
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-02-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq2 == true]rabbitmq-03:
    image: olgac/rabbitmq:3.7.8-management
    hostname: rabbitmq-03
    environment:
      - RABBITMQ_DEFAULT_USER=admin
      - RABBITMQ_DEFAULT_PASS=Passw0rd
      - RABBITMQ_ERLANG_COOKIE="MY-SECRET-KEY-123"
    networks:
      - prod
    volumes:
      - rabbitmq-03-data:/var/lib/rabbitmq
    deploy:
      mode: global
      placement:
        constraints: [node.labels.rabbitmq3 == true]networks:
  prod:
    external: true
volumes:
  rabbitmq-01-data:
  rabbitmq-02-data:
  rabbitmq-03-data:

config/enabled_plugins

[rabbitmq_management,
rabbitmq_peer_discovery_consul,
rabbitmq_federation,
rabbitmq_federation_management,
rabbitmq_shovel,
rabbitmq_shovel_management].

config/rabbitmq.conf

loopback_users.admin = false
cluster_formation.peer_discovery_backend = rabbit_peer_discovery_consul
cluster_formation.consul.host = consul
cluster_formation.node_cleanup.only_log_warning = true
cluster_formation.consul.svc_addr_auto = true
cluster_partition_handling = autoheal#Flow Control is triggered if memory usage above %80.
vm_memory_high_watermark.relative = 0.8#Flow Control is triggered if free disk size below 5GB.
disk_free_limit.absolute = 5GB

RabbitMQ集群初始化

root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq1=true master.devopsman.cn
master.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq2=true node1.devopsman.cn
node1.devopsman.cn
root@master:~/consul_rabbitmq_docker# docker node update --label-add rabbitmq3=true node2.devopsman.cn
node2.devopsman.cn

root@master:~/consul_rabbitmq_docker# docker stack deploy -c docker-compose_rabbitmq.yml rabbitmq
Creating service rabbitmq_rabbitmq-03
Creating service rabbitmq_rabbitmq-01
Creating service rabbitmq_rabbitmq-02
root@master:~/consul_rabbitmq_docker#

image-20200818221955073

配置haproxy代理端口

haproxy部署清单

version: "3.6"
services:
  haproxy:
    image: olgac/haproxy-for-rabbitmq:1.8.14-alpine
    ports:
      - 15672:15672
      - 5672:5672
      - 1936:1936
    networks:
      - prod
    deploy:
      mode: global
networks:
  prod:
    external: true

config/haproxy.cfg

global
    log 127.0.0.1   local0
    log 127.0.0.1   local1 notice
    maxconn 4096
 
defaults
    log     global
    option  tcplog
    option  dontlognull
    timeout connect 6s
    timeout client 60s
    timeout server 60s
 
listen  stats
    bind *:1936
    mode http
    stats enable
    stats hide-version
    stats realm Haproxy\ Statistics
    stats uri /listen rabbitmq
    bind   *:5672
    mode   tcp
    server rabbitmq-01 rabbitmq-01:5672 check
    server rabbitmq-02 rabbitmq-02:5672 check
    server rabbitmq-03 rabbitmq-03:5672 checklisten rabbitmq-ui
    bind   *:15672
    mode   http
    server rabbitmq-01 rabbitmq-01:15672 check
    server rabbitmq-02 rabbitmq-02:15672 check
    server rabbitmq-03 rabbitmq-03:15672 check

验证RabbitMQ集群

访问 http://192.168.99.128:15672 RabbitMQ的控制后台，密码为:(admin/Passw0rd)

image-20200818223017251

最后，查看一下haproxy的后台。

image-20200818222844405

文章标签：
云消息队列 MQ
容器
消息中间件
负载均衡
数据安全/隐私保护
Docker
调度
关键词：
云消息队列 MQ集群
云消息队列 MQ docker
Docker集群
docker云消息队列 MQ
Docker consul
相关实践学习
消息队列RocketMQ版：基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能，涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列：消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验：基于MNS，0基础轻松构建 Web Client 本节课带您一起基于MNS，0基础轻松构建 Web Client
架构实验室1
目录
相关文章
八百标兵奔北坡
|
6天前
|
Nacos 数据中心 Docker
Docker 部署 Nacos 集群
Docker 部署 Nacos 集群
八百标兵奔北坡
32 2
蓝易云
|
10天前
|
API 数据安全/隐私保护 Docker
蓝易云 - Docker创建Consul并添加权限控制
通过以上步骤，你就可以在Docker中创建Consul并添加权限控制了。
蓝易云
12 1
蓝易云
|
12天前
|
API 数据安全/隐私保护 Docker
蓝易云 - Docker创建Consul并添加权限控制
通过以上步骤，你就可以在Docker中创建Consul并添加权限控制了。
蓝易云
13 2
蓝易云
|
20天前
|
Docker 容器
蓝易云 - docker之Consul环境的部署
注意，这只是一个基本的Consul环境的部署。在生产环境中，你可能需要配置更多的选项，如数据持久化、网络设置等。
蓝易云
16 1
我是阿辉·
|
1月前
|
Docker 容器
docker 运行 elasticsearch + kibana + head 集群
docker 运行 elasticsearch + kibana + head 集群
我是阿辉·
27 1
jjczqyjxgdegi
|
11天前
|
负载均衡 网络协议 开发工具
经验大分享：SRS4WebRTC集群docker安装部署：
经验大分享：SRS4WebRTC集群docker安装部署：
jjczqyjxgdegi
13 0
jjczqyjxgdegi
|
11天前
|
负载均衡 网络协议 开发工具
经验大分享：SRS4WebRTC集群docker安装部署：
经验大分享：SRS4WebRTC集群docker安装部署：
jjczqyjxgdegi
11 0
米诺斯
|
12天前
|
数据安全/隐私保护 Docker 容器
RabbitMQ+docker安装教程
RabbitMQ+docker安装教程
米诺斯
9 0
玉米侠爱吃玉米
|
2月前
|
前端开发 应用服务中间件 nginx
Docker consul的容器服务更新与发现
Docker consul的容器服务更新与发现
玉米侠爱吃玉米
43 1
Jack_hrx
|
23天前
|
消息中间件 存储 数据安全/隐私保护
docker部署rabbitmq
docker部署rabbitmq
Jack_hrx
21 0

热门文章

最新文章

  • 1
    RabbitMQ：四种ExChange用法
  • 2
    RabbitMQ 消费端限流、TTL、死信队列
  • 3
    爆肝3万字，为你吃透RabbitMQ，最详细的RabbitMQ讲解（VIP典藏版）
  • 4
    RabbitMQ(从安装到使用)
  • 5
    消息中间件的技术选型心得－RabbitMQ、ActiveMQ和ZeroMQ
  • 6
    rabbitmq消息件在idc机房监控中的应用
  • 7
    rabbitmq_学习_01_rabbitmq安装
  • 8
    RabbitMQ如何保证消息不被重复消费（幂等性问题详解）
  • 9
    RabbitMQ高级特性
  • 10
    消息中间件学习笔记--RabbitMQ（二、模式）
  • 1
    SpringCloud基础 Consul的引入
    24
  • 2
    Docker consul的容器服务更新与发现
    28
  • 3
    服务注册中心Consul
    42
  • 4
    微服务Consul集群搭建
    57
  • 5
    Consul安装教程和注册
    31
  • 6
    Seata常见问题之seata-server consul 启动后，在 consul 看不到如何解决
    57
  • 7
    三个微服务注册中心eureka、consul、zookeeper之间的异同点以及CAP理论图
    287
  • 8
    如何在 Ubuntu 22.04 上安装 Consul 服务器？
    213
  • 9
    在docker中运行Consul集群
    69
  • 10
    springboot2.x整合consul简单入门
    76

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • Docker@Alibaba——超大规模Docker化的实战经验

    • 相关实验场景

    更多
  • Docker镜像管理快速入门

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • alpine
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）