RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机镜像模式)

简介: RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机镜像模式)

RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机)

=======================================================

准备工作

  • 服务器准备,当前是使用两台阿里云服务器(系统版本:CentOS Linux release 7.6.1810),使用相同地区的服务器,相互通讯可以使用阿里云内网。
  • 服务器安装docker,可自行查找安装资料。Docker官网安装教程:Docker官网安装教程
  • Docker创建RabbitMQ镜像
    使用docker pull指令拉取镜像:docker pull rabbitmq:management
    这里为拉取的最新版本rabbitmq,management版本内置可视化插件,若非management版,需在安装后执行rabbitmq-plugins enable rabbitmq_management 安装可视化组件,否则,无法通过浏览器访问管理页面。
    若想指定版本可以在冒号后添加相应版本号。
    例:docker pull rabbitmq:3.9.22-management-alpine

运行RabbitMQ

第一台服务器(ip1)

  • 用docker run指令创建rabbitMQ容器,此台服务器作为主节点。
    docker run  -d --hostname rabbitmq1 \
    --restart unless-stopped \
    --name rabbitmq1 \
    -p 4369:4369 \
    -p 25672:25672 \
    -p 8172:15672 \
    -p 8072:5672 \
    -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
    -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
    rabbitmq:management

创建后可通过ip1:8172来访问后台管理界面如图:
1663809814654.jpg

第二台服务器(ip2)

  • 创建容器,此服务器作为从节点。

      docker run  -d --hostname rabbitmq2 \
      --add-host rabbitmq1:xxxx \
      --restart unless-stopped \
      --name rabbitmq2 \
      -p 4369:4369 \
      -p 25672:25672 \
      -p 8172:15672 \
      -p 8072:5672 \
      -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
      -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
      rabbitmq:management

    创建后后台界面和第一台服务器一样,此时就启动了两台单体的服务器。

  • 上面docker run指令中的参数简要说明如下

      -d 容器后台运行
      --hostname rabbitmq1 容器的主机名为 rabbitmq1
      --add-host rabbitmq2:xxxx  修改容器内部的hosts,添加的集群服务器都需要添加进来
      --restart=unless-stopped docker 容器重启后重启MQ
      --name rabbitmq1 容器名为rabbitma1,在宿主机上运行“docker ps”命令时显示的名称
      -p 8072:5672 消息通讯端口
      -p 8172:15672 后台管理端口
      -p 4369:4369 在 Erlang 集群中相当于 dns 的作用,绑定在4369端口上
      -p 25672:25672 25672端口用于节点间和CLI工具通信(Erlang分发服务器端口)
      -e RABBITMQ_ERLANG_COOKIE='xxxxxxxxx' 设置Erlang Cookie 值,此值必须相同,也就是一个集群内 RABBITMQ_ERLANG_COOKIE 参数的值必须相同。
      因为 RabbitMQ 是用Erlang实现的,Erlang Cookie 相当于不同节点之间通讯的密钥,Erlang节点通过交换 Erlang Cookie 获得认证。
      -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf 挂载rabbitmq的配置文件
    • 简单基础配置文件如下,其他配置请根据实际情况增删
      loopback_users.guest = false   允许其他主机访问RabbitMQ的控制页面
      listeners.tcp.default = 5672   声明通讯端口
      default_pass = defalt_password  设置默认管理员密码
      default_user = default_user     设置默认管理员账号
      default_vhost = default_vhost  创建一个默认的Virtual Hosts,用于账号和服务隔离
      management.tcp.port = 15672    声明后台管理页面端口

配置集群

  • 第一台服务器重启为主节点

      docker exec -it rabbitmq1 /bin/bash
      rabbitmqctl stop_app
      rabbitmqctl reset
      rabbitmqctl start_app
      exit
  • 第二台服务器加入到主节点

    docker exec -it rabbit3 bash
    rabbitmqctl stop_app
    rabbitmqctl reset
    rabbitmqctl join_cluster --ram rabbit@rabbitmq1
    rabbitmqctl start_app
    exit
  • 注意事项

    1. 在执行rabbitmqctl相关指令时,可能会出现

    RABBITMQ_ERLANG_COOKIE env variable support is deprecated and will be REMOVED in a future version. Use the $HOME/.erlang.cookie file or the --erlang-cookie switch instead.
    这里是指RABBITMQ_ERLANG_COOKIE环境变量支持已弃用,在未来版本中将被删除。一般是因为使用的rabbitmq版本较高导致的,可以降低版本或者根据提示使用新版的配置方式,
    来避免这条提示。当然,不管它接着执行其余指令也可以,不会影响操作(以后完全弃用后就不能使用了)。顺便说一句,这个RABBITMQ_ERLANG_COOKIE是在docker启动的时候使用的。

    1. 若在执行rabbitmqctl指令时,一般是join_cluster时出现

    unable to connect to epmd (port 4369) on xxxx: timeout (timed out)
    这里就要检查一下主节点所在服务器是否开启了4369端口,或者docker run的时候是否将4369端口映射成了其他的端口。在docker run的时候尽量将4369端口不做修改的映射到宿主机,即-p 4369:4369

    1. 运行时的配置说明
      -ram 表示设置为内存节点,忽略此参数默认为磁盘节点。
      一般节点会配置3个或3个以上,本示例只是简单的一个demo,只配置了两个节点,一个磁盘节点(主节点),一个内存节点。
      若想修改节点类型可通过下面的指令进行切换:

      rabbitmqctl stop_app
      rabbitmqctl change_cluster_node_type dist
      rabbitmqctl change_cluster_node_type ram
      rabbitmqctl start_app

执行完成后通过15672端口(这里通过docker映射为8172)访问管理页面,如下图:
1111.jpg

其中节点类型等信息都展示。当前为普通集群模式,可以自行测试一下。在一台服务器上创建交换器和队列,并绑定。在另一台上可以看到已经同步,发送消息发现两台服务器都存在。
在一个节点中消费了该消息,其他节点中将不会存在该消息。

将集群配置为镜像集群

镜像模式可以通过指令进行配置,也可以通过管理页面进行配置。

这里简单演示一下管理页面的配置方式:
mirrors.jpg

以admin身份进入管理页面后,在Admin中,点击右侧的Policies,之后点击Add / update a policy 来添加策略。
其中的参数说明:

  Name:policy的名称

  Pattern: queue的匹配模式(正则表达式)

  priority:可选参数,policy的优先级

  Definition:镜像定义,包括三个部分ha-mode、ha-params、ha-sync-mode

    ha-mode:指明镜像队列的模式,有效值为 all/exactly/nodes

      all:表示在集群中所有的节点上进行镜像

      exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定

      nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定

    ha-params:ha-mode模式需要用到的参数

    ha-sync-mode:进行队列中消息的同步方式,有效值为automatic(自动)和manual(手动)

相应的填入值即可配置成功,之后可通过队列查看。如下配置即为,匹配所有以test_开头的队列,并设置所有节点都参与镜像。
addPolicies.jpg

设置好后,可以在队列中查看镜像情况,其中以test_开头的队列,皆以镜像模式集群。可自行进行测试。

注意事项

上面简单说明了如何搭建rabbitmq集群。要注意的是在镜像模式中,集群的开启与关闭要有顺序的,因为没有一个指令可以统一关闭和开启集群,
所以只能一个个节点进行关闭和开启。这里要最后关闭磁盘存储的节点,以保证数据不会丢失。同时要注意,关闭顺序和启动顺序要相反。
即关闭时为1、2、3,则开启顺序为3、2、1。

集群的简单搭建大概就是这样了,虽然镜像模式可以算是"高可用",真实项目中,还是要搭配Nginx或者HaProxy等搭建负载均衡体系。

搭建Haproxy实现负载均衡

docker部署Haproxy

  • 使用docker拉取官方镜像
    docker pull haproxy
  • 创建haproxy.cfg配置文件
    在宿主机上创建haproxy.cfg

    mkdir haproxy   
    vi haproxy.cfg

    配置内容如下:

    global
      daemon
      maxconn 10000
      #日志输出配置,所有日志都记录在本机,以local0的日志级别(系统不可用)输出
      #local0~local7
      # emerg 0-系统不可用      alert 1-必须马上采取行动的事件
      # crit 2-关键的事件       err 3-错误事件
      # warning 4-警告事件      notice 5-普通但重要的事件
      # info 6-有用的信息       debug 7-调试信息
     log 127.0.0.1 local0 info
    
    defaults
      mode http
      #应用全局的日志配置
      log global
      #超时配置
      timeout connect 5000ms
      timeout client 5000ms
      timeout server 5000ms
      timeout check 2000ms
    
    #负载均衡的名字(自定义)
    #监听8066端口并转发到rabbitmq服务
    listen rabbitmq_cluster
      bind 0.0.0.0:8066#对外提供的虚拟的端口
      option tcplog
      mode tcp
      #负载均衡算法为轮询
      balance roundrobin
      #对后端服务器的健康状况检查间隔为5000毫秒,
      #连续2次健康检查成功,则认为是有效的,连续3次健康检查失败,则认为服务器宕机
      server rabbit1 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
      server rabbit2 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
      
    #haproxy的客户页面
    listen http_front 
      bind 0.0.0.0:8266
      stats uri /haproxy #页面地址
      #页面的用户名和密码,建议主备设为不同,方便确定抢占到VIP的服务器是主机还是备机
      stats auth root:tuhugc20221008 
      stats admin if TRUE #管理界面,成功登陆后可通过webui管理节点
    
    #rabbit管理页面,监听8166端口转发到rabbitmq的客户端
    listen rabbitmq_admin 
      bind 0.0.0.0:8166
      server rabbit1 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3
      server rabbit2 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3

    其中xxx.xxx.xxx.xxx 替换为对应的rabbitmq所在服务器的IP地址。8072为rabbitmq宿主机映射的5672端口,8172为15672端口。这里自行根据实际情况更改。

  • 运行haproxy容器

    #-v 中的参数:ro表示read only,宿主文件为只读。如果不加此参数默认为rw,即允许容器对宿主文件的读写   
    #一定要添加--privileged参数,使用该参数,container内的root拥有真正的root权限。   
    #否则,container内的root只是外部的一个普通用户权限(无法创建网卡)   
    docker run -d --name haproxy-rabbitmq --privileged --net host --restart=unless-stopped --log-opt max-size=200m --log-opt max-file=3 -v /root/docker/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro haproxy

    此时通过ip:8266/haproxy可访问haproxy后台监控界面。ip:8166可访问rabbitmq管理界面。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
2天前
|
网络安全 Docker 容器
【docker专题_01】docker搭建elasticsearch集群 -
【docker专题_01】docker搭建elasticsearch集群 -
20 1
|
2天前
|
流计算 Docker 容器
【docker专题_03】docker搭建Flink集群
【docker专题_03】docker搭建Flink集群
13 2
|
14天前
|
安全 Java 数据安全/隐私保护
百度搜索:蓝易云【docker部署ELK8.8.1集群logstash报错PKIX path building failed】
重新启动logstash:保存修改后的配置文件,并重新启动logstash容器。
22 6
|
16天前
|
消息中间件 Docker 容器
【Docker】安装RabbitMQ
【Docker】安装RabbitMQ
14 0
|
16天前
|
网络协议 数据安全/隐私保护 Docker
Docker 镜像库国内加速的几种方法
Docker 镜像库国内加速的几种方法
|
16天前
|
安全 Linux Docker
制作 Python Docker 镜像的最佳实践
制作 Python Docker 镜像的最佳实践
|
16天前
|
Kubernetes Linux Docker
如何保存 / 同步多架构容器 Docker 镜像
如何保存 / 同步多架构容器 Docker 镜像
|
17天前
|
JSON Kubernetes Docker
K8S 1.20 弃用 Docker 评估之 Docker 和 OCI 镜像格式的差别
K8S 1.20 弃用 Docker 评估之 Docker 和 OCI 镜像格式的差别
|
17天前
|
关系型数据库 MySQL 应用服务中间件
从零开始,掌握Nacos搭建的艺术(单点、集群、docker-compose)
从零开始,掌握Nacos搭建的艺术(单点、集群、docker-compose)
27 0
|
17天前
|
消息中间件 运维 应用服务中间件
容器化运维:构建高可用RabbitMQ集群的Docker Compose指南
容器化运维:构建高可用RabbitMQ集群的Docker Compose指南
23 0

相关产品

  • 云迁移中心