RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡（多机）
=======================================================
准备工作
- 服务器准备，当前是使用两台阿里云服务器（系统版本：CentOS Linux release 7.6.1810），使用相同地区的服务器，相互通讯可以使用阿里云内网。
- 服务器安装docker，可自行查找安装资料。Docker官网安装教程：Docker官网安装教程
- Docker创建RabbitMQ镜像
使用docker pull指令拉取镜像：docker pull rabbitmq:management
这里为拉取的最新版本rabbitmq，management版本内置可视化插件，若非management版，需在安装后执行rabbitmq-plugins enable rabbitmq_management安装可视化组件，否则，无法通过浏览器访问管理页面。
若想指定版本可以在冒号后添加相应版本号。
例：docker pull rabbitmq:3.9.22-management-alpine
运行RabbitMQ
第一台服务器（ip1）
- 用docker run指令创建rabbitMQ容器，此台服务器作为主节点。
docker run -d --hostname rabbitmq1 \
--restart unless-stopped \
--name rabbitmq1 \
-p 4369:4369 \
-p 25672:25672 \
-p 8172:15672 \
-p 8072:5672 \
-e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
-v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
rabbitmq:management创建后可通过ip1:8172来访问后台管理界面如图：
第二台服务器（ip2）
创建容器，此服务器作为从节点。
docker run -d --hostname rabbitmq2 \ --add-host rabbitmq1:xxxx \ --restart unless-stopped \ --name rabbitmq2 \ -p 4369:4369 \ -p 25672:25672 \ -p 8172:15672 \ -p 8072:5672 \ -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \ -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \ rabbitmq:management创建后后台界面和第一台服务器一样，此时就启动了两台单体的服务器。
上面docker run指令中的参数简要说明如下
-d 容器后台运行 --hostname rabbitmq1 容器的主机名为 rabbitmq1 --add-host rabbitmq2:xxxx 修改容器内部的hosts，添加的集群服务器都需要添加进来 --restart=unless-stopped docker 容器重启后重启MQ --name rabbitmq1 容器名为rabbitma1，在宿主机上运行“docker ps”命令时显示的名称 -p 8072:5672 消息通讯端口 -p 8172:15672 后台管理端口 -p 4369:4369 在 Erlang 集群中相当于 dns 的作用，绑定在4369端口上 -p 25672:25672 25672端口用于节点间和CLI工具通信（Erlang分发服务器端口） -e RABBITMQ_ERLANG_COOKIE='xxxxxxxxx' 设置Erlang Cookie 值，此值必须相同，也就是一个集群内 RABBITMQ_ERLANG_COOKIE 参数的值必须相同。 因为 RabbitMQ 是用Erlang实现的，Erlang Cookie 相当于不同节点之间通讯的密钥，Erlang节点通过交换 Erlang Cookie 获得认证。 -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf 挂载rabbitmq的配置文件- 简单基础配置文件如下，其他配置请根据实际情况增删
loopback_users.guest = false 允许其他主机访问RabbitMQ的控制页面 listeners.tcp.default = 5672 声明通讯端口 default_pass = defalt_password 设置默认管理员密码 default_user = default_user 设置默认管理员账号 default_vhost = default_vhost 创建一个默认的Virtual Hosts，用于账号和服务隔离 management.tcp.port = 15672 声明后台管理页面端口
配置集群
第一台服务器重启为主节点
docker exec -it rabbitmq1 /bin/bash rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl start_app exit第二台服务器加入到主节点
docker exec -it rabbit3 bash rabbitmqctl stop_app rabbitmqctl reset rabbitmqctl join_cluster --ram rabbit@rabbitmq1 rabbitmqctl start_app exit注意事项
- 在执行rabbitmqctl相关指令时，可能会出现
RABBITMQ_ERLANG_COOKIE env variable support is deprecated and will be REMOVED in a future version. Use the $HOME/.erlang.cookie file or the --erlang-cookie switch instead.
这里是指RABBITMQ_ERLANG_COOKIE环境变量支持已弃用，在未来版本中将被删除。一般是因为使用的rabbitmq版本较高导致的，可以降低版本或者根据提示使用新版的配置方式，
来避免这条提示。当然，不管它接着执行其余指令也可以，不会影响操作（以后完全弃用后就不能使用了）。顺便说一句，这个RABBITMQ_ERLANG_COOKIE是在docker启动的时候使用的。- 若在执行rabbitmqctl指令时，一般是
join_cluster时出现
unable to connect to epmd (port 4369) on xxxx: timeout (timed out)
这里就要检查一下主节点所在服务器是否开启了4369端口，或者docker run的时候是否将4369端口映射成了其他的端口。在docker run的时候尽量将4369端口不做修改的映射到宿主机，即-p 4369:4369运行时的配置说明
-ram表示设置为内存节点，忽略此参数默认为磁盘节点。
一般节点会配置3个或3个以上，本示例只是简单的一个demo，只配置了两个节点，一个磁盘节点（主节点），一个内存节点。
若想修改节点类型可通过下面的指令进行切换：rabbitmqctl stop_app rabbitmqctl change_cluster_node_type dist rabbitmqctl change_cluster_node_type ram rabbitmqctl start_app
执行完成后通过15672端口（这里通过docker映射为8172）访问管理页面，如下图： 
其中节点类型等信息都展示。当前为普通集群模式，可以自行测试一下。在一台服务器上创建交换器和队列，并绑定。在另一台上可以看到已经同步，发送消息发现两台服务器都存在。
在一个节点中消费了该消息,其他节点中将不会存在该消息。
将集群配置为镜像集群
镜像模式可以通过指令进行配置，也可以通过管理页面进行配置。
这里简单演示一下管理页面的配置方式： 
以admin身份进入管理页面后，在Admin中，点击右侧的Policies，之后点击Add / update a policy 来添加策略。
其中的参数说明：
Name：policy的名称
Pattern: queue的匹配模式(正则表达式)
priority：可选参数，policy的优先级
Definition：镜像定义，包括三个部分ha-mode、ha-params、ha-sync-mode
ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
all：表示在集群中所有的节点上进行镜像
exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
ha-params：ha-mode模式需要用到的参数
ha-sync-mode：进行队列中消息的同步方式，有效值为automatic（自动）和manual（手动）相应的填入值即可配置成功，之后可通过队列查看。如下配置即为，匹配所有以test_开头的队列，并设置所有节点都参与镜像。 
设置好后，可以在队列中查看镜像情况，其中以test_开头的队列，皆以镜像模式集群。可自行进行测试。
注意事项
上面简单说明了如何搭建rabbitmq集群。要注意的是在镜像模式中，集群的开启与关闭要有顺序的，因为没有一个指令可以统一关闭和开启集群，
所以只能一个个节点进行关闭和开启。这里要最后关闭磁盘存储的节点，以保证数据不会丢失。同时要注意，关闭顺序和启动顺序要相反。
即关闭时为1、2、3，则开启顺序为3、2、1。
集群的简单搭建大概就是这样了，虽然镜像模式可以算是"高可用"，真实项目中，还是要搭配Nginx或者HaProxy等搭建负载均衡体系。
搭建Haproxy实现负载均衡
docker部署Haproxy
- 使用docker拉取官方镜像
docker pull haproxy 创建haproxy.cfg配置文件
在宿主机上创建haproxy.cfgmkdir haproxy vi haproxy.cfg配置内容如下：
global daemon maxconn 10000 #日志输出配置，所有日志都记录在本机，以local0的日志级别（系统不可用）输出 #local0～local7 # emerg 0-系统不可用 alert 1-必须马上采取行动的事件 # crit 2-关键的事件 err 3-错误事件 # warning 4-警告事件 notice 5-普通但重要的事件 # info 6-有用的信息 debug 7-调试信息 log 127.0.0.1 local0 info defaults mode http #应用全局的日志配置 log global #超时配置 timeout connect 5000ms timeout client 5000ms timeout server 5000ms timeout check 2000ms #负载均衡的名字（自定义） #监听8066端口并转发到rabbitmq服务 listen rabbitmq_cluster bind 0.0.0.0:8066#对外提供的虚拟的端口 option tcplog mode tcp #负载均衡算法为轮询 balance roundrobin #对后端服务器的健康状况检查间隔为5000毫秒， #连续2次健康检查成功，则认为是有效的，连续3次健康检查失败，则认为服务器宕机 server rabbit1 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3 server rabbit2 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3 #haproxy的客户页面 listen http_front bind 0.0.0.0:8266 stats uri /haproxy #页面地址 #页面的用户名和密码，建议主备设为不同，方便确定抢占到VIP的服务器是主机还是备机 stats auth root:tuhugc20221008 stats admin if TRUE #管理界面，成功登陆后可通过webui管理节点 #rabbit管理页面，监听8166端口转发到rabbitmq的客户端 listen rabbitmq_admin bind 0.0.0.0:8166 server rabbit1 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3 server rabbit2 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3其中xxx.xxx.xxx.xxx 替换为对应的rabbitmq所在服务器的IP地址。8072为rabbitmq宿主机映射的5672端口，8172为15672端口。这里自行根据实际情况更改。
运行haproxy容器
#-v 中的参数:ro表示read only，宿主文件为只读。如果不加此参数默认为rw，即允许容器对宿主文件的读写 #一定要添加--privileged参数,使用该参数，container内的root拥有真正的root权限。 #否则，container内的root只是外部的一个普通用户权限（无法创建网卡） docker run -d --name haproxy-rabbitmq --privileged --net host --restart=unless-stopped --log-opt max-size=200m --log-opt max-file=3 -v /root/docker/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro haproxy此时通过ip:8266/haproxy可访问haproxy后台监控界面。ip:8166可访问rabbitmq管理界面。
