开发者社区> BigCool叉子> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机镜像模式)

简介: RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机镜像模式)
+关注继续查看

RabbitMQ使用docker搭建集群并使用Haproxy实现负载均衡(多机)

=======================================================

准备工作

  • 服务器准备,当前是使用两台阿里云服务器(系统版本:CentOS Linux release 7.6.1810),使用相同地区的服务器,相互通讯可以使用阿里云内网。
  • 服务器安装docker,可自行查找安装资料。Docker官网安装教程:Docker官网安装教程
  • Docker创建RabbitMQ镜像
    使用docker pull指令拉取镜像:docker pull rabbitmq:management
    这里为拉取的最新版本rabbitmq,management版本内置可视化插件,若非management版,需在安装后执行rabbitmq-plugins enable rabbitmq_management 安装可视化组件,否则,无法通过浏览器访问管理页面。
    若想指定版本可以在冒号后添加相应版本号。
    例:docker pull rabbitmq:3.9.22-management-alpine

运行RabbitMQ

第一台服务器(ip1)

  • 用docker run指令创建rabbitMQ容器,此台服务器作为主节点。
    docker run  -d --hostname rabbitmq1 \
    --restart unless-stopped \
    --name rabbitmq1 \
    -p 4369:4369 \
    -p 25672:25672 \
    -p 8172:15672 \
    -p 8072:5672 \
    -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
    -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
    rabbitmq:management

创建后可通过ip1:8172来访问后台管理界面如图:
1663809814654.jpg

第二台服务器(ip2)

  • 创建容器,此服务器作为从节点。

      docker run  -d --hostname rabbitmq2 \
      --add-host rabbitmq1:xxxx \
      --restart unless-stopped \
      --name rabbitmq2 \
      -p 4369:4369 \
      -p 25672:25672 \
      -p 8172:15672 \
      -p 8072:5672 \
      -e RABBITMQ_ERLANG_COOKIE='tuhugc_cookie_220921' \
      -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf \
      rabbitmq:management

    创建后后台界面和第一台服务器一样,此时就启动了两台单体的服务器。

  • 上面docker run指令中的参数简要说明如下

      -d 容器后台运行
      --hostname rabbitmq1 容器的主机名为 rabbitmq1
      --add-host rabbitmq2:xxxx  修改容器内部的hosts,添加的集群服务器都需要添加进来
      --restart=unless-stopped docker 容器重启后重启MQ
      --name rabbitmq1 容器名为rabbitma1,在宿主机上运行“docker ps”命令时显示的名称
      -p 8072:5672 消息通讯端口
      -p 8172:15672 后台管理端口
      -p 4369:4369 在 Erlang 集群中相当于 dns 的作用,绑定在4369端口上
      -p 25672:25672 25672端口用于节点间和CLI工具通信(Erlang分发服务器端口)
      -e RABBITMQ_ERLANG_COOKIE='xxxxxxxxx' 设置Erlang Cookie 值,此值必须相同,也就是一个集群内 RABBITMQ_ERLANG_COOKIE 参数的值必须相同。
      因为 RabbitMQ 是用Erlang实现的,Erlang Cookie 相当于不同节点之间通讯的密钥,Erlang节点通过交换 Erlang Cookie 获得认证。
      -v /mnt/data/rabbitmq/rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf 挂载rabbitmq的配置文件
    • 简单基础配置文件如下,其他配置请根据实际情况增删
      loopback_users.guest = false   允许其他主机访问RabbitMQ的控制页面
      listeners.tcp.default = 5672   声明通讯端口
      default_pass = defalt_password  设置默认管理员密码
      default_user = default_user     设置默认管理员账号
      default_vhost = default_vhost  创建一个默认的Virtual Hosts,用于账号和服务隔离
      management.tcp.port = 15672    声明后台管理页面端口

配置集群

  • 第一台服务器重启为主节点

      docker exec -it rabbitmq1 /bin/bash
      rabbitmqctl stop_app
      rabbitmqctl reset
      rabbitmqctl start_app
      exit
  • 第二台服务器加入到主节点

    docker exec -it rabbit3 bash
    rabbitmqctl stop_app
    rabbitmqctl reset
    rabbitmqctl join_cluster --ram rabbit@rabbitmq1
    rabbitmqctl start_app
    exit
  • 注意事项

    1. 在执行rabbitmqctl相关指令时,可能会出现

    RABBITMQ_ERLANG_COOKIE env variable support is deprecated and will be REMOVED in a future version. Use the $HOME/.erlang.cookie file or the --erlang-cookie switch instead.
    这里是指RABBITMQ_ERLANG_COOKIE环境变量支持已弃用,在未来版本中将被删除。一般是因为使用的rabbitmq版本较高导致的,可以降低版本或者根据提示使用新版的配置方式,
    来避免这条提示。当然,不管它接着执行其余指令也可以,不会影响操作(以后完全弃用后就不能使用了)。顺便说一句,这个RABBITMQ_ERLANG_COOKIE是在docker启动的时候使用的。

    1. 若在执行rabbitmqctl指令时,一般是join_cluster时出现

    unable to connect to epmd (port 4369) on xxxx: timeout (timed out)
    这里就要检查一下主节点所在服务器是否开启了4369端口,或者docker run的时候是否将4369端口映射成了其他的端口。在docker run的时候尽量将4369端口不做修改的映射到宿主机,即-p 4369:4369

    1. 运行时的配置说明
      -ram 表示设置为内存节点,忽略此参数默认为磁盘节点。
      一般节点会配置3个或3个以上,本示例只是简单的一个demo,只配置了两个节点,一个磁盘节点(主节点),一个内存节点。
      若想修改节点类型可通过下面的指令进行切换:

      rabbitmqctl stop_app
      rabbitmqctl change_cluster_node_type dist
      rabbitmqctl change_cluster_node_type ram
      rabbitmqctl start_app

执行完成后通过15672端口(这里通过docker映射为8172)访问管理页面,如下图:
1111.jpg

其中节点类型等信息都展示。当前为普通集群模式,可以自行测试一下。在一台服务器上创建交换器和队列,并绑定。在另一台上可以看到已经同步,发送消息发现两台服务器都存在。
在一个节点中消费了该消息,其他节点中将不会存在该消息。

将集群配置为镜像集群

镜像模式可以通过指令进行配置,也可以通过管理页面进行配置。

这里简单演示一下管理页面的配置方式:
mirrors.jpg

以admin身份进入管理页面后,在Admin中,点击右侧的Policies,之后点击Add / update a policy 来添加策略。
其中的参数说明:

  Name:policy的名称

  Pattern: queue的匹配模式(正则表达式)

  priority:可选参数,policy的优先级

  Definition:镜像定义,包括三个部分ha-mode、ha-params、ha-sync-mode

    ha-mode:指明镜像队列的模式,有效值为 all/exactly/nodes

      all:表示在集群中所有的节点上进行镜像

      exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定

      nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定

    ha-params:ha-mode模式需要用到的参数

    ha-sync-mode:进行队列中消息的同步方式,有效值为automatic(自动)和manual(手动)

相应的填入值即可配置成功,之后可通过队列查看。如下配置即为,匹配所有以test_开头的队列,并设置所有节点都参与镜像。
addPolicies.jpg

设置好后,可以在队列中查看镜像情况,其中以test_开头的队列,皆以镜像模式集群。可自行进行测试。

注意事项

上面简单说明了如何搭建rabbitmq集群。要注意的是在镜像模式中,集群的开启与关闭要有顺序的,因为没有一个指令可以统一关闭和开启集群,
所以只能一个个节点进行关闭和开启。这里要最后关闭磁盘存储的节点,以保证数据不会丢失。同时要注意,关闭顺序和启动顺序要相反。
即关闭时为1、2、3,则开启顺序为3、2、1。

集群的简单搭建大概就是这样了,虽然镜像模式可以算是"高可用",真实项目中,还是要搭配Nginx或者HaProxy等搭建负载均衡体系。

搭建Haproxy实现负载均衡

docker部署Haproxy

  • 使用docker拉取官方镜像
    docker pull haproxy
  • 创建haproxy.cfg配置文件
    在宿主机上创建haproxy.cfg

    mkdir haproxy   
    vi haproxy.cfg

    配置内容如下:

    global
      daemon
      maxconn 10000
      #日志输出配置,所有日志都记录在本机,以local0的日志级别(系统不可用)输出
      #local0~local7
      # emerg 0-系统不可用      alert 1-必须马上采取行动的事件
      # crit 2-关键的事件       err 3-错误事件
      # warning 4-警告事件      notice 5-普通但重要的事件
      # info 6-有用的信息       debug 7-调试信息
     log 127.0.0.1 local0 info
    
    defaults
      mode http
      #应用全局的日志配置
      log global
      #超时配置
      timeout connect 5000ms
      timeout client 5000ms
      timeout server 5000ms
      timeout check 2000ms
    
    #负载均衡的名字(自定义)
    #监听8066端口并转发到rabbitmq服务
    listen rabbitmq_cluster
      bind 0.0.0.0:8066#对外提供的虚拟的端口
      option tcplog
      mode tcp
      #负载均衡算法为轮询
      balance roundrobin
      #对后端服务器的健康状况检查间隔为5000毫秒,
      #连续2次健康检查成功,则认为是有效的,连续3次健康检查失败,则认为服务器宕机
      server rabbit1 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
      server rabbit2 xxx.xxx.xxx.xxx:8072 check inter 5000ms rise 2 fall 3
      
    #haproxy的客户页面
    listen http_front 
      bind 0.0.0.0:8266
      stats uri /haproxy #页面地址
      #页面的用户名和密码,建议主备设为不同,方便确定抢占到VIP的服务器是主机还是备机
      stats auth root:tuhugc20221008 
      stats admin if TRUE #管理界面,成功登陆后可通过webui管理节点
    
    #rabbit管理页面,监听8166端口转发到rabbitmq的客户端
    listen rabbitmq_admin 
      bind 0.0.0.0:8166
      server rabbit1 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3
      server rabbit2 xxx.xxx.xxx.xxx:8172 check inter 5000ms rise 2 fall 3

    其中xxx.xxx.xxx.xxx 替换为对应的rabbitmq所在服务器的IP地址。8072为rabbitmq宿主机映射的5672端口,8172为15672端口。这里自行根据实际情况更改。

  • 运行haproxy容器

    #-v 中的参数:ro表示read only,宿主文件为只读。如果不加此参数默认为rw,即允许容器对宿主文件的读写   
    #一定要添加--privileged参数,使用该参数,container内的root拥有真正的root权限。   
    #否则,container内的root只是外部的一个普通用户权限(无法创建网卡)   
    docker run -d --name haproxy-rabbitmq --privileged --net host --restart=unless-stopped --log-opt max-size=200m --log-opt max-file=3 -v /root/docker/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro haproxy

    此时通过ip:8266/haproxy可访问haproxy后台监控界面。ip:8166可访问rabbitmq管理界面。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Nginx的反向代理与负载均衡
1.1 集群是什么   简单地说,集群就是指一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服器。这些服务器之间可以彼此通信,协同向用户提供应用程序、系统资源和数据,并以单一系统的模式加以管理。
1922 0
.Net分布式架构(一):Nginx实现负载均衡
原文:.Net分布式架构(一):Nginx实现负载均衡 一:负载均衡简介   负载均衡,英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务。
1278 0
nginx 负载均衡,多站点共享Session
原文:nginx 负载均衡,多站点共享Session nginx 负载均衡,多站点共享Session 多站点共享Session常见的作法有: 使用.net自动的状态服务(Asp.net State Service); 使用.net的Session数据库; 使用Memcached。
1161 0
CentOS7+Nginx配置Tomcat负载均衡环境
1.准备两个Tomcat 配置两个Tomcat一个端口是8080另外一个端口是8081,分别在webapps下面添加一个测试用的web项目,修改index.jsp文件,8080端口的index.jsp页面加入: This page is from 8080 port 8081的端口的index.
901 0
docker实现nginx tocmat的负载均衡
应用场景 当一个应用部署在tomcat后,发现访问量越来越多,服务器完全无法承受住压力,导致系统卡顿延时等,此时需要通过nginx技术将应用压力进行平均分配到其他服务器,将多台服务器一起提供资源,通过nginx来协调资源进行负载均衡。
896 0
Nginx-负载均衡
章节目录 什么是负载均衡 使用负载均衡要解决的问题 基于LVS的中间件架构 GSLB SLB 四层负载均衡和七层负载均衡 Nginx 负载均衡 配置语法 负载均衡配置实战 什么是负载均衡 当用户请求量增加至单台服务器不能及时处理的时候 即(单台服务器可接受能够建立连接的并发请求超过上限时), 那么就需要横向扩容应用服务器来多当前场景下的高并发请求做处理, 负载均衡正是将高并发请求分流至水平节点上不同应用服务器的一种技术。
815 0
+关注
BigCool叉子
人到中年的程序猿
文章
问答
文章排行榜
最热
最新
相关电子书
更多
基于Docker on Yarn系统的微服务实践
立即下载
Docker 镜像原理和最佳实践
立即下载
我的Docker:Docker插件机制详解
立即下载