RabbitMQ简介

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

基于RabbitMQ的MQTT插件（Message Queuing Telemetry Transport，消息队列遥测传输）是IBM开发的一个即时通讯协议，是物联网的重要组成部分。该协议支持所有平台，几乎可以把所有联网物品和外部连接起来，被用来当做传感器和制动器的通信协议。

最近项目上需要用到RabbitMQ，所以有机会在阿里云上搭建RabbitMQ集群。

RabbitMQ集群

RabbitMQ提供了很多方式来搭建集群。包括：

• 配置文件方式
• 基于DNS的发现
• AWS实例发现（通过插件）
• Kubernetes发现（通过插件）
• 基于consul的发现（通过插件）
• 基于etcd的发现（通过插件）
• rabbitmqctl命令手动关联

考虑到是在阿里云上进行搭建集群，而且阿里云本身提供DNS Private Zone服务，为了避免不必要的额外搭建其它服务，所以采用了基于DNS发现来创建集群。具体架构如下图：

我们创建3台ECS，分别命名为rabbit1，rabbit2，rabbit3。然后在Private Zone里面创建rabbitmq.gadev，把3台ECS的解析添加进去。

因为RabbitMQ要用到节点名字，同时创建一个反向解析。这样根据其它IP地址可以获取其它节点的名字。

在配置文件中添加集群的发现方式：

[root@rabbit1]# cat rabbitmq.conf
loopback_users = none

cluster_formation.peer_discovery_backend = rabbit_peer_discovery_dns
cluster_formation.dns.hostname = rabbitmq.gadev

自动化实施

下面介绍下如何在阿里云上进行RabbitMQ的自动化创建。这里用到的工具链包括：

• GitLab - 自动化脚本代码存储，使用了GitLab的CI/CD Pipeline。
• Terraform - 创建阿里云相关资源。
• Ansible - 安装/升级ECS上的RabbitMQ。
• Python - 用来访问阿里云上的OSS，Private Zone等。
• 阿里云CLI - 访问OSS获取Ansible Playbook，触发OOS来运行ECS中的ansible。
  自动化安装架构如下图：

用到的阿里云服务

• ECS - 用来安装RabbitMQ
• Auto Scaling Group - 用伸缩组来管理ECS
• SLB - 提供公网SLB使设备能直接连接集群，提供私有SLB供内部业务使用。
• Private Zone - RabbitMQ集群服务发现
• Domain name - 提供域名来绑定公网SLB
• OSS - 用OSS来存储ansible playbook
• OOS(Operation Orchestration Service) - 使用OOS来触发ansible脚本运行。
• RAM - 给ECS绑定需要的role
• VPC - 基础网络相关配置

使用OOS来运行ansible playbook
OOS编排服务提供了模板ACS-ECS-ApplyAnsiblePlayBooks可以在一批ECS里面运行各自的ansible playbook。

# aliyun oos StartExecution help
Alibaba Cloud Command Line Interface Version 3.0.29

Product: oos (Operation Orchestration Service)
Link:    https://help.aliyun.com/api/oos/StartExecution.html

Parameters:
  --TemplateName      String  Required
  --ClientToken       String  Optional
  --LoopMode          String  Optional
  --Mode              String  Optional
  --Parameters        String  Optional
  --ParentExecutionId String  Optional
  --RegionId          String  Optional
  --SafetyCheck       String  Optional
  --TemplateVersion   String  Optional

下面的命令就可以用来运行ansible：

# aliyun oos StartExecution --TemplateName ACS-ECS-ApplyAnsiblePlayBooks --RegionId cn-shanghai --Parameters '{"playbookurl":"https://{{oss_bucket}}.oss-cn-shanghai.aliyuncs.com/{{playbook.yml}}","OOSAssumeRole":"{{oosRole}}","targets":{"type":"Tags","tags":[{"value": "{{environment}}","key": "rabbit"}]}}'

CI/CD stage

参考资料

https://www.rabbitmq.com/
https://www.rabbitmq.com/clustering.html
https://yq.aliyun.com/articles/718185