八、发布确认高级
correlated
adj. 有相互关系的
v. （使）相关联；（使）相互对照（correlate 的过去分词）
如何才能进行 RabbitMQ 的消息可靠投递呢？ 特别是在这样比较极端的情况，RabbitMQ 集群不可用的时候，无法投递的消息该如何处理呢？
8.1 发布确认 springboot 版本
8.1.1确认机制方案
8.1.2 代码架构图
8.1.3 配置文件
在配置文件当中需要添加
spring.rabbitmq.publisher-confirm-type=correlated
NONE
禁用发布确认模式，是默认值
CORRELATED
发布消息成功到交换器后会触发回调方法
SIMPLE
经测试有两种效果，其一效果和 CORRELATED 值一样会触发回调方法
其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果，根据返回结果来判定下一步的逻辑，要注意的点是
waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel，则接下来无法发送消息到 broker
spring: rabbitmq: host: 192.168.42.96 port: 5672 username: admin password: 123 # 开启了交换机回调 publisher-confirm-type: correlated # 开启回退消息 publisher-returns: true
8.1.4 配置类代码
package com.caq.config; import org.springframework.amqp.core.*; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class ConfirmConfig { // 交换机 public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange_name"; // 队列 public static final String CONFIRM_QUEUE_NAME = "confirm_queue"; // routingKey public static final String CONFIRM_ROUTING_KEY = "key1"; //声明交换机 @Bean("confirmExchange") public DirectExchange confirmExchange(){ return new DirectExchange(CONFIRM_EXCHANGE_NAME); } //交换机创建通过new的形式，队列的创建通过对象的方法QueueBuilder.durable //声明队列 @Bean("confirmQueue") public Queue confirmQueue(){ return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build(); } //绑定 @Bean public Binding confirmQueueBindingConfirmExchange(@Qualifier("confirmQueue") Queue confirmQueue, @Qualifier("confirmExchange") DirectExchange confirmExchange){ return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY); } }
8.1.5 消息生产者
package com.caq.config; import org.springframework.amqp.core.*; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class ConfirmConfig { // 交换机 public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange_name"; // 队列 public static final String CONFIRM_QUEUE_NAME = "confirm_queue"; // routingKey public static final String CONFIRM_ROUTING_KEY = "key1"; //声明交换机 @Bean("confirmExchange") public DirectExchange confirmExchange(){ return new DirectExchange(CONFIRM_EXCHANGE_NAME); } //交换机创建通过new的形式，队列的创建通过对象的方法QueueBuilder.durable //声明队列 @Bean("confirmQueue") public Queue confirmQueue(){ return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build(); } //绑定 @Bean public Binding confirmQueueBindingConfirmExchange(@Qualifier("confirmQueue") Queue confirmQueue, @Qualifier("confirmExchange") DirectExchange confirmExchange){ return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY); } }
8.1.6 回调接口
交换机确认回调方法 参数介绍：
1、发消息 交换机接收到了 回调
CorrelationData 保存回调消息的ID及相关信息
交换机收到消息 ack = true
cause null
2、发消息 交换机没有接收到 回调
CorrelationData 保存回调消息的ID及相关信息
交换机收到消息 ack = false
cause 失败的原因
correlation 相互关系
package com.caq.config; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.core.Message; import org.springframework.amqp.core.ReturnedMessage; import org.springframework.amqp.rabbit.connection.CorrelationData; import org.springframework.amqp.rabbit.core.RabbitTemplate; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Component; import javax.annotation.PostConstruct; @Slf4j @Component public class MycallBack implements RabbitTemplate.ConfirmCallback{ @Autowired private RabbitTemplate rabbitTemplate; @PostConstruct public void init(){ //注入 rabbitTemplate.setConfirmCallback(this); rabbitTemplate.setReturnCallback(this); } @Override public void confirm(CorrelationData correlationData, boolean ack, String cause) { //三元运算 String id = correlationData != null ? correlationData.getId() : ""; if (ack) { log.info("交换机已经收到了Id为：{}的信息", id); } else { log.info("交换机还未收到了Id为：{}的信息，由于原因：{}", id, cause); } } }
8.1.7 消息消费者
package com.caq.consumer; import com.caq.config.ConfirmConfig; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.core.Message; import org.springframework.amqp.rabbit.annotation.RabbitListener; import org.springframework.stereotype.Component; @Slf4j @Component public class Consumer { //接收消息 @RabbitListener(queues = ConfirmConfig.CONFIRM_QUEUE_NAME) public void receiveConfirmMessage(Message message) { String msg = new String(message.getBody()); log.info("接受到的队列confirm，queue消息{}",msg); } }
正常情况：发送消息到交换机
如果交换机收不到消息呢？
怎么回调呢？如果消息发不出去，那就给我返回过来然后保存下来
可以看到，发送了两条消息，第一条消息的 RoutingKey 为 “key1”，第二条消息的 RoutingKey 为"key2"，两条消息都成功被交换机接收，也收到了交换机的确认回调，但消费者只收到了一条消息，因为第二条消息的 RoutingKey 与队列的 BindingKey 不一致，也没有其它队列能接收这个消息，所有第二条消息被直接丢弃了。
8.2 回退消息
8.1.1 Mandatory 参数
mandatory
adj. 强制性的，义务的；受（前国际联盟）委任统治的
n. 受托人，代理人（=mandatary）
在仅开启了生产者确认机制的情况下，交换机接收到消息后，会直接给消息生产者发送确认消息，如果发现该消息不可路由，那么消息会被直接丢弃，此时生产者是不知道消息被丢弃这个事件的。那么如何让无法被路由的消息帮我想办法处理一下？最起码通知我一声，我好自己处理啊。通过设置 mandatory 参数可以在当消息传递过程中不可达目的地时将消息返回给生产者。
8.1.2 在原有回调接口增加代码
@Override public void confirm(CorrelationData correlationData, boolean ack, String cause) { //三元运算 String id = correlationData != null ? correlationData.getId() : ""; if (ack) { log.info("交换机已经收到了Id为：{}的信息", id); } else { log.info("交换机还未收到了Id为：{}的信息，由于原因：{}", id, cause); } }
生产者代码保持不变
8.3 备份交换机
Fanout类型的交换机是广播类型
有了 mandatory 参数和回退消息，我们获得了对无法投递消息的感知能力，有机会在生产者的消息无法被投递时发现并处理。但有时候，我们并不知道该如何处理这些无法路由的消息，最多打个日志，然后触发报警，再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法，特别是当生产者所在的服务有多台机器的时候，手动复制日志会更加麻烦而且容易出错。而且设置 mandatory 参数会增加生产者的复杂性，需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息，又不想增加生产者的复杂性，该怎么做呢？
在 RabbitMQ 中，有一种备份交换机的机制存在，可以很好的应对这个问题。什么是备份交换机呢？备份交换机可以理解为 RabbitMQ 中交换机的“备胎”，当我们为某一个交换机声明一个对应的备份交换机时， 就是为它创建一个备胎，当交换机接收到一条不可路由消息时，将会把这条消息转发到备份交换机中，由备份交换机来进行转发和处理，通常备份交换机的类型为 Fanout ，这样就能把所有消息都投递到与其绑定的队列中，然后我们在备份交换机下绑定一个队列，这样所有那些原交换机无法被路由的消息，就会都进入这个队列了。当然，我们还可以建立一个报警队列，用独立的消费者来进行监测和报警。
8.3.1 代码架构图
8.3.2 修改配置类
package com.caq.config; import org.springframework.amqp.core.*; import org.springframework.beans.factory.annotation.Qualifier; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class ConfirmConfig { // 交换机 public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange_name"; // 队列 public static final String CONFIRM_QUEUE_NAME = "confirm_queue"; // routingKey public static final String CONFIRM_ROUTING_KEY = "key1"; //备份交换机 public static final String BACKUP_EXCHANGE_NAME = "backup_exchange"; //备份队列 public static final String BACKUP_QUEUE_NAME = "backup_queue"; //报警队列 public static final String WARNING_QUEUE_NAME = "warning_queue"; //声明交换机 //无法投递的消息将发送给备份交换机 @Bean("confirmExchange") public DirectExchange confirmExchange() { return ExchangeBuilder.directExchange(CONFIRM_EXCHANGE_NAME).durable(true) .withArgument("alternate-exchange",BACKUP_EXCHANGE_NAME).build(); } //交换机创建通过new的形式，队列的创建通过对象的方法QueueBuilder.durable //声明队列 @Bean("confirmQueue") public Queue confirmQueue() { return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build(); } //绑定 @Bean public Binding confirmQueueBindingConfirmExchange(@Qualifier("confirmQueue") Queue confirmQueue, @Qualifier("confirmExchange") DirectExchange confirmExchange) { return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY); } //备份交换机 @Bean("backupExchange") public FanoutExchange backupExchange() { return new FanoutExchange(BACKUP_EXCHANGE_NAME); } //声明队列 @Bean("backupQueue") public Queue backupQueue() { return QueueBuilder.durable(BACKUP_QUEUE_NAME).build(); } //报警队列 @Bean("warningQueue") public Queue warningQueue() { return QueueBuilder.durable(WARNING_QUEUE_NAME).build(); } //绑定 @Bean public Binding backupQueueBindingBackupExchange(@Qualifier("backupQueue") Queue backupQueue, @Qualifier("backupExchange") FanoutExchange backupExchange) { return BindingBuilder.bind(backupQueue).to(backupExchange); } @Bean public Binding warningQueueBindingBackupExchange(@Qualifier("warningQueue") Queue warningQueue, @Qualifier("backupExchange") FanoutExchange backupExchange) { return BindingBuilder.bind(warningQueue).to(backupExchange); } }
8.3.3 报警消费者
package com.caq.consumer; import com.caq.config.ConfirmConfig; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.core.Message; import org.springframework.amqp.rabbit.annotation.RabbitListener; import org.springframework.stereotype.Component; @Slf4j @Component public class WarnningConsumer { //接收消息 @RabbitListener(queues = ConfirmConfig.WARNING_QUEUE_NAME) public void receiveWarningMessage(Message message) { String msg = new String(message.getBody()); log.error("报警发现不可路由消息:{}", msg); } }
8.3.4 测试
重新启动项目的时候需要把原来的confirm.exchange 删除因为我们修改了其绑定属性
mandatory 参数与备份交换机可以一起使用的时候，如果两者同时开启，消息究竟何去何从？谁优先级高，经过上面结果显示答案是备份交换机优先级高。
九、RabbitMQ其他知识点
9.1 幂等性
用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常， 此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额发现多扣钱了，流水记录也变成了两条。在以前的单应用系统中，我们只需要把数据操作放入事务中即可，发生错误立即回滚，但是再响应客户端的时候也有可能出现网络中断或者异常等等
订单量大了后采用 RabbitMQ 进行改造和优化,如果发现是大客户的订单给一个相对比较高的优先级， 否则就是默认优先级。
9.1.1 消息重复消费
消费者在消费 MQ 中的消息时，MQ 已把消息发送给消费者，消费者在给MQ 返回 ack 时网络中断， 故 MQ 未收到确认信息，该条消息会重新发给其他的消费者，或者在网络重连后再次发送给该消费者，但实际上该消费者已成功消费了该条消息，造成消费者消费了重复的消息。
9.1.2 解决思路
MQ 消费者的幂等性的解决一般使用全局 ID 或者写个唯一标识比如时间戳 或者 UUID 或者订单消费者消费 MQ 中的消息也可利用 MQ 的该 id 来判断，或者可按自己的规则生成一个全局唯一 id，每次消费消息时用该 id 先判断该消息是否已消费过。
9.1.3 消费端的幂等性保障
在海量订单生成的业务高峰期，生产端有可能就会重复发生了消息，这时候消费端就要实现幂等性， 这就意味着我们的消息永远不会被消费多次，即使我们收到了一样的消息。业界主流的幂等性有两种操作:a. 唯一 ID+指纹码机制,利用数据库主键去重, b.利用 redis 的原子性去实现
9.1.4 唯一ID+指纹码机制
指纹码:我们的一些规则或者时间戳加别的服务给到的唯一信息码,它并不一定是我们系统生成的，基本都是由我们的业务规则拼接而来，但是一定要保证唯一性，然后就利用查询语句进行判断这个 id 是否存在数据库中,优势就是实现简单就一个拼接，然后查询判断是否重复；劣势就是在高并发时，如果是单个数据库就会有写入性能瓶颈当然也可以采用分库分表提升性能，但也不是我们最推荐的方式。
9.1.5 Redis 原子性
利用 redis 执行 setnx 命令，天然具有幂等性。从而实现不重复消费
9.2 优先级队列
订单量大了后采用 RabbitMQ 进行改造和优化,如果发现是大客户的订单给一个相对比较高的优先级， 否则就是默认优先级。
9.2.1 如何添加
a. 控制台页面添加
b. 队列中代码添加优先级
Map<String, Object> arguments = new HashMap<>(); arguments.put("x-max-priority", 10); // 0-255之间 channel.queueDeclare(QUEUE_NAME, true, false, false, arguments);
/
c.消息中代码添加优先级
AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().priority(5).build();
d. 注意事项
要让队列实现优先级需要做的事情有如下事情:队列需要设置为优先级队列，消息需要设置消息的优先级，消费者需要等待消息已经发送到队列中才去消费因为，这样才有机会对消息进行排序
9.2.2 实战
a. 消息生产者
package com.caq.rabbitmq.one; import com.rabbitmq.client.AMQP; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.HashMap; import java.util.Map; import java.util.concurrent.TimeoutException; /** * 生产者：发消息 */ public class Producer { //队列名称 public static final String QUEUE_NAME = "hello"; //发消息 public static void main(String[] args) throws IOException, TimeoutException { // 创建连接工厂 ConnectionFactory factory = new ConnectionFactory(); // 工厂ip，连接rabbitmq的队列 factory.setHost("192.168.10.10"); factory.setUsername("admin"); factory.setPassword("123"); // 创建连接 Connection connection = factory.newConnection(); // 获取信道 Channel channel = connection.createChannel(); Map<String, Object> arguments = new HashMap<>(); arguments.put("x-max-priority", 10); // 0-255之间 channel.queueDeclare(QUEUE_NAME, true, false, false, arguments); //发送消息channel.basicPublish for (int i = 0; i < 11; i++) { String message = "info" + i; if (i==5){ AMQP.BasicProperties properties = new AMQP.BasicProperties().builder().priority(5).build(); channel.basicPublish("",QUEUE_NAME,properties,message.getBytes(StandardCharsets.UTF_8)); }else { channel.basicPublish("",QUEUE_NAME,null,message.getBytes(StandardCharsets.UTF_8)); } } System.out.println("消息发送完毕"); } }
b.消息消费者
package com.caq.rabbitmq.one; import com.rabbitmq.client.*; import java.io.IOException; import java.util.concurrent.TimeoutException; /** * 消费者 接受消息的 */ public class Consumer { // 队列的名称 public static final String QUEUE_NAME = "hello"; //发消息 public static void main(String[] args) throws IOException, TimeoutException { // 创建连接工厂 ConnectionFactory factory = new ConnectionFactory(); // 工厂ip，连接rabbitmq的队列 factory.setHost("192.168.10.10"); factory.setUsername("admin"); factory.setPassword("123"); // 创建连接 Connection connection = factory.newConnection(); // 获取信道 Channel channel = connection.createChannel(); //接受消息 DeliverCallback deliverCallback = (consumerTag, message) -> { System.out.println(new String(message.getBody())); }; //取消消息时的回调 CancelCallback cancelCallback = consumerTag -> { System.out.println("消息消费被中断"); }; /** * 消费者消费消息 * 1.消费那个队列 * 2.消费成功后是否要自动应答 true代表自动应答 false代表手动 * 3.消费者为成功消费的回调 * 4.消费者取消消费的回调 */ channel.basicConsume(QUEUE_NAME,true,deliverCallback,cancelCallback); } }
///
9.3 惰性队列
9.3.1 使用场景
RabbitMQ 从 3.6.0 版本开始引入了惰性队列的概念。惰性队列会尽可能的将消息存入磁盘中，而在消费者消费到相应的消息时才会被加载到内存中，它的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储。当消费者由于各种各样的原因(比如消费者下线、宕机亦或者是由于维护而关闭等)而致使长时间内不能消费消息造成堆积时，惰性队列就很有必要了。
默认情况下，当生产者将消息发送到 RabbitMQ 的时候，队列中的消息会尽可能的存储在内存之中， 这样可以更加快速的将消息发送给消费者。即使是持久化的消息，在被写入磁盘的同时也会在内存中驻留一份备份。当 RabbitMQ 需要释放内存的时候，会将内存中的消息换页至磁盘中，这个操作会耗费较长的时间，也会阻塞队列的操作，进而无法接收新的消息。虽然 RabbitMQ 的开发者们一直在升级相关的算法， 但是效果始终不太理想，尤其是在消息量特别大的时候。
9.3.2 两种模式
队列具备两种模式：default 和 lazy。默认的为 default 模式，在 3.6.0 之前的版本无需做任何变更。lazy 模式即为惰性队列的模式，可以通过调用 channel.queueDeclare 方法的时候在参数中设置，也可以通过Policy 的方式设置，如果一个队列同时使用这两种方式设置的话，那么 Policy 的方式具备更高的优先级。如果要通过声明的方式改变已有队列的模式的话，那么只能先删除队列，然后再重新声明一个新的。
在队列声明的时候可以通过“x-queue-mode”参数来设置队列的模式，取值为“default”和“lazy”。下面示例中演示了一个惰性队列的声明细节：
Map<String, Object> args = new HashMap<String, Object>(); args.put("x-queue-mode", "lazy"); channel.queueDeclare("myqueue", false, false, false, args);
9.3.3 内存开销对比
在发送 1 百万条消息，每条消息大概占 1KB 的情况下，普通队列占用内存是 1.2GB，而惰性队列仅仅占用 1.5MB
十、RabbitMQ集群
10.1 clustering
10.1.1 使用集群的原因
最开始我们介绍了如何安装及运行 RabbitMQ 服务，不过这些是单机版的，无法满足目前真实应用的要求。如果 RabbitMQ 服务器遇到内存崩溃、机器掉电或者主板故障等情况，该怎么办？单台 RabbitMQ 服务器可以满足每秒 1000 条消息的吞吐量，那么如果应用需要 RabbitMQ 服务满足每秒 10 万条消息的吞
吐量呢？购买昂贵的服务器来增强单机 RabbitMQ 务的性能显得捉襟见肘，搭建一个 RabbitMQ 集群才是解决实际问题的关键
10.1.2 搭建步骤
1、修改 3 台机器的主机名称
vim /etc/hostname
配置各个节点的 hosts 文件
2、配置各个节点的 hosts 文件，让各个节点都能互相识别对方
[root@node2 ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.10 node1
192.168.10.20 node2
192.168.10.30 node3
3、以确保各个节点的 cookie 文件使用的是同一个值在 node1 上执行远程操作命令
scp /var/lib/rabbitmq/.erlang.cookie root@node2:/var/lib/rabbitmq/.erlang.cookie scp /var/lib/rabbitmq/.erlang.cookie root@node3:/var/lib/rabbitmq/.erlang.cookie
4、启动 RabbitMQ 服务,顺带启动 Erlang 虚拟机和 RbbitMQ 应用服务(在三台节点上分别执行以下命令)
rabbitmq-server -detached
5、在节点 2 执行
rabbitmqctl stop_app
(rabbitmqctl stop 会将Erlang 虚拟机关闭，rabbitmqctl stop_app 只关闭 RabbitMQ 服务) rabbitmqctl reset
rabbitmqctl join_cluster rabbit@node1 rabbitmqctl start_app(只启动应用服务)
6、在节点 3 执行
rabbitmqctl stop_app rabbitmqctl reset
rabbitmqctl join_cluster rabbit@node2 rabbitmqctl start_app
7、集群状态
rabbitmqctl cluster_status
8、需要重新设置用户创建账号
rabbitmqctl add_user admin 123
9、设置用户角色
rabbitmqctl set_user_tags admin administrator
10、设置用户权限
rabbitmqctl set_permissions -p “/” admin “." ".” “.*”
11、解除集群节点(node2 和 node3 机器分别执行)
rabbitmqctl stop_app
rabbitmqctl reset rabbitmqctl start_app rabbitmqctl cluster_status
rabbitmqctl forget_cluster_node rabbit@node2(node1 机器上执行)
10.2 镜像队列
10.2.1 使用镜像的原因
如果 RabbitMQ 集群中只有一个 Broker 节点，那么该节点的失效将导致整体服务的临时性不可用，并且也可能会导致消息的丢失。可以将所有消息都设置为持久化，并且对应队列的durable 属性也设置为true， 但是这样仍然无法避免由于缓存导致的问题：因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在一个短暂却会产生问题的时间窗。通过 publisherconfirm 机制能够确保客户端知道哪些消息己经存入磁盘， 尽管如此，一般不希望遇到因单点故障导致的服务不可用。
引入镜像队列(Mirror Queue)的机制，可以将队列镜像到集群中的其他 Broker 节点之上，如果集群中的一个节点失效了，队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。
10.2.2 搭建步骤
1、启动三台集群节点
2、随便找一个节点添加 policy
3、在 node1 上创建一个队列发送一条消息，队列存在镜像队列
10.3 Haproxy+Keepalive 实现高可用负载均衡
了解即可~
客户端请求VIP，也就是主服务器的地址。主服务器内部有Haproxy（高可用）代理和keepalive（心跳检测）如果主服务器宕机，经过keepalive的检测vip将会漂移到备服务器上
实现高可用的软件还有LVS等…
优秀文章参考
Linux 黑话解释：什么是上游和下游？-51CTO.COM
回调（callback）_zjpp2580369的博客-CSDN博客_回调
