ActiveMQ专题2: 持久化

简介: AMQ的持久化问题前言​ 前面一篇AMQ专题中,我们发现对于Topic这种类型的消息,即使将deliveryMode设置为持久化,只要生产者在消费者之前启动。消息生产者发布的消息还是会丢失。这是符合JMS规范的。

AMQ的持久化问题

前言

​ 前面一篇AMQ专题中,我们发现对于Topic这种类型的消息,即使将deliveryMode设置为持久化,只要生产者在消费者之前启动。消息生产者发布的消息还是会丢失。这是符合JMS规范的。
当然,作为一个如此活跃的开源消息中间件,在实现JMS基本规范之后,必然会通过扩展的方式来实现Topic的持久化订阅。
而所谓的deliveryMode持久化和订阅持久化还是两个不同的概念。本篇博客我们就通过实例来一探究竟。

DeliveryMode持久化

​ 在前面一篇中,我们通过producer.setDeliveryMode(DeliveryMode.PERSISTENT);将消息传递特性置为持久化,但是当消息类型是topic的时候,不管该值设置为啥,只要先启动Producer,那么对于后启动的Consumer都无法获取原来发布的主题。

​ 那么这个DeliveryMode究竟是用来干啥的呢?

  • DeliveryMode中的是否持久化,指的是当重启activeMQ之后,原来队列或者主题中未被消费的消息是否仍然保留

​ 我这里自己通过代码进行了如下测试,测试步骤和结果如下:

  1. 创建producer,并将producer的deliveryMode设置成持久化,运行producer
  2. 在消息被consumer消费之前,重启activeMQ
  3. 运行consumer,发现接收到了activeMQ重启之前Producer发送的消息
  4. 修改producer,将producer的deliveryMode设置成非持久化,运行producer
  5. 在消息被consumer消费之前,重启activeMQ
  6. 运行consumer,没有接收到任何消息,原producer产生的消息丢失

​ 持久化和非持久化最终队列控制台分别如下:

img_27fcaa6d8acf1345129eef75267e7fc0.png

img_03e3cee17575c52e6834a7e8b79ff331.png

     至此,不难发现,deliveryMode的是否持久化是针对activeMQ服务器是否重启而言的。对于不支持持久化的设置,当mq重启之后,没有被消费的消息就会丢失。而支持持久化的设置,只要消息没有被消费,重启mq,仍然能被新加入的consumer消费。

订阅持久化

​ JMS的规范是没有要求实现订阅持久化的。所幸的是activeMQ实现了这个特性。个人认为所谓的订阅持久化相对于消息的持久化,不过是一种伪持久化。先不做太多说明,我们直接看一个示例代码:

生产者

public class SimpleProducer {
    public static void main(String[] args) {
        // STEP1: 得到连接工厂
        ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(ActiveMQConnection.DEFAULT_USER,
                ActiveMQConnection.DEFAULT_PASSWORD, ActiveMQConnection.DEFAULT_BROKER_URL);
        
        Connection connection = null;
        Session session = null;
        MessageProducer topicProducer = null;
        Destination topicDestination = null;
        try {
            // STEP2: 从连接工厂得到连接并且启动连接
            connection = connectionFactory.createConnection();
            connection.start();
            
            // STEP3: 获取会话
            session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
            
            // STEP4: 创建主题 
            topicDestination = session.createTopic("KiDe-topic-Demo");
            
            // STEP5: 创建消息生产者
            topicProducer = session.createProducer(topicDestination);
            topicProducer.setDeliveryMode(DeliveryMode.PERSISTENT);     // 设置为持久化
            
            
            // STEP6: 发送消息
            for (int i=0; i<20; i++) {
                TextMessage message = session.createTextMessage("Producer message:" + i);
                topicProducer.send(message);
            }
            
            // STEP7: 如果开启了事务 ,此时需要调用session提交操作
            // session.commit();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (connection != null) {
                try {
                    connection.close();
                } catch (JMSException e) {
                }
            }
        }
    }
}

消费者

public class SimpleConsumer {
    public static void main(String[] args) {
        // STEP1: 创建连接工厂
        ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(ActiveMQConnection.DEFAULT_USER,
                ActiveMQConnection.DEFAULT_PASSWORD, ActiveMQConnection.DEFAULT_BROKER_URL);

        Connection connection = null;
        Session session = null;
        MessageConsumer topicConsumer = null;
        try {
            // STEP2: 从连接工厂得到连接并且启动连接
            connection = connectionFactory.createConnection();
            connection.setClientID("1");        // 如果要进行持久化订阅,必须对连接设置clientID
            connection.start();

            // STEP3: 获取会话
            session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
            
            // STEP4: 创建持久化订阅者
            TopicSubscriber topicSubscriber = session.createDurableSubscriber(session.createTopic("KiDe-topic-Demo"), "1");
                        
            // STEP5: 设置消息接收监听
            topicSubscriber.setMessageListener(new MessageListener() {
                
                @Override
                public void onMessage(Message paramMessage) {
                    TextMessage message = (TextMessage) paramMessage;
                    try {
                        System.out.println("消费者接收到主题消息:" + message.getText());
                    } catch (JMSException e) {
                        e.printStackTrace();
                    }
                }
            });
            TimeUnit.SECONDS.sleep(200);    // 睡眠200秒,使得客户端可以接收到对应消息
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (connection != null) {
                try {
                    connection.close();
                } catch (JMSException e) {
                }
            }
        }
    }
}

​ 最终我的验证步骤和结果如下:

  1. 运行producer,向activeMQ发送主题消息
  2. 运行consumer,发现未收到任何消息
  3. 运行producer,此时运行中的consumer接收到了topic消息
  4. 停止运行consumer,重新运行producer
  5. 重新运行consumer,此时consumer接收到了刚刚producer产生的消息
  6. 创建consumer的session的时候,同时创建两个同clientId的session时会报同一通道已被占用的错误

​ 分析以上步骤,我最终对这种伪持久化订阅的总结如下:

  • 要实现伪持久化订阅,必须先向activeMQ发布持久化订阅消息,通过clientId来标识不同的订阅渠道。

    如果在发布持久化订阅消息之前producer就向mq发送了topic消息,那么consumer还是没法接收

  • activeMQ确定是否是同一持久化订阅者的依据条件有两个:connection.setClientID("3")中的clientId

    以及session.createDurableSubscriber(session.createTopic("KiDe-topic-Demo"), "12")中的name

总结

  • deliveryMode的持久化和订阅持久化是两个不同的概念,二者互不干扰,组合实现业务需求
  • 需要弄清参数的实际意义第一步自己动手写实例,看运行结果是否与自己预期一致。第二步则是情况允许的时候,多看源码,掌握好的代码和设计
黎明前最黑暗,成功前最绝望!
相关文章
|
6月前
|
消息中间件 存储 算法
深入了解Kafka的数据持久化机制
深入了解Kafka的数据持久化机制
391 0
|
4月前
|
消息中间件 NoSQL Kafka
消息中间件(RocketMQ、RabbitMQ、ActiveMQ、Redis、kafka、ZeroMQ)以及之间的区别
消息中间件(RocketMQ、RabbitMQ、ActiveMQ、Redis、kafka、ZeroMQ)以及之间的区别
|
6月前
|
消息中间件 存储 Java
RabbitMQ中的消息持久化是如何实现的?
RabbitMQ中的消息持久化是如何实现的?
117 0
|
消息中间件 存储 Java
RabbitMQ消息持久化机制
RabbitMQ消息持久化机制
175 0
|
消息中间件 存储 NoSQL
【消息中间件】Redis vs Kafka vs RabbitMQ
【消息中间件】Redis vs Kafka vs RabbitMQ
|
消息中间件 存储 缓存
RabbitMQ学习(五):RabbitMQ持久化
在上一章内容中我们已经看到了如何处理任务不丢失的情况,但是如何保障当 RabbitMQ 服务停掉后消 息生产者发送过来的消息不丢失呢?默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它将忽视队列 和消息,除非告知它不要这样做。 确保消息不会丢失需要做两件事:我们需要将队列和消息都标 记为持久化。
485 0
RabbitMQ学习(五):RabbitMQ持久化
|
存储 消息中间件 缓存
ActiveMQ系列:ActiveMQ的持久化机制
为了避免意外宕机以后丢失信息,需要做到重启后可以恢复消息队列,消息系统一般都会采用持久化机制。ActiveMQ的消息持久化机制有JDBC,AMQ,KahaDB和LevelDB,无论使用哪种持久化方式,消息的存储逻辑都是一致的 就是在发送者将消息发送出去后,消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库等再试图将消息发送给接收者,成功则将消息从存储中删除,失败则继续尝试发送。
275 0
ActiveMQ系列:ActiveMQ的持久化机制
|
消息中间件 存储 缓存
RabbitMQ持久化
我们已经看到了如何处理任务不丢失的情况(手动应答),但是如何保障当RabbitMQ服务停掉以后消息生产者发送过来的消息不丢失。默认情况下RabbitMQ退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事:我们需要将队列和消息都标记为持久化。
RabbitMQ持久化
|
消息中间件 分布式计算 网络协议
MQ的原理以及持久化
MQ的原理以及持久化详解
408 0
MQ的原理以及持久化
|
存储 算法 API
【Zookeeper】源码分析之持久化(一)之FileTxnLog
前一篇已经分析了序列化,这篇接着分析Zookeeper的持久化过程源码,持久化对于数据的存储至关重要,下面进行详细分析。
190 0
【Zookeeper】源码分析之持久化(一)之FileTxnLog