如何解决消息队列的延时以及过期失效问题?消息队列满了以后,该如何处理,有几百万消息持续积压几小时,如何解决
第一个坑(Kafka)
一般这个时候只能操作临时紧急扩容了,具体操作步骤和思路如下
- 先修复consumer的问题,确保其恢复消费速度,然后将现有的consumer都停掉
- 新建一个topic,设定partition是原来的10倍,临时建立好原先10倍或者20倍的queue数量
- 然后写一个临时的分发数据的consumer程序,这个程序部署上去消费积压的数据,消费之后不做耗时的处理,直接均匀轮询写入临时创建好的10倍的数量的queue的数据
- 这种做法相当于临时将queue资源和consumer资源扩大10倍,以正常的10倍速度来消费数据
- 等快速消费完积压数据之后,得恢复原先部署架构,重新用原先的consumer机器来消费消息
第二个坑
使用的rabbitMQ,并且RabbitMQ是可以设置过期时间,就是TTL,如果消息再queue中积压超过一定的时间就会被rabbitMQ给清理掉,这个数据就没了,这就是麻了,
这个情况下不要增加consumer消费积压的消息,因为实际上并不是消息积压,而是丢了大量的消息,我们可以采取第一个方案,就是批量重导,就是当高峰期的时候,直接将数据丢弃,等高峰期过了以后,开始做处理,将丢失的那批数据,写一个临时程序,一点一点查出来,然后重新将消息灌入到mq里面中,将白天丢失的数据补回来
第三个坑
如果走的方式是消息积压在mq里面,那么长时间都没处理掉,导致mq都快写满了,这个情况下如何解决,先执行第一个方案,写一个临时程序,将所有的消息消费一个丢弃一个,先快速将所有的消息处理掉,然后晚上一点一点补吧