[@小川游鱼][¥20]MQ有可能发生重复消费,如何避免,如何做到幂等?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

[@小川游鱼][¥20]MQ有可能发生重复消费,如何避免,如何做到幂等?

2018-12-14 22:54:15 2125 2

MQ有可能发生重复消费,如何避免,如何做到幂等?

取消 提交回答
全部回答(2)
  • 白岳
    2019-07-17 23:21:45

    我们探讨过幂等机制的实现方案,今天我们再来探讨下分布式锁是不是控制并发幂等的方式? 可能由于客户端的重复提交产生多份相同的数据,也可能因为服务端的重试机制产生多次提交。此时,单单通过防重机制是不够的,还需要服务端的幂等机制保证唯一性。幂等机制的核心是保证资源唯一性,例如客户端重复提交或服务端的多次重试只会产生一份结果。支付场景、退款场景,涉及金钱的交易不能出现多次扣款等问题。事实上,查询接口用于获取资源,因为它只是查询数据而不会影响到资源的变化,因此不管调用多少次接口,资源都不会改变,所以是它是幂等的。而新增接口是非幂等的,因为调用接口多次,它都将会产生资源的变化。因此,我们需要在出现重复提交时进行幂等处理。

    注意的是,为了避免并发场景,我们可以通过锁机制,例如悲观锁与乐观锁保证数据的唯一性。这里,分布式锁是一种经常使用的方案,它通常情况下是一种悲观锁的实现。但是,很多人经常把悲观锁、乐观锁、分布式锁当作幂等机制的解决方案,这个是不正确的。并发控制只是保证临界区资源的安全,不出现脏数据,如果并发控制,多次提交是合法的,只是业务方面不合法,所以做幂等控制 。(感谢,【零度】诠释)

    因此,通过分布式锁不是控制并发幂等的方式,需要在提交记录的时候通过幂等机制保证数据的唯一性,确保不论如何设置超时时间,都不会出现幂等控制的问题。

    0 0
  • 架构师启明
    2019-07-17 23:21:45

    如何保证MQ的消费是幂等性的,需要结合具体的业务来看 :

      比如你拿个数据要写库,你先根据主键查一下,如果这数据都有了,你就别插入了,update一下好吧;

      比如你是写redis,那没问题了,反正每次都是set,天然幂等性;

      比如你不是上面两个场景,那做的稍微复杂一点,你需要让生产者发送每条数据的时候,里面加一个全局唯一的id,类似订单id之类的东西,然后你这里消费到了之后,先根据这个id去比如redis里查一下,之前消费过吗?如果没有消费过,你就处理,然后这个id写redis。如果消费过了,那你就别处理了,保证别重复处理相同的消息即可;

      还有比如基于数据库的唯一键来保证重复数据不会重复插入多条,拿到数据的时候,每次重启可能会有重复,因为kafka消费者还没来得及提交offset,重复数据拿到了以后我们插入的时候,因为有唯一键约束了,所以重复数据只会插入报错,不会导致数据库中出现脏数据 。

    0 0
添加回答
相关问答

0

回答

请问如果需要动态提交sql作业并控制启停等 该如何实现?

2022-07-12 16:01:59 130浏览量 回答数 0

1

回答

请问Mybatis的Xml映射文件中,不同的Xml映射文件,id是否可以重复?

2021-10-14 18:23:54 241浏览量 回答数 1

1

回答

问各位大神一个问题,在centos7得环境下面,访问ftp的中文图片文件就会反问不到,但是英文的却可以,能提供下解决意见吗?

2019-06-06 14:37:55 2950浏览量 回答数 1

1

回答

CVE-2018-18311 8.1 Perl_my_setenv()函数缓冲区溢出漏洞

2019-02-16 16:27:52 320浏览量 回答数 1

1

回答

[@小川游鱼][¥20]SQL SERVER 如何分库分表?

2018-12-15 14:46:23 1863浏览量 回答数 1

1

回答

[@小川游鱼][¥20]阿里是如何在高并发情况下做到快速响应的?

2018-12-10 19:05:54 2779浏览量 回答数 1

2

回答

[@小川游鱼][¥20]您觉着 dubbo 和 Spring Cloud 各有什么优势,分别适用于哪些业务场景?

2018-12-10 18:37:18 1844浏览量 回答数 2

1

回答

[@小川游鱼][¥20]分布式带来的事物问题,如何高效解决,并且数据一致性有什么高效解决方案?

2018-12-07 14:30:05 1836浏览量 回答数 1

1

回答

请教:增加备案域名是否先要关闭目前所有网站?

2017-10-13 11:27:33 1850浏览量 回答数 1

1

回答

css中某元素的文档流的概念,官方文档没看懂。

2016-06-02 16:18:03 1711浏览量 回答数 1
+关注
月下丶
半生在结冰,半生在融化,一辈子都在学习长大
0
文章
104
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载