开发者社区> 问答> 正文

如何处理底端上送的重复数据呢?

底端会不断上送数据(有时上送重复数据),现需实现清除重复数据并记录日志功能,最先想到的方法是:不对上送数据作出判断,直接向数据库中insert,若出现Duplicate Key Violation表明数据重复会抛出异常,然后在catch中通过e.getStackTrace()判断该异常是否由主键重复引起,然后写日志。
但总觉得这种方式不太对劲,毕竟程序已经抛出异常了.如何解决类似问题的呢?

展开
收起
蛮大人123 2016-03-05 17:13:33 2011 0
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    上送重复数据是在一段时间内发生的话,比如一个小时以内,两个小时以内,我一般会用 redis 来配合处理,将当期的数据 md5 一次,存入 redis 同时设置失效时间,后面上来的数据都md5一下,去 redis 里面查询,用这种方式来去重

    2019-07-17 18:53:50
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载