使用消息队列的方式从一个数据平台获取数据

使用消息队列的方式从一个数据平台获取数据是如何保证数据的不重复?也就是说每次取数据都要按照时间字段做限制?还是说不需要关心这个,他给什么就收什么?是多线程的吗,实时保持通信?

展开
收起
蛮大人123 2016-05-30 16:22:06 4558 分享 版权
2 条回答
写回答
取消 提交回答
  • 大部分消息队列都是无法保证不重复的,建议通过业务的主键做去重

    2019-07-17 19:20:43
    赞同 展开评论
  • 我说我不帅他们就打我,还说我虚伪

    看什么数据来源,它本身是否支持对消息的唯一编码。如果没有唯一的编码,那么只能以时间戳来作为唯一的依据。消息队列一般都是支持多线程并发的,但是你的程序仍然需要做相应的处理。虽然你没有提供多少细节,但是一些常识性的东西可以回答你,根据著名的cap原则,在分布式系统上,着高可用 、容错、一致性这三者不能兼得。

    2019-07-17 19:20:43
    赞同 展开评论

涵盖 RocketMQ、Kafka、RabbitMQ、MQTT、轻量消息队列(原MNS) 的消息队列产品体系,全系列产品 Serverless 化。RocketMQ 中文社区:https://rocketmq-learning.com/

还有其他疑问?
咨询AI助理