kafka 面试题

18、kafka 如何不消费重复数据？比如扣款，我们不能重复的
扣。
其实还是得结合业务来思考，我这里给几个思路：
比如你拿个数据要写库，你先根据主键查一下，如果这数据都有了，你就别插入
了，update 一下好吧。
比如你是写 Redis，那没问题了，反正每次都是 set，天然幂等性。
比如你不是上面两个场景，那做的稍微复杂一点，你需要让生产者发送每条数据
的时候，里面加一个全局唯一的 id，类似订单 id 之类的东西，然后你这里消费
到了之后，先根据这个 id 去比如 Redis 里查一下，之前消费过吗？如果没有消
费过，你就处理，然后这个 id 写 Redis。如果消费过了，那你就别处理了，保
证别重复处理相同的消息即可。
比如基于数据库的唯一键来保证重复数据不会重复插入多条。因为有唯一键约束
了，重复数据插入只会报错，不会导致数据库中出现脏数据。