spark streaming和kafka集成的时候，auto commit offset设置位false，存储这个offset，大家是怎么做的啊？
1、一个rdd处理完去更新一下吗？还是rdd里的一个msg处理完就更新？
那会不会有问题啊？比如rdd拿了n个msg，处理到m（n2、拿出来处理了，然后插到mysql里，失败了，你让我把rdd中前面的m-1个都从mysql里删除掉？
你失败了那不就是offset没存到mysql中去么，下次还是从原先的offset读取吧
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
