flink elasticsearch sink 如何能不丢数据
大家好：
elasticsearch 不支持事务提交，flink elasticsearch sink无法提供 exactly-once语义，我发现flink作业意外重启时，会有数据丢失，请问如何让elasticsearch sink不丢失数据呢？
注：我的数据每次计算都会得到不同的uuId*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
你的图片丢失了。你可以将图片上传到某个图床，然后将图片链接贴在这里。或者直接粘贴代码。
关于你的问题，flink elasticsearch sink 默认是 at-least-once 保证的，所以及时发生
failover，也能保证数据至少写到 es sink一次，所以理论上不会丢失数据。
不过，如果你手动关闭了 flush on checkpoint，e.g. "connector.flush-on-checkpoint" =
"false"， 那么就没有 at-least-once 保证了，数据就可能会丢失。*来自志愿者整理的FLINK邮件归档
2021-12-02 15:45:38赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
