使用BroadcastStream后checkpoint失效
问题：job在接入广播流后，checkpint失效。
描述：广播流的数据来源两个地方，一个是从mongo,一个是从kafka，数据进行union，同时指定Watermark，返回Watermark.MAX_WATERMARK（用于与主数据源connect后，窗口聚合水印更新），job部署后，来源mongo的数据源状态会变为FINISHED。网上有查过，说subtask 状态finished会导致checkpoint不触发，那如何既能满足数据源自定义(更像是DataSet)，同时保证checkpoint正常触发呢*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
我理解你的 BroadcastStream 也会定期的再次读取，然后更新对应的状态，这样的话，你的 source 可以一直在读取数据（run函数），不退出即可。如果只希望读取一次话，是不是维表也可以满足你的需求呢？
*来自志愿者整理的flink邮件归档
2021-12-07 11:25:26赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
