问题1:请问生产环境 flink checkpoint 设置的间隔是多少?有什么建议吗?
问题2:秒级的实时同步,时不时用这个不太合适呢?
在生产环境中,Flink Checkpoint 的设置间隔需要根据具体情况进行调整。通常来说,Checkpoint 的设置间隔需要根据以下因素进行考虑:
任务执行时间
Checkpoint 的设置间隔需要考虑任务执行时间的长短。如果任务执行时间较长,Checkpoint 的间隔应该设置得比较短,以便更快地进行容错。如果任务执行时间较短,Checkpoint 的间隔可以设置得比较长。
状态数据大小
Checkpoint 的设置间隔需要考虑状态数据的大小。如果状态数据较大,Checkpoint 的间隔应该设置得比较短,以便更快地进行容错。如果状态数据较小,Checkpoint 的间隔可以设置得比较长。
外部化存储
如果启用了外部化存储,Checkpoint 的设置间隔可以设置得比较长,因为状态数据可以保存在外部存储中,即使 Flink 任务中途死了,Checkpoint 中保存的状态数据仍然存在,可以用于后续的任务恢复。不过,建议还是将 Checkpoint 的间隔设置得足够短,以便更快地
"回答1:看业务场景和数据处理逻辑复杂度情况 一般min级别即可,3-10分钟都可,要求要点就时间短点,要求没那么高就时间高点。
回答2:不影响 也不能太频繁。这个是检查点,不是数据同步,两者不影响,你设置3分钟,还是走的秒同步数据。此回答整理至钉群“Flink CDC 社区”。"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。