环境说明:
flink 1.5
用api写的FINK SQL
检查点是写到HDFS的
这个程序里面有多个SINK输出,我看对应的检查点有多个,
这种情况下如果程序失败了,如何从多个检查点恢复数据?
这是我一个检查点恢复的语句:
bin/flink run-application -t yarn-application -d -Dtaskmanager.memory.process.size=2048M -Dtaskmanager.numberOfTaskSlots=1 -p 3 -c com.dfsk.atp.vat.faultdetection.EolTestReport ./projects/atp-vat-flink-data-1.0-SNAPSHOT.jar --mode dev -s hdfs://nameservice:8020/user/hdfs/flink/eoltestreport_status/f131a1b66de10b5b34680c4b64d37868/chk-11/_metadata
不知道多个检查点的情况下如何恢复,语句怎么写?
你好,在 Flink 中,如果程序失败了,可以使用检查点来恢复数据。在 Flink 1.5 中,可以使用以下命令来恢复多个检查点:
bin/flink run-application -t yarn-application -d -Dtaskmanager.memory.process.size=2048M -Dtaskmanager.numberOfTaskSlots=1 -p 3 -c com.dfsk.atp.vat.faultdetection.EolTestReport ./projects/atp-vat-flink-data-1.0-SNAPSHOT.jar --mode dev -s hdfs://nameservice:8020/user/hdfs/flink/eoltestreport_status/f131a1b66de10b5b34680c4b64d37868/chk-11/_metadata -s hdfs://nameservice:8020/user/hdfs/flink/eoltestreport_status/f131a1b66de10b5b34680c4b64d37868/chk-12/_metadata -s hdfs://nameservice:8020/user/hdfs/flink/eoltestreport_status/f131a1b66de10b5b34680c4b64d37868/chk-13/_metadata
这个命令可以恢复多个检查点,以便在程序失败时恢复数据。在这个命令中,需要指定每个检查点的路径,以便 Flink 能够正确地恢复数据。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。