checkpoint失败是怎么回事？
最近多个以rocksdb作为状态后端，hdfs作为远程文件系统的任务，频繁报错，这个报错有以下特征 1、报错之前这些任务都平稳运行，突然在某一天报错 2、当发现此类错误的时候，多个任务也会因相同的报错而导致checkpoint失败
报错信息如下 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/stream/flink-checkpoints/19523bf083346eb80b409167e9b91b53/chk-43396/cef72b90-8492-4b09-8d1b-384b0ebe5768 could only be replicated to 0 nodes instead of minReplication (=1). There are 8 datanode(s) running and no node(s) are excluded in this operation. at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1723)
*来自志愿者整理的flink邮件归档
写回答
-
这个错误“could only be replicated to 0 nodes instead of minReplication (=1)”是HDFS不稳定导致的，无法将数据进行duplicate与Flink本身并无关系。
*来自志愿者整理的flink邮件归档
2021-12-06 21:58:41赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
