开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC提交jar包报错如下,大家有遇到过不。我尝试了下没解决?

Flink CDC提交jar包报错如下,大家有遇到过不。我尝试了下没解决。Caused by: java.io.IOException: Unable to close file because the last block BP-1666927564-172.25.172.119-1695274190077:blk_1073743035_2223 does not have enough number of replicas.
at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:969)
at org.apache.hadoop.hdfs.DFSOutputStream.completeFile(DFSOutputStream.java:909)?

展开
收起
cuicuicuic 2023-11-30 15:36:59 45 0
2 条回答
写回答
取消 提交回答
  • hdfs的datanode节点异常了吧,默认是3副本,此回答整理自钉群“Flink CDC 社区”

    2023-11-30 20:49:45
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据错误信息来看,这个问题似乎是由于 HDFS 存储中最后一个数据块(blk_1073743035_2223)没有足够数量的副本引起的。这可能是因为 HDFS 副本设置不正确或存在故障导致的。

    以下是一些可能的解决方案:

    1. 检查 HDFS 副本配置:确保您的 HDFS 集群的副本配置正确,并且有足够数量的可用副本来满足数据块的要求。您可以检查 dfs.replication 参数的值,该参数指定了每个数据块应具有的副本数。确保副本数足够并且与集群的实际情况相匹配。

    2. 检查 HDFS 状态:确保 HDFS 集群正常运行,并且在提交 Flink CDC 的过程中没有出现任何故障。检查并修复所有可能导致副本无法创建或失效的问题,例如网络通信故障、硬盘故障等。

    3. 重新启动 HDFS 服务:如果上述方法未能解决问题,尝试重新启动 HDFS 服务。这样可以清除可能的临时状态和故障,从而使副本正确创建和分布。

    4. 查看 HDFS 日志:仔细查看 HDFS 的日志文件,特别是包含有关副本异常、丢失和故障的任何信息。这些日志可能会提供更多的上下文信息,以帮助定位问题的根源。

    2023-11-30 16:11:15
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载