开发者社区> 问答> 正文

请问大佬们提交flink任务到yarn运行报这个错是什么原因导致的?

请问大佬们提交flink任务到yarn运行报这个错是什么原因导致的?image.png

展开
收起
真的很搞笑 2023-04-19 22:07:19 212 0
1 条回答
写回答
取消 提交回答
  • 存在即是合理

    这个错误通常是由于在提交 Flink 任务到 YARN 时,未正确关闭文件导致的。在提交任务时,Flink 会将其输出文件保存到 YARN 上的 // 目录中。如果在关闭文件时出现问题,Flink 可能会尝试写入未关闭的文件块,这可能会导致上述错误。

    为了解决这个问题,可以尝试以下步骤:

    1、确保在提交 Flink 任务时,正确指定了输出文件的路径和名称。

    2、在提交任务之前,使用 Flink 的 cancelJob() 方法取消任务。这将确保在关闭文件之前,Flink 不会尝试写入未关闭的文件块。

    3、在关闭文件时,使用 Flink 的 closeFile() 方法关闭文件。这将确保在关闭文件之前,Flink 不会尝试写入未关闭的文件块。

    如果以上步骤仍然无法解决问题,请尝试联系 Flink 的技术支持团队以获取更多帮助。

    2023-04-20 20:05:33
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
相关文档: 实时计算 Flink版
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载