开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

hudi出错了,修复之后(重新编译了hudi源码),重启spark就遇到了这个问题。。。有人知道怎么

hudi出错了,修复之后(重新编译了hudi源码),重启spark就遇到了这个问题。。。有人知道怎么解决吗?Caused by: java.lang.IllegalArgumentException: Cannot use marker based rollback strategy on completed instant:[20220725194000553__commit__COMPLETED]

展开
收起
游客3oewgrzrf6o5c 2022-07-26 11:02:54 466 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    你在使用Hudi时遇到了一个异常,其中的错误信息提示不能在已完成的实例上使用基于标记的回滚策略。这可能是由于你在修改Hudi源码后重新构建并重启Spark时,之前已经提交的Hudi实例被视为已完成,而你的更改与之不兼容,导致出现了该异常。

    要解决这个问题,你可以尝试以下几种方法:

    清除已完成的Hudi实例:在Hudi控制台中,你可以手动清除已完成的实例,并重新运行你的任务。这样可以避免你的更改与之前已完成的实例发生冲突。

    重新构建和部署:你可以重新构建和部署你的Hudi应用程序,以确保你的更改与之前的实例兼容。在重新部署之前,你需要清除之前版本的应用程序和实例。

    检查更改的兼容性:在修改Hudi源码后,你需要确保你的更改与之前的实例兼容。可以尝试使用Hudi提供的单元测试和集成测试,以确保你的更改不会导致异常或错误。

    联系Hudi社区:如果以上方法都无法解决问题,你可以联系Hudi社区,寻求帮助和建议。Hudi社区可以提供更详细的调试信息和技术支持,帮助你解决问题。

    2023-07-19 15:50:15
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载