Flink CDC iceberg的时候遇到这样一个问题，大家知道怎么解决吗？
Flink CDC iceberg的时候遇到这样一个问题，大家知道怎么解决吗？
org.apache.iceberg.exceptions.CommitStateUnknownException: Failed to heartbeat for hive lock while committing changes. This can lead to a concurrent commit attempt be able to overwrite this commit. Please check the commit history. If you are running into this issue, try reducing iceberg.hive.lock-heartbeat-interval-ms.
Failed to heartbeat for hive lock. No such lock: lockid:1954501
写回答
-
这个问题是由于在Flink CDC中使用Iceberg时，Hive锁心跳失败导致的。为了解决这个问题，你可以尝试以下方法：
检查你的Flink配置，确保
iceberg.hive.lock-heartbeat-interval-ms的值设置得足够大，以便在心跳过程中有足够的时间来处理并发提交。如果需要，可以将其设置为一个更大的值，例如30000（毫秒）。确保你的Flink和Hive版本兼容。你可以查阅官方文档了解支持的版本信息。
如果问题仍然存在，可以尝试减少
iceberg.hive.lock-heartbeat-interval-ms的值，以减少心跳间隔。但请注意，这可能会导致在高并发情况下出现更多的错误。检查你的Flink作业日志，查找更多关于此问题的详细信息。这可能会帮助你找到问题的根源。
2023-10-23 15:48:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
