flink cdc 多表join的时候爆出这个错误，什么原因？
Exceeded checkpoint tolerable failure threshold.
flink cdc 多表join的时候爆出这个错误，什么原因？
entity too large
猜测是状态太大了，毕竟state太大，ttl太长，但是业务必须ttl长一点，所以状态太大目前两个思路，一个是压缩compression，但是不清楚在哪里配置？
写回答
-
北京阿里云ACE会长当在 Flink CDC 中进行多表 join 操作时，出现 "Exceeded checkpoint tolerable failure threshold" 错误通常是由于状态大小超出了 Flink 的容忍阈值，从而导致检查点失败。
这种情况下，"entity too large" 错误提示表明状态保存的数据量过大，超出了 Flink 的内部限制。这可能是由于状态中包含了大量的数据或者数据结构复杂，导致状态大小增长过快。
2023-08-11 21:17:26赞同 展开评论 打赏 -
意中人就是我呀！"多流join，状态越来越大，做ck失败，考虑ttl时间，使用Unaligned Checkpoint
看看Unaligned Checkpoint，或者不要多流join或者把多流join改成look up join，加flink机器内存和配置。此回答整理至钉群“Flink CDC 社区”。"2023-08-09 12:06:33赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关课程
更多
相关文章
相关电子书
更多
