Flink CDC中调大了一样不行，什么原因？
"问题1：Flink CDC中调大了一样不行，什么原因？
600S，10分钟，它7分钟就挂了，ckp失败。
最大的表 30万数据量。
问题2：我把那个数据量大的表去掉，不报错，但是kafka也没有写进去数据。
kafka没有自动创建主题，用的flinkSQL，正常情况下，这个sql语句是有数据产生的。我是mysql同步到doris。我同步都是毫秒级的，还不止是同步 是打宽表都是毫秒 十几毫秒。"
写回答
-
北京阿里云ACE会长如果在调整 Flink CDC 应用程序的资源配置后，应用程序仍然无法正常运行，可能是由于以下原因导致的：
应用程序代码问题：应用程序本身存在问题，例如代码错误、配置错误、依赖库版本不兼容等，导致无法正常运行。
数据源问题：数据源本身存在问题，例如数据格式错误、数据源连接不稳定等，导致无法正常抽取数据。
Flink 集群问题：Flink 集群本身存在问题，例如节点故障、网络问题等，导致无法正常运行应用程序。
针对这个问题，可以尝试以下解决方案：
检查应用程序代码：检查应用程序代码是否存在问题，例如代码错误、配置错误、依赖库版本不兼容等，可以通过日志信息、堆栈跟踪等方式进行排查。
检查数据源：检查数据源本身是否存在问题，例如数据格式错误、数据源连接不稳定等，可以通过查看数据源日志或者使用其他工具2023-07-29 18:41:14赞同 展开评论 打赏 -
意中人就是我呀！"回答1：这么小内存干这么大的事情？tm给8g。你这dag复杂。
回答2：kafka 没有数据写进去是不会自动创建topic 的。你需要调试一下为什么没有数据写到下游，insert into 一个print连接器。盲猜，是你sink到doris可能有限制，如果不确定，直接insert 到一个print连接器去对比时间即可。此回答整理至钉群“Flink CDC 社区”"2023-07-26 12:01:22赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关文章
相关电子书
更多
