开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中调大了一样不行,什么原因?

"问题1:Flink CDC中调大了一样不行,什么原因?
e2962868227cba624aca118088ddd70f.png
94c34dce7430cbf156ad04fda870b1de.png
600S,10分钟,它7分钟就挂了,ckp失败。
22c3998cb2b5264ab9c1a936ccebba28.png
c1a570864187fa89349ddfac8f1fe637.png
93e97a30b496ef5def5a4e01b83ef036.png
最大的表 30万数据量。
问题2:我把那个数据量大的表去掉,不报错,但是kafka也没有写进去数据。
fe1537201d689ca6c6bad42c4ee5ace5.png
93ecb11a86f67a490d514045be2b2f98.png
kafka没有自动创建主题,用的flinkSQL,正常情况下,这个sql语句是有数据产生的。我是mysql同步到doris。我同步都是毫秒级的,还不止是同步 是打宽表都是毫秒 十几毫秒。"

展开
收起
小易01 2023-07-24 21:46:02 56 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    如果在调整 Flink CDC 应用程序的资源配置后,应用程序仍然无法正常运行,可能是由于以下原因导致的:
    应用程序代码问题:应用程序本身存在问题,例如代码错误、配置错误、依赖库版本不兼容等,导致无法正常运行。
    数据源问题:数据源本身存在问题,例如数据格式错误、数据源连接不稳定等,导致无法正常抽取数据。
    Flink 集群问题:Flink 集群本身存在问题,例如节点故障、网络问题等,导致无法正常运行应用程序。
    针对这个问题,可以尝试以下解决方案:
    检查应用程序代码:检查应用程序代码是否存在问题,例如代码错误、配置错误、依赖库版本不兼容等,可以通过日志信息、堆栈跟踪等方式进行排查。
    检查数据源:检查数据源本身是否存在问题,例如数据格式错误、数据源连接不稳定等,可以通过查看数据源日志或者使用其他工具

    2023-07-29 18:41:14
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "回答1:这么小内存干这么大的事情?tm给8g。你这dag复杂。
    回答2:kafka 没有数据写进去是不会自动创建topic 的。你需要调试一下为什么没有数据写到下游,insert into 一个print连接器。盲猜,是你sink到doris可能有限制,如果不确定,直接insert 到一个print连接器去对比时间即可。此回答整理至钉群“Flink CDC 社区”"

    2023-07-26 12:01:22
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载