测试环境一个mysql, 用Fink mysql-cdc 将DB数据同步到ES， Flink集群配？
测试环境一个mysql, 用Fink mysql-cdc 将DB数据同步到ES， Flink集群配置了20个solt, 创建10个job任务，每个job任务的mysql-cdc连接不同的表且分配了不同的server-id，每个job任务占用一个solt, 稳定运行
后续新创建的job任务，数据同步报错提示：
Caused by: org.apache.flink.util.FlinkRuntimeException: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-192.168.0.206:3306 - Connection is not available, request timed out
但是关闭掉稳定运行10个job任务中的一个，后续创建的job任务正常数据同步，请问各位大佬，这个是什么原因导致的？所有job任务并行度都是1，每个job任务都是对应一个solt
展开
收起
1
条回答
写回答
写回答
-
你这是资源不够，看看task具体情况。并行度多少？适当调整一下大小 设置作业运行并行度=task slot num*task num，可以看一下 yarn 上你这个队列资源情况。你这样就得起10个task，你看看cpu、内存 的 够吗？，此回答整理自钉群“Flink CDC 社区”
2023-05-14 20:11:12赞同 展开评论 打赏
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
请问Flink 写数据到 ES 有遇到过这个报错的么？
2138
AI生成海报or人工手绘，哪个更戳你？
870
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1705
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
307
在建行，数据通常来源于哪些？
542
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
1834
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2731
DataWorks我该如何访问A项目安装了项目的package资源？
2020
请教一下DataWorks，doris和starRocks 选型，选哪个？
1513
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3619
展开全部
相关文章
相关电子书
更多
