在做一个千万级表的快照时，提示这种异常是为啥？
在做一个千万级表的快照时，提示这种异常是为啥，我任务的TM内存都给到10G了呀，io.debezium.DebeziumException: org.apache.kafka.connect.errors.ConnectException: Snapshotting of table icharge.s_ele_bill_fee failed at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.execute(MySqlSnapshotSplitReadTask.java:120) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5b0a5f96b45329:?] at com.ververica.cdc.connectors.mysql.debezium.reader.SnapshotSplitReader.lambda$submitSplit$0(SnapshotSplitReader.java:117) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5b0a5f96b45329:?] at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [?:1.8.0_181] at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_181] at java.lang.Thread.run(Thread.java:748) [?:1.8.0_181] Caused by: org.apache.kafka.connect.errors.ConnectException: Snapshotting of table icharge.s_ele_bill_fee failed at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.createDataEventsForTable(MySqlSnapshotSplitReadTask.java:263) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5
写回答
-
datastrem的多sink直接分流写就行了，table-api的是需要另外写。 此答案整理自钉群“Flink CDC 社区”
2023-03-21 16:52:08赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
