在做一个千万级表的快照时,提示这种异常是为啥?

在做一个千万级表的快照时,提示这种异常是为啥,我任务的TM内存都给到10G了呀,io.debezium.DebeziumException: org.apache.kafka.connect.errors.ConnectException: Snapshotting of table icharge.s_ele_bill_fee failed at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.execute(MySqlSnapshotSplitReadTask.java:120) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5b0a5f96b45329:?] at com.ververica.cdc.connectors.mysql.debezium.reader.SnapshotSplitReader.lambda$submitSplit$0(SnapshotSplitReader.java:117) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5b0a5f96b45329:?] at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [?:1.8.0_181] at java.util.concurrent.FutureTask.run(FutureTask.java:266) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_181] at java.lang.Thread.run(Thread.java:748) [?:1.8.0_181] Caused by: org.apache.kafka.connect.errors.ConnectException: Snapshotting of table icharge.s_ele_bill_fee failed at com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask.createDataEventsForTable(MySqlSnapshotSplitReadTask.java:263) ~[blob_p-7e8a6555910bfee5e01b7eee44915f604eb19984-f92ce5e576b0de423e5

展开
收起
滴滴滴~ 2023-03-21 15:04:29 274 分享 版权
1 条回答
写回答
取消 提交回答
  • datastrem的多sink直接分流写就行了,table-api的是需要另外写。 此答案整理自钉群“Flink CDC 社区”

    2023-03-21 16:52:08
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理