这种情况有什么好的解决办法吗?

我这边job manager的日志打印到了最后一个库表,但是task同步数据在第五个库时就已经停止了,在同步第五个库时job manager的垃圾回收特别频繁。第五个库就是大宽表

这种情况有什么好的解决办法吗? 我这里checkpoint 大小每次要达到1gb 就会报错 java.util.concurrent.CancellationException: null at java.util.concurrent.FutureTask.report(FutureTask.java:121) ~[?:1.8.0_181] at java.util.concurrent.FutureTask.get(FutureTask.java:192) ~[?:1.8.0_181] at org.apache.flink.runtime.concurrent.FutureUtils.runIfNotDoneAndGet(FutureUtils.java:636) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.flink.streaming.api.operators.OperatorSnapshotFinalizer.(OperatorSnapshotFinalizer.java:54) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.flink.streaming.runtime.tasks.AsyncCheckpointRunnable.run(AsyncCheckpointRunnable.java:128) [flink-dist_2.11-1.13.2.jar:1.13.2] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_181] at java.lang.Thread.run(Thread.java:748) [?:1.8.0_181]

展开
收起
游客6vdkhpqtie2h2 2022-09-22 10:32:53 256 分享 版权
1 条回答
写回答
取消 提交回答
  • 引入一个jar,代码配置一下就可以了(此答案整理自Flink CDC 社区)

    2022-09-22 11:11:54
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理