开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

这种情况有什么好的解决办法吗?

我这边job manager的日志打印到了最后一个库表,但是task同步数据在第五个库时就已经停止了,在同步第五个库时job manager的垃圾回收特别频繁。第五个库就是大宽表

这种情况有什么好的解决办法吗? 我这里checkpoint 大小每次要达到1gb 就会报错 java.util.concurrent.CancellationException: null at java.util.concurrent.FutureTask.report(FutureTask.java:121) ~[?:1.8.0_181] at java.util.concurrent.FutureTask.get(FutureTask.java:192) ~[?:1.8.0_181] at org.apache.flink.runtime.concurrent.FutureUtils.runIfNotDoneAndGet(FutureUtils.java:636) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.flink.streaming.api.operators.OperatorSnapshotFinalizer.(OperatorSnapshotFinalizer.java:54) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.flink.streaming.runtime.tasks.AsyncCheckpointRunnable.run(AsyncCheckpointRunnable.java:128) [flink-dist_2.11-1.13.2.jar:1.13.2] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) [?:1.8.0_181] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) [?:1.8.0_181] at java.lang.Thread.run(Thread.java:748) [?:1.8.0_181]

展开
收起
游客6vdkhpqtie2h2 2022-09-22 10:32:53 212 0
1 条回答
写回答
取消 提交回答
  • 引入一个jar,代码配置一下就可以了(此答案整理自Flink CDC 社区)

    2022-09-22 11:11:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载