Flink CDC表的全量数据分片,第一片和最后一片是没有最小或最大范围的,如果做全量扫描时数据量大

Flink CDC表的全量数据分片,第一片和最后一片是没有最小或最大范围的,如果做全量扫描时数据量大,会导致内存里做数据合并时内存溢出吗?

展开
收起
真的很搞笑 2023-04-26 14:58:36 142 分享 版权
1 条回答
写回答
取消 提交回答
  • https://github.com/ververica/flink-cdc-connectors/issues/1375 有issue 反馈过最后一个分片太大导致oom的问题,这种通常是同步数据的时候业务还在实时写数据,暂时只能加TM的内存来跳过这个问题,后面估计会修复掉,此回答整理自钉群“Flink CDC 社区”

    2023-04-27 15:52:39
    赞同 展开评论

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

还有其他疑问?
咨询AI助理