Flink CDC我在配置文件分配了三个G 没提交任务是只占用了100m 全量阶段跑完后占用1.6G 然后就一直不动了。现在已经增长到1.7G?
这可能是因为Flink CDC的内存使用不仅仅是取决于你配置的内存大小,还与你的数据量和复杂性有关。
一般来说,全量阶段会消耗较多的内存,因为它需要处理所有的数据。而在增量阶段,内存使用通常会比较稳定,因为只需要处理新的或者更改过的数据。
如果你发现内存使用一直在增加,那么可能是由于以下原因:
你的问题可能是由于Flink CDC在全量阶段结束后,未能成功地进行增量阶段,导致内存持续增长。这可能是由于一些原因,例如:
为了更好地解决你的问题,我建议你查看Flink的日志以获取更多信息。你可以查看日志中是否有任何错误或异常,或者查看是否有任何与内存使用相关的警告。此外,你也可以尝试使用一些工具来监控你的Flink任务和系统资源的使用情况,以帮助你找到问题所在。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。