Flink CDC发现oracle-cdc不会受并行优化,永远并行只能为1,现在只能加tak manger内存提升加载数据性能。operator自动缩放只针对pod,如何缩放单个pod的内存呢?或者有更好的方式实现我这个问题?我想将初始化完成后将pod的内存降下来按说好像不太可能?
对于Flink CDC的并行优化问题,您可以尝试调整Flink CDC的并行度。增加并行度可以提高同步速度,因为并行度决定了同时处理数据的任务数量。此外,Flink CDC支持并行读取数据,如果在读取Oracle数据库时遇到同步速度慢的问题,可以尝试增加fetchTimeout参数来优化读取性能。
对于如何缩放单个pod的内存,Kubernetes提供了两种自动缩放器:Horizontal Pod Autoscaler (HPA)和Vertical Pod Autoscaler (VPA)。HPA可以自动调整运行应用程序的Pod数,而VPA则允许您动态调整单个实例的资源容量,包括CPU和内存资源量。另外,当集群资源不足时,Cluster Autoscaler会自动配置新的计算资源并添加到集群中。因此,您可以根据业务需求和系统性能情况,选择适合的自动缩放策略进行优化。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。