开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC发现oracle-cdc不会受并行优化,如何缩放单个pod的内存呢?

Flink CDC发现oracle-cdc不会受并行优化,永远并行只能为1,现在只能加tak manger内存提升加载数据性能。operator自动缩放只针对pod,如何缩放单个pod的内存呢?或者有更好的方式实现我这个问题?我想将初始化完成后将pod的内存降下来按说好像不太可能?

展开
收起
真的很搞笑 2023-12-05 20:30:51 41 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    对于Flink CDC的并行优化问题,您可以尝试调整Flink CDC的并行度。增加并行度可以提高同步速度,因为并行度决定了同时处理数据的任务数量。此外,Flink CDC支持并行读取数据,如果在读取Oracle数据库时遇到同步速度慢的问题,可以尝试增加fetchTimeout参数来优化读取性能。

    对于如何缩放单个pod的内存,Kubernetes提供了两种自动缩放器:Horizontal Pod Autoscaler (HPA)和Vertical Pod Autoscaler (VPA)。HPA可以自动调整运行应用程序的Pod数,而VPA则允许您动态调整单个实例的资源容量,包括CPU和内存资源量。另外,当集群资源不足时,Cluster Autoscaler会自动配置新的计算资源并添加到集群中。因此,您可以根据业务需求和系统性能情况,选择适合的自动缩放策略进行优化。

    2023-12-05 22:15:23
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像