开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

cdc oracle ,两个库之间同步数据, 脚本出现异常,重启了几次,导致目标数据库TCP增加,内

cdc oracle ,两个库之间同步数据, 脚本出现异常,重启了几次,导致目标数据库TCP增加,内存使用率100%,cpu达到80%。这个改怎么控制? 3368e6127611046d2ff0f2f5e3642589.png

展开
收起
十一0204 2023-04-10 21:05:56 212 0
1 条回答
写回答
取消 提交回答
  • 坚持这件事孤独又漫长。

    出现该问题通常是因为同步过程中,数据量过大,导致系统资源消耗过多,内存和CPU被大量占用。可以参考以下几点进行优化:

    • 使用网络传输压缩功能

      可以在配置同步脚本的时候添加网络传输压缩功能,以减少使用TCP的总量,同时提高同步效率。一般在同步大型数据时,采用压缩传输可以有效降低网络带宽消耗。

    • 尝试更新内核参数

      如果资源耗用过多的原因是调用TCP缓存的方式有问题,需要更新内核参数,提高系统中tcp缓存值的大小,以减少内存消耗。例如,增加读取和写入缓存区的大小,提升系统的TCP相关性能。

    • 减少同步频率

      如果同步频率过高,可以通过设置合理的同步时间来优化。可以将同步频率降低,减少数据同步的频率,降低对系统资源的占用。

    2023-04-11 08:51:28
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
云时代的数据库技术趋势 立即下载
超大型金融机构国产数据库全面迁移成功实践 立即下载

相关镜像