开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

用flinkcdc2.2.1造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?

用flinkcdc2.2.1同步oracle数据库 造成数据库归档日志暴涨一个小时几百个G 请问怎么处理啊?如果删除日志的话 又会报scn找不到的错误 造成任务失败 必须得重启

展开
收起
真的很搞笑 2023-11-07 19:47:19 126 0
1 条回答
写回答
取消 提交回答
  • 如果你使用的是 Flink CDC v2.2.1,那么有可能是因为 Flink CDC 在处理大量数据时产生大量归档日志而导致归档日志爆炸式增长。以下是几个可能的解决方法:

    1. 减少 Flink CDC 采样频率:降低 Flink CDC 采样频率可以让 Flink CDC 更少地生成归档日志,减小归档日志的增长速度。
    2. 调整归档日志策略:你可以调整 Oracle 数据库的归档日志策略,使其周期性地删除旧的日志。例如,可以设置 ARCHIVELOGFILECOUNT 和 ARCHIVELOGDEST 参数,限制归档日志的数量和大小。
    3. 调整连接池大小:Flink CDC 使用连接池处理连接请求,增加连接池大小可能会有助于减轻归档日志的增长速度。
    4. 使用效率更高的数据库表结构:检查你的表结构和索引设置是否合理,并尝试优化数据库表结构以提高效率。
    5. 关闭归档日志:禁用归档日志将彻底解决问题,但会导致 Flink CDC 无法捕获全部更改,影响数据一致性。

    如果你不想删除归档日志,并且希望能够从归档日志中恢复数据,可以尝试使用 RMAN 工具来备份和恢复归档日志,并尝试修复归档日志的 SCN 错误。

    2023-11-09 15:46:58
    赞同 2 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
DTCC 2022大会集锦《云原生一站式数据库技术与实践》 立即下载
阿里云瑶池数据库精要2022版 立即下载
2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载