开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC OracleCDC的归档日志增长快,捕捉数据变化延迟较大,这怎么处理,有啥好的?

Flink CDC OracleCDC的归档日志增长快,捕捉数据变化延迟较大,这怎么处理,有啥好的方向吗?

展开
收起
真的很搞笑 2023-08-22 17:03:41 142 0
1 条回答
写回答
取消 提交回答
  • Flink CDC OracleCDC的归档日志增长快,捕捉数据变化延迟较大,可以使用以下方法处理:

    增加归档日志的记录保留时间。默认情况下,Oracle CDC会将归档日志保留1天。如果数据变化频繁,可以将记录保留时间增加到更长。
    使用更高效的归档日志压缩格式。Oracle CDC提供了几种不同的归档日志压缩格式,其中一些压缩格式比其他格式更有效。可以在Flink CDC的配置中选择更高效的归档日志压缩格式。
    使用更高并发度的Oracle CDC。OracleCDC可以并发读取多个归档日志,可以增加Oracle CDC的并发度来提高数据同步的吞吐量。
    使用CDC中间层。CDC中间层是一个独立的服务,可以将Oracle CDC的归档日志转换成Flink常用的事件流格式,从而提高数据同步的吞吐量和延迟。
    在实际使用中,可以根据实际需求来选择合适的方案。

    2023-09-19 10:49:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载