开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个参数不开启会影响oracle的日志,flinkcdc不是只读日志里面数据吗?

Flink CDC这个参数不开启会影响oracle的日志,flinkcdc不是只读日志里面数据吗,读的时候也会写入oracle的日志吗,导致oracle日志增长很快?

展开
收起
cuicuicuic 2023-11-15 08:59:05 65 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一个开源项目,它可以从各种关系型数据库读取增量更改并将其流式传输到Apache Flink。当使用Flink CDC从Oracle数据库读取数据时,它实际上是在读取Oracle的重做日志或二进制日志。
    如果不启用特定参数,则可能会影响Oracle的日志。但是,Flink CDC本身并不会向Oracle日志写入任何内容,因为它只是读取已存在的日志信息。因此,如果在使用Flink CDC期间发现Oracle日志的增长速度加快,那么可能是由于其他原因造成的,例如应用程序或其他进程正在频繁地修改数据或者日志配置不当等。
    要解决这个问题,可以通过优化应用程序逻辑、调整日志配置等方式减少不必要的数据变更,从而降低Oracle日志的增长速度。此外,还可以考虑定期归档和清理过期的日志文件以释放存储空间。

    2023-11-15 14:29:18
    赞同 展开评论 打赏
  • Flink CDC的工作原理是通过读取源数据库的日志或特定表的变化数据,然后将这些变化数据应用到目标系统中。在这个过程中,Flink CDC本身并不会对源数据库产生任何影响,也不会改变源数据库的日志。

    如果你的Oracle日志增长很快,可能是由于其他原因,比如大量的DML操作、归档日志的切换等。这些问题需要通过优化Oracle的配置和查询性能来解决,而不是通过调整Flink CDC的参数。

    如果你担心Flink CDC的读取操作会影响Oracle的性能,那么你可以考虑增加Flink的任务并行度,以减少单个任务的读取压力。同时,你也可以考虑使用Flink的批处理模式,而不是实时模式,因为批处理模式的读取操作对源数据库的影响更小。

    2023-11-15 09:17:09
    赞同 展开评论 打赏
  • Flink CDC用于从Oracle等数据库中读取变更日志,并将其转换为流数据,以便进行实时分析或实时数据同步等任务。它确实是一种只读的方式,也就是说它并不会直接修改源数据库中的任何数据。
    然而,即使在只读模式下,访问数据库也可能会对数据库产生一些影响,包括增加磁盘I/O和网络流量、占用更多的CPU资源等。对于日志而言,由于CDC是通过读取归档日志来跟踪数据库更改的,因此它可能会增加归档日志的读取次数,从而可能导致归档日志的增长速度加快。
    因此,为了避免这种情况的发生,建议你确保你的数据库环境具有足够的硬件资源,例如足够的内存、磁盘空间和网络带宽。同时,也可以考虑调整Flink CDC的参数,例如降低其读取速度或者增加其并发度,以减少对数据库的影响。此外,在使用Flink CDC时,也需要定期监控和维护数据库,以确保其性能和稳定性。

    2023-11-15 09:15:41
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载