开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中oracle 归档日志一直在增加,启动flink以后,什么原因?

Flink CDC中oracle 归档日志一直在增加,启动flink以后,什么原因?
71f376a18ab62317c24e0e1aadff3560.jpg

展开
收起
十一0204 2023-07-19 15:54:06 296 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    使用 Flink CDC 采集 Oracle 数据库的日志,那么可能会出现归档日志一直增加的情况。这通常是由于以下几个原因导致的:

    数据库负载过高:如果您的 Oracle 数据库负载过高,就可能会导致归档日志一直增加。这通常是由于大量的写操作导致的,例如插入、更新、删除等。建议您检查数据库的负载情况,并进行相应的优化,例如增加硬件资源、优化 SQL 语句等。

    日志采集延迟:如果您的 Flink CDC 采集日志的延迟比较大,就可能会导致归档日志一直增加。这通常是由于网络延迟、任务并行度不足等原因导致的。建议您检查 Flink CDC 的配置和运行情况,确保日志采集的延迟尽可能小。

    日志采集策略不当:如果您的 Flink CDC 采集日志的策略不当,就可能会导致归档日志一直增加。例如,如果您使用的是增量日志采集策略,就可能会导致归档日志增加。建议您检查 Flink CDC 的配置和文档,

    2023-07-29 21:10:10
    赞同 展开评论 打赏
  • 意中人就是我呀!

    原因很多,比如配置了cdc配置了很大的游标,导致有较多的数据库事务操作,从而增加归档日志,也可能是你的数据处理逻辑导致了数据库大量大事务的更新和插入操作。1、检查 Flink CDC 应用程序的配置,确保它具有适当的游标大小和其他参数,以避免过多的数据库事务操作。2、检查 Flink CDC 应用程序与数据库的交互方式,确保它没有对数据库进行过多的数据处理或资源消耗。3、检查 Flink CDC 应用程序的数据处理逻辑,确保它能够有效地捕获数据库的变更数据,而不会导致过多的数据库事务操作。此回答整理至钉群“Flink CDC 社区”。

    2023-07-19 17:20:20
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载

    相关镜像