开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC运行后观察logminer运行发现,alert日志急剧飙升,有遇到过的没 怎么解?

Flink CDC运行后观察logminer运行发现,alert日志急剧飙升,有遇到过的没 怎么解决的?

展开
收起
cuicuicuic 2023-07-13 15:18:46 198 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    Flink CDC 是基于 Oracle LogMiner 技术实现的,它通过解析 Oracle 数据库的 redo log,来实现实时抽取和同步数据库的变更数据。在 Flink CDC 运行过程中,如果 Alert 日志急剧飙升,可能是由于以下原因之一:

    日志记录级别设置过高:Flink CDC 的日志记录级别默认为 INFO,如果将其设置为 DEBUG 或 TRACE 等级别,会导致大量的调试信息被记录到 Alert 日志中,从而导致 Alert 日志急剧飙升。你可以通过调整日志记录级别,来降低 Alert 日志的记录量。

    数据库负载过高:Flink CDC 抽取和同步数据的过程中,会对 Oracle 数据库的 redo log 进行解析和查询,这可能会对数据库产生一定的负载。如果数据库负载过高,可能会导致 Alert 日志急剧飙升。你可以通过减轻数据库负载的方式,来降低 Alert 日志的记录量。

    网络延迟或者不稳定:Flink CDC 实时抽取和同步数据库的变更数据,需要通过网络传输数据。如果网络延迟或者不稳定,可能会导致 Flink CDC 无法及时获取和处理数据,从而产生一些错误和异常,这可能会导致 Alert 日志急剧飙升。你可以通过优化网络设置和调整 Flink CDC 的配置,来改善网络延迟和稳定性。

    2023-07-29 21:42:28
    赞同 展开评论 打赏
  • 如果在运行 Flink CDC 后观察到 Oracle 数据库的 Alert 日志急剧飙升,可能是由于以下一些原因导致的:

    1. CDC 操作引起的日志增加:
      Flink CDC 通过监控数据库的事务日志来捕获变更数据。这可能会引起日志量的增加,特别是在有大量变更操作时。您可以通过调整 Flink CDC 的配置参数来减少日志增长速度,例如减少批处理大小或调整日志刷新频率。

    2. DDL 操作引起的日志增加:
      如果在使用 Flink CDC 过程中频繁进行 DDL(数据定义语言)操作,例如创建、修改表结构等,这也可能导致日志量的增加。建议尽量避免频繁的结构变更,或者将变更集中到较少的时间段内执行。

    3. Oracle 数据库参数设置:
      您可以检查和调整 Oracle 数据库的相关参数设置,如 log_bufferlog_checkpoint_interval 等。适当地调整这些参数可能会对减少日志量有所帮助。

    4. 其他业务操作引起的日志增加:
      需要注意的是,Flink CDC 只负责监听和抓取事务日志,并不直接操作数据库。因此,如果在运行 Flink CDC 期间发生了其他大量的数据库操作,这也可能导致日志增加。在评估问题时,应该考虑其他业务活动对日志的影响。

    为了解决和优化日志增长问题,建议您执行以下操作:

    • 仔细分析和监控数据库的 Alert 日志,确定具体的原因和关键指标。
    • 调整 Flink CDC 的配置参数,如批处理大小、日志刷新频率等,以减少日志增长速度。
    • 检查并调整 Oracle 数据库的相关参数设置,以适应特定的工作负载需求。
    • 尽量避免频繁的结构变更操作,并将其集中到较少的时间段内执行。
    2023-07-15 09:17:55
    赞同 展开评论 打赏
  • 存在即是合理

    日志急剧飙升可能原因:

    1. 数据量过大:如果数据量过大,那么日志就会变得非常多,从而导致日志急剧飙升。可以尝试优化 Flink CDC 的配置,例如增加 TaskManager 的数量、调整 TaskManager 的内存和 CPU 等参数。

    2. 数据源问题:如果数据源存在问题,例如数据源不稳定、数据源连接超时等,那么也会导致日志急剧飙升。

    3. 程序逻辑问题:如果程序逻辑存在问题,例如程序在处理数据时出现了死循环或者死锁等问题,那么也会导致日志急剧飙升。

    2023-07-14 09:49:07
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载