开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC现在问题是感觉日志产生太快了,scn号的范围没覆盖?

Flink CDC现在问题是感觉日志产生太快了,scn号的范围没覆盖?日志产生太快了scn号变化太快,有没有大佬了解怎么配置?image.png
image.png
image.png

展开
收起
真的很搞笑 2023-12-05 20:52:59 62 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC的日志增长过快可能源于任务运行时和Checkpoint的日志产生。任务运行时的日志包括任务的启动、停止、失败等信息,而Checkpoint的日志则包括Checkpoint的开始、结束、成功或失败等信息。这些日志对于理解任务运行状态和性能以及Checkpoint执行情况至关重要。

    如果你发现scn号变化太快,可能是由于Flink CDC实时监听Oracle归档日志,导致日志产生速度加快。你可以尝试以下方法来缓解这个问题:

    1. 调整任务并行度:通过增加或减少并行度,可以有效控制任务的资源使用情况,从而影响日志的产生速度。
    2. 优化数据读取和写入速度:这可以通过改进数据的处理逻辑或者调整数据处理的并发数来实现。
    3. 调整Checkpoint的频率和大小:根据实际情况,合理设置Checkpoint的频率和大小,可以避免因频繁触发Checkpoint而导致的日志快速增长。
    2023-12-06 14:17:30
    赞同 展开评论 打赏
  • 从备库读是不能用online的 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-06 13:32:56
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载