开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC 启动后要好久才有数据,而且延迟虽然时间增长越来越大,咋解决 求帮助?

Flink CDC oracle cdc2.3升级到2.4版本,启动后要好久才有数据,而且延迟虽然时间增长越来越大,咋解决 求帮助?

展开
收起
真的很搞笑 2023-10-10 19:24:28 144 0
3 条回答
写回答
取消 提交回答
  • 数据库日志更新速度较慢,导致Flink CDC无法及时获取到最新的数据。
    Flink CDC处理数据的速度较慢,导致数据延迟增加。
    数据库日志的格式或结构发生了变化,导致Flink CDC无法正确解析数据。

    2023-10-12 16:01:25
    赞同 展开评论 打赏
  • 月移花影,暗香浮动

    您好,Flink CDC 2.4 版本兼容了 Flink 1.13 ~ 1.17 五个大版本,极大地降低用户 Connector 的升级和运维成本。OceanBase CDC 连接器支持 JDBC 参数设置,支持指定驱动,完善对 Oracle 数据类型的支持,同时修复了异常重连总是失败等问题 。

    如果您在使用 Flink CDC 2.4 版本时遇到了延迟问题,可以考虑以下两种方案:

    1. 检查您的 Flink CDC 2.4 版本是否与您的 Oracle CDC 2.3 版本兼容。如果不兼容,可以考虑使用旧版本的 Flink CDC(如 Flink CDC 2.3 或更早版本)。
    2. 检查您的 Flink CDC 2.4 版本是否正确配置。可以参考 Flink CDC 官方文档。
    2023-10-11 10:26:06
    赞同 展开评论 打赏
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    Flink CDC 是一个用于捕获和处理关系型数据库变更事件的组件,其主要功能是将数据库的增删改操作转换为流数据并实时处理。在使用 Flink CDC 时,您可能会遇到延迟高、数据丢失等问题。

    可以检查 Flink CDC 的配置项:您需要确保 Flink CDC 的配置项正确设置,并根据实际情况进行优化。例如,您可以调整 binlog.flush.interval.mills 和 binlog.buffer.size 参数来减少延迟和提高性能。

    2023-10-11 07:48:15
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载