开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDCexactly_once数据总数没有问题,有少量值对不上。不知道有没有人遇到?

Flink CDCexactly_once数据总数没有问题,有少量值对不上。不知道有没有人遇到?

展开
收起
真的很搞笑 2023-11-22 08:14:57 66 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,有些人可能会遇到这种情况。根据我们的知识库,“FlinkCDC在exactly-once模式下,数据总数没有问题,但是有少量值对不上的情况可能是由于以下原因导致的:源数据库中的数据发生了变化”。
    当源数据库中的数据发生变化时,Flink CDC 可能会在同一事件中捕获两次相同的数据更改。这可能导致最终结果中有重复的记录或缺少一些记录。为了防止这种现象的发生,可以考虑在 Flink CDC 的源端设置合理的超时时间,以确保在源数据发生变化之前已经将所有相关的更改完全捕获到。同时,也可以在目标端设置合适的冲突解决策略,以处理可能出现的重复记录或缺失记录。

    2023-11-29 14:28:46
    赞同 1 展开评论 打赏
  • Flink CDC 在 exactly-once 模式下,数据总数没有问题,但是有少量值对不上的情况可能是由于以下原因导致的:

    1. 源数据库中的数据发生了变化,导致 Flink CDC 读取到的数据与源数据库中的数据不一致。
    2. Flink CDC 在处理数据时出现了异常,导致部分数据没有正确处理。
    3. Flink CDC 的 exactly-once 模式可能存在一些限制和假设,例如它假设所有写入 Kafka 的消息都会被成功消费,但实际上可能存在消息丢失或重复消费的情况。

    针对这种情况,可以尝试以下解决方法:

    1. 检查源数据库中的数据是否发生了变化,如果发生了变化,需要重新同步数据。
    2. 检查 Flink CDC 的处理逻辑是否正确,是否存在异常情况。
    3. 如果以上方法都无法解决问题,可以考虑使用其他保证 exactly-once 的方式,例如使用事务或者幂等性操作来确保数据的一致性。
    2023-11-22 09:11:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载