请问flinkcdc中按日期建维表,分组怎么这么多重复的日期呢?

请问flinkcdc中按日期建维表,分组怎么这么多重复的日期呢?

展开
收起
十一0204 2023-07-19 17:31:03 83 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink CDC 中按日期建立维表时出现重复的日期,可能是由以下原因导致的:
    数据源中存在重复数据
    在 Flink CDC 中,按日期建立维表时,如果数据源中存在重复数据,就会导致建立的维表中出现重复的日期。可以检查数据源中是否存在重复数据,如果存在,可以通过去重或者过滤重复数据的方式解决问题。
    维表构建逻辑有误
    在 Flink CDC 中,按日期建立维表时,如果维表构建逻辑有误,也会导致维表中出现重复的日期。可以检查维表构建逻辑,确保逻辑正确无误。
    时间格式转换错误
    在 Flink CDC 中,按日期建立维表时,如果时间格式转换错误,也会导致维表中出现重复的日期。可以检查时间格式转换函数,确保函数正确无误。
    针对按日期建立维表中出现重复日期的问题,可以尝试以下解决方法:
    检查数据源中是否存在重复数据

    2023-07-29 20:09:20
    赞同 展开评论
  • 意中人就是我呀!

    "每条数据都会刷新你的结果表,你应该在结果表定义下union-key。9d3d6deff745e823e00dcb1d89d28067.png
    这里加个联合主键,但是需要sink端也这样处理下。此回答整理至钉群“Flink CDC 社区”。"

    2023-07-19 18:41:19
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理