开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这种在dws层sum(a)聚合,这种在dws聚合的时候怎样处理呢?

Flink CDC这种在dws层sum(a)聚合,通过流读('read.streaming.enabled' = 'true')的方式,算的结果不对吧?+I -U +U 那么对于一个记录,修改后a的值三条,这种在dws聚合的时候怎样处理呢?

展开
收起
真的很搞笑 2024-03-06 08:57:24 69 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC这种在dws层sum(a)聚合,通过流读('read.streaming.enabled' = 'true')的方式,算的结果不对吧?+I -U +U 那么对于一个记录,修改后a的值三条,这种在dws聚合的时候怎样处理呢?

    2024-03-08 21:38:22
    赞同 1 展开评论 打赏
  • 使用Flink CDC进行DWS层的实时聚合计算时,如果遇到多次更新同一个字段的情况,确实可能导致聚合结果不准确。为了解决这个问题,您可以采用累积量模式(如累计求和),或者设计合适的状态保留和清除策略来处理重复更新记录的影响。

    2024-03-06 10:43:34
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载