开发者社区> 问答> 正文

Flink使用topN去重后写入ODPS为什么还会重复

已解决

Flink使用topN去重后写入ODPS为什么还会重复

展开
收起
提个问题 2024-06-09 15:12:15 12 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    因为topn是上游来一条数据触发一次计算就下发一条数据,所以如果是多条数据 实际上topn也会下发多条数据,但是为了保证最终的结果正确,topn会撤回掉之前已经下发数据,只留最后一条数据。
    但是因为odps不是关系型存储,不能设置主键所以不会触发撤回,还是存在多条相同的数据。
    2024-06-09 15:12:16
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载