AI 助理
备案控制台
开发者社区 问答 正文

Flink使用topN去重后写入ODPS为什么还会重复

已解决

Flink使用topN去重后写入ODPS为什么还会重复

展开
收起
提个问题 2024-06-09 15:12:15 57 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 社区答人
    开发者社区问答官方账号
    官方回答
    采纳回答
    因为topn是上游来一条数据触发一次计算就下发一条数据，所以如果是多条数据 实际上topn也会下发多条数据，但是为了保证最终的结果正确，topn会撤回掉之前已经下发数据，只留最后一条数据。
    但是因为odps不是关系型存储，不能设置主键所以不会触发撤回，还是存在多条相同的数据。
    2024-06-09 15:12:16
    赞同 展开评论
问答分类：
流计算 分布式计算 MaxCompute 实时计算 Flink版 云原生大数据计算服务 MaxCompute
问答标签：
实时计算 Flink版去重 云原生大数据计算服务 MaxCompute flink 实时计算 Flink版odps 实时计算 Flink版TopN topn云原生大数据计算服务 MaxCompute
问答地址：
开发者社区 > 大数据 > 问答
关联地址：
问产品> 实时计算 Flink版
相关问答
实时计算 Flink版
大数据 实时计算平 flink 读取 dataHub作为数据源，给个靠谱的demo 没一个文档能跑通
438
3
0
Flink 使用维表加在 MC 的数据 ，MC中的某条数据变更了，sql统计的逻辑会变更吗？
118
1
0
为什么在建行大数据云平台中采用Flink进行实时数据处理？
76
1
0
flink往odps事务表里写数据报这个错是为什么呢？
91
0
0
odps中的函数KEYVALUE有对应的 flink 函数吗？
87
0
0
Flink在整个开源大数据生态中应该如何定位，如何保持差异化？
88
1
0
实时计算Flink on Kubernetes在阿里云飞天大数据平台中提供了哪两种模式？
65
1
0
请问下Flink，需求做一个宽表，有大量大表join，如果需要跑大数据量的历史数据该怎么处理？
115
0
0
在Flink CDC中使用窗口去重然后进行累计求和计算，输出的求和结果会出现跳变，为什么？
100
0
0
flink cdc 读取mysql 。我们希望拿到增和删，改的数据都拿到。存到odps中。可以做嘛？
67
1
0