如何让Flink trigger只输出有变化的数据？
我们有一个按自然天聚合统计各站点销量和GMV数据的Flink任务，代码框架如下：
sourceStream
.map(message -> JSON.parseObject(message, OrderDetail.class))
.keyby("siteId")
.window(TumblingProcessingTimeWindows.of(Time.days(1), Time.hours(-8)))
.trigger(ContinuousProcessingTimeTrigger.of(Time.seconds(1)))
.aggregate(new VolumeGmvAggregateFunc());
为了能够让dashboard实时刷新数据，每秒会触发一次计算。但是站点有将近1000个，每秒都输出全量结果不太现实，请问有什么简便的方法能够仅输出一秒内发生过变化的站点数据呢？Thx.*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
我们遇到过类似的问题，最终sink前可将key的结果存入state中，通过对比state中的结果与最终结果是否一致，去决定是否需要collect结果。
觉得不是最好的解决办法，请教下如何通过Evictor剔除未更新的数据，不知是否方便详细说一下实现方式，谢谢！ *来自志愿者整理的flink邮件归档
2021-12-08 14:51:13赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
相关文章
相关电子书
更多
