问题如title,当然当前Flink的API还是可以实现RichReduceFunction的效果的,就是基于windowFunction或者processWindowFuntion。但是,windowFunc和reduceFunc最大的区别在于windowFunc是窗口触发操作,而reduce是实时的增量操作。 如果说我的窗口计算对于每个record的到来都需要一个极复杂的操作,我更希望在reduce中完成,而不是windowFunc中完成,因为那样会导致整个窗口所有key的数据几乎在同一时刻触发,这会导致压力变高。*来自志愿者整理的flink邮件归档
reduceFunction 是和 ReducingStateDescriptor 配合的, 并不是“window的”。“WindowOperator” 的 function 是 “InternalWindowFunction”,这个可以是“RichFunction”。
Flink 中的 state 除了可以绑定 key,也可以绑定 namespace,只是 namespace并没有直接暴露给用户。如果需要的话,可以自己写个 WindowOperator,暴露个 WindowFunction。
Interface WindowFunction { // You could do incremental aggregation here. void processElement(Context context, Window window, Element element);
void fireWindow(Context context, Window window); }
interface WindowedRuntimeContext { State getWindowedState(StateDescriptor descriptor). }
把所有 window concepts 交给 WindowOperator,WindowFunction 作具体业务。*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。