Apache Flink：keyby和window运算符
"我想知道一些与keyedstream相关的机制。代码如下：
DataStream> counts =
// split up the lines in pairs (2-tuples) containing: (word,1)
text.flatMap(new Tokenizer())
// group by the tuple field ""0"" and sum up tuple field ""1""
.keyBy(0)
.window(TumblingProcessingTimeWindows.of(Time.seconds(3)))如果我想实现窗口wordcount。
Q1：每个窗口中只有一个键还是多个键？
Q2：对于窗口中的函数，我只使用简单的sum ++或者需要通过Apache Storm中的hashmap处理多个键的总和。"
展开
收起
1
条回答
写回答
写回答
-
flink小助手会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关flink的问题及回答。"即使每个窗口实际上有多个键，每个对process/ reduce/ sum/ aggregate函数的调用都是使用具有相同键的元素进行的。
在你的示例中，你可以使用sum，Flink将负责所有事情：
text.flatMap(new Tokenizer())
.keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.seconds(3))) .sum(X)如果你选择reduce改为......
text.flatMap(new Tokenizer())
.keyBy(0) .window(TumblingProcessingTimeWindows.of(Time.seconds(3))) .reduce(new ReduceFunction<Tuple2<String, Integer>>(){ @Override public Tuple2<String, Integer> reduce(final Tuple2<String, Integer> first, final Tuple2<String, Integer> second) { (... do something with the guarantee that first[0] == second[0](same key) ...) } });"2019-07-17 23:16:51赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
