AI 助理
备案控制台
开发者社区 问答 正文

COMBINER的作用是什么？

COMBINER的作用是什么？

展开
收起
游客mm5dulkpivqdo 2021-12-08 18:17:22 537 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客dn7w5h5cqwjbu

    combiner表示在map_reduce API里表示在mapper端，就先对数据进行聚合操作，它的用法和reducer是完全一致的，但不能引用资源。 并且，combiner的输出的字段名和字段类型必须和mapper完全一致。

    2021-12-08 18:17:46
    赞同 展开评论
问答地址：
开发者社区 > 云计算 > 问答
相关问答
算子的作用是什么？
317
1
0
在reduce中的shuffle阶段中reduce的作用是什么呢？
397
1
0
combiner有什么作用？
331
1
0
mapReduce中combiner的作用是什么，一般使用情景，哪些情况不需要呢？
286
0
0
Dstream中的countByValue()方法的作用是什么？
336
1
0
shuffle是什么？作用是什么？
502
1
0
Dstream中的union(otherStream)方法的作用是什么？
380
1
0
DStream transformation操作中的cogroup的作用是什么？
358
1
0
Spark中的groupByKey([numTasks])方法的作用是什么？
438
1
0
Dstream中的reduce(func)方法的作用是什么？
374
1
0