mapreduce跑不了
Combiner会报错：
Exception in thread "main" java.lang.RuntimeException: java.lang.ArithmeticException: / by zero
at com.aliyun.odps.mapred.LocalJobRunner.submit(LocalJobRunner.java:94)
at com.aliyun.odps.mapred.JobClient.submitJob(JobClient.java:157)
at com.aliyun.odps.mapred.JobClient.runJob(JobClient.java:60)
at mygroup.mapreduce.JobLauncher.main(JobLauncher.java:480)
Caused by: java.lang.ArithmeticException: / by zero
at com.aliyun.odps.mapred.local.MapOutputBuffer.getPartition(MapOutputBuffer.java:102)
at com.aliyun.odps.mapred.local.MapOutputBuffer.add(MapOutputBuffer.java:106)
at com.aliyun.odps.mapred.local.MapDriver$ProxiedMapContextImpl$CombinerContextImpl.write(MapDriver.java:231)
at mygroup.mapreduce.MyCombiner.reduce(MyCombiner.java:29)
at com.aliyun.odps.mapred.local.MapDriver$ProxiedMapContextImpl.close(MapDriver.java:274)
at com.aliyun.odps.mapred.local.MapDriver.run(MapDriver.java:317)
at com.aliyun.odps.mapred.LocalJobRunner.handleNonPipeMode(LocalJobRunner.java:234)
at com.aliyun.odps.mapred.LocalJobRunner.runJob(LocalJobRunner.java:113)
at com.aliyun.odps.mapred.LocalJobRunner.submit(LocalJobRunner.java:91)
我看到combiner输出的格式和Mapper是一致的，但是在文档里说要和Reducer保持一致：
”
[font=微软雅黑, 'Microsoft Yahei', 'Hiragino Sans GB', tahoma, arial, 宋体]与经典的MapReduce框架协议不同，在ODPS中，Combiner的输入、输出的参数必须与Reduce保持一致。” https://help.aliyun.com/document_detail/27875.html?spm=5176.doc27878.6.163.rG0r59
如果我把Combiner中“context.write(key, count);” 改成“context.write(key);” （不输出count） 那么整个程序是可以运行的，但是Reducer并不会被执行，不知道为什么
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
回 4楼perhapszzy的帖子在本地跑的时候，在src/main/resources/META-INF/base.mapred.xml中设置numReduceTask的值为1.可以跑2016-05-18 18:16:20赞同 展开评论
-
回 1楼(perhapszzy) 的帖子你好，odps sdk请问你是哪个版本？Combiner的输入参数和Reduce保持一致，输出必须和Map的保持一致。
关于MR的配置你是怎样配置的？在御膳房运行MR跟普通客户端运行不一样。
这是最新御膳房文档的链接： http://www.yushanfang.com/portal/help/doc.html?spm=0.0.0.0.PUbNsE&file=MrUdfLocalDev
-------------------------
回 5楼(wikcy) 的帖子从报错栈推测是不是把reduceNum 设置为0了，然后还使用了自定义partitioner？2016-05-18 10:12:58赞同 展开评论 -
Remapreduce跑不了补充一下我是根据御膳房文档中“MR&UDF本地开发工具”文章（链接我发不了。。），运行的是样例Word Count（程序在创建完project就有的）
-------------------------
Remapreduce跑不了我就是按照那个配置的，那个貌似并没有安装odps sdk-------------------------
Remapreduce跑不了而且如果我把Combiner在base.mapred.xml里面去掉，会得到这个错误：
Exception in thread "main" java.lang.RuntimeException: java.lang.UnsupportedOperationException: ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs
at com.aliyun.odps.mapred.LocalJobRunner.submit(LocalJobRunner.java:94)
at com.aliyun.odps.mapred.JobClient.submitJob(JobClient.java:157)
at com.aliyun.odps.mapred.JobClient.runJob(JobClient.java:60)
at mygroup.mapreduce.JobLauncher.main(JobLauncher.java:480)
Caused by: java.lang.UnsupportedOperationException: ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs
at com.aliyun.odps.mapred.local.MapDriver$DirectMapContextImpl.write(MapDriver.java:115)
at mygroup.mapreduce.MyMapper.map(MyMapper.java:26)
at com.aliyun.odps.mapred.local.MapDriver.run(MapDriver.java:312)
at com.aliyun.odps.mapred.LocalJobRunner.handleNonPipeMode(LocalJobRunner.java:234)
at com.aliyun.odps.mapred.LocalJobRunner.runJob(LocalJobRunner.java:113)
at com.aliyun.odps.mapred.LocalJobRunner.submit(LocalJobRunner.java:91)
... 3 more
-------------------------
Remapreduce跑不了把 numReduceTask 设成1 可以跑了！谢谢！-------------------------
Remapreduce跑不了提交程序时 @{env} 和 {rid} 应该填啥？
http://@{env}.codebase.de.yushanfang.com/scheduler/res?id={rid}2016-05-18 06:34:15赞同 展开评论