开发者社区> 问答> 正文

mapreduce过程reduce段报null错误

[font=微软雅黑, 'Microsoft Yahei', 'Hiragino Sans GB', tahoma, arial, 宋体]多任务mapreduce在本地调试正常,一旦打包后在云端执行就报reduce阶段null指针,究竟是真的bug还是程序的问题?难道真的是表的复写导致的?如果是,如何实现?另外,map阶段的中间结果是如何保存的? [font=微软雅黑, 'Microsoft Yahei', 'Hiragino Sans GB', tahoma, arial, 宋体]难道是中间结果过大,才出现复写表情况导致reduce阶段null指针?

展开
收起
visitor 2014-05-04 14:45:16 6816 0
3 条回答
写回答
取消 提交回答
  • 具体的问题可以提工单~~
    2014-05-04 17:22:54
    赞同 展开评论 打赏
  • Remapreduce过程reduce段报null错误
    楼主mapOutPutValue的schema是多个字段的吗,比如 "type:string, cc:string,..."?
    2014-05-04 16:28:50
    赞同 展开评论 打赏
  • Remapreduce过程reduce段报null错误
    请求官方技术人员支持,难道正如大家说的只有maponly可以解决?那如何在maponly阶段实现规约?

    -------------------------

    回2楼qcl6355的帖子
    我有两个mapreduce作业。其中在运行job1时,报reduce端null指针。我说明下,map端输出始终(另个job)是两个字段,只有job2的reduce端输出到表时才是>2个字段。我测试了下10000行数据时正常

    -------------------------

    回3楼visitor的帖子
    map端输出始终(两个job)是两个字段

    -------------------------

    Remapreduce过程reduce段报null错误
    工单交过,那边提示在这里咨询
    2014-05-04 14:46:58
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
基于E-MapReduce梨视频推荐系统 立即下载
大数据解决方案构建详解 以阿里云E-MapReduce为例 立即下载
阿里云E-MapReduce 立即下载