开发者社区> 问答> 正文

ODPS mapreduce Main方法中如何能读取到资源文件?

mapreduce Main方法中如何能读取到资源文件?
用job.getConfResourceAsInputStream(file); 报这个异常Configuration - x1.xml not found
现在需要在进入Mapper之前就能把资源文件内容就给读出来

展开
收起
fyzsg 2016-01-31 18:34:23 4669 0
2 条回答
写回答
取消 提交回答
  • main函数里面无法去读资源文件,main相当于一个diver只能启动任务。或者使用ODPS sdk取获取。如上

    2019-07-17 18:27:24
    赞同 展开评论 打赏
  • MaxCompute 生态

    MR 代码的运行分两部分,Main 函数运行在本地,用于向 ODPS 提交作业;Mapper/Reducer 运行在 ODPS 集群内。Job 上的这些接口是集群内的时候才有效。

    要在 Main 函数里访问 Resource,直接用 odps-sdk-core 里面的 api 就好了。大概是这样:

    Odps odps = SessionState.get().getOdps();
    InputStream is = odps.resources().getResourceAsStream(resourceName);
    2019-07-17 18:27:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载