ODPS mapreduce Main方法中如何能读取到资源文件?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

ODPS mapreduce Main方法中如何能读取到资源文件?

fyzsg 2016-01-31 18:34:23 3333

mapreduce Main方法中如何能读取到资源文件?
用job.getConfResourceAsInputStream(file); 报这个异常Configuration - x1.xml not found
现在需要在进入Mapper之前就能把资源文件内容就给读出来

分布式计算 MaxCompute
分享到
取消 提交回答
全部回答(2)
  • 穆轩
    2019-07-17 18:27:24

    main函数里面无法去读资源文件,main相当于一个diver只能启动任务。或者使用ODPS sdk取获取。如上

    0 0
  • 艺卓
    2019-07-17 18:27:24

    MR 代码的运行分两部分,Main 函数运行在本地,用于向 ODPS 提交作业;Mapper/Reducer 运行在 ODPS 集群内。Job 上的这些接口是集群内的时候才有效。

    要在 Main 函数里访问 Resource,直接用 odps-sdk-core 里面的 api 就好了。大概是这样:

    Odps odps = SessionState.get().getOdps();
    InputStream is = odps.resources().getResourceAsStream(resourceName);
    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题