MR提交命令中-resources和-classpath是什么？
MR提交命令中-resources和-classpath是什么？
展开
收起
1
条回答
写回答
写回答
-
在MaxCompute中类似MR这类分布式数据处理框架，用户的代码一般在以下两个地点执行：
运行客户端的进程／子进程：这里的用户代码负责准备执行环境、配置任务参数、提交任务，入口通常是main class。它不受沙箱限制，执行逻辑由用户代码驱动。同样的，这里的classpath由用户配置，或在console中使用-classpath选项添加依赖的classpath路径。
远程执行的worker进程：这里的代码负责执行数据处理逻辑，入口是mapper／reducer class。它受限沙箱限制，且执行逻辑由MaxCompute框架驱动。用户在命令行配置的-classpath在这里无效（显然，远程机器的路径和客户端机器的路径无法保证一致），任何第三方依赖必须作为resource提前上传至MaxCompute，并在提交任务时使用-resources选项或JobConf.setResources(String[])来设定。
2021-12-08 17:13:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
