MaxCompute Spark通过DataWorks提交的参数和配置有何特点？
MaxCompute Spark通过DataWorks提交的参数和配置有何特点？
展开
收起
1
条回答
写回答
写回答
-
1Spark配置项:对应于spark-submit命令的--conf选项
accessid,accesskey,projectname,endpoint,runtimeendpoint,taskmajorversion无需配置。
除此之外，需要将spark-defaultconf中的配置逐条加到dataworks的配置项中
2给主类传参数(如bizdate)
。首先在调度->参数中添加参数然后在Spark节点“参数”栏引用该参数。多个参数用空格分隔。该参数会传给用户主类，用户在代码中解析该参数即可0参考文档
2021-12-12 14:58:26赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
