如何在Cloudera中安排/触发spark工作？
目前我们的项目是MR，我们使用Oozie来协调我们的MR Jobs。现在我们转向Spark，并想知道在CDH集群上安排/触发Spark Jobs的推荐方法。请注意，CDH Oozie不支持Spark2 Jobs。所以请为此提供替代方案。
展开
收起
1
条回答
写回答
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。Hue在Worlflow编辑器中有一个Spark选项。如果Cloudera不支持，我不确定为什么它会在那里......
但是，CDH Oozie确实支持纯shell脚本，但您需要确保所有NodeManager都spark-submit在本地服务器上提供命令。
如果这不起作用，它还支持用于运行JAR的Java操作，因此您可以编写Spark脚本，所有这些都是从主方法开始编写的，该方法从那里加载任何配置
2019-07-17 23:20:03赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
