开发者社区> 问答> 正文

MaxCompute Spark中用户提交作业的的Spark版本有几种情况呢?

MaxCompute Spark中用户提交作业的的Spark版本有几种情况呢?

展开
收起
bnbajjyhyjfty 2021-12-12 18:48:43 941 0
1 条回答
写回答
取消 提交回答
  • 情况1:直接通过本地客户端提交任务,spark版本就是用户本地客户端的版本

    情况2:用户通过dataworks提交任务,取决于dataworksgateway的默认spark版本,当前公共云dataworks公共资源组gateway的默认版本是spark-2.3.0-odps0.32.1

    情况3:用户通过dataworks提交任务,配置参数sparkhadoopodpssparkversion,则会按照配置的版本号来寻找对应的spark客户端,用户可以配置sparkhadoopodpssparkversion=spark- 2.3.0-odps0325手动切换版本

    情况4:该情况优先级最高,用户可以在本地客户端或者是dataworks提交任务时配置以下参数,则类加载的优先级最高,因此会在spark任务启动时优先使用该版本的spark

    2021-12-12 18:49:35
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载