开发者社区> 问答> 正文

MaxCompute Spark通过Spark客户端提交的流程是啥?

MaxCompute Spark通过Spark客户端提交的流程是啥?

展开
收起
bnbajjyhyjfty 2021-12-12 14:05:21 1032 0
1 条回答
写回答
取消 提交回答
  • (1)Yarn-Cluster模式下载MCSpark客户端环境变量配置 JAVAHOME/SPARK HOME/PATH参数配置 Spark社区版参数 MaxCompute平台相关的参数准备项目工程 Java/Scala:Jar包 PySpark:Python文件任务提交 √/bin/spark-submit--master yarn-cluster

    (2)Local模式 ./bin/spark-submit--master local[4] IDEA调试

    2021-12-12 14:05:51
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载