开发者社区> 问答> 正文

spark要在linux上运行的理由是什么?

spark要在linux上运行的理由是什么?

展开
收起
游客ahv54x37wvm7u 2021-12-06 22:01:20 406 0
2 条回答
写回答
取消 提交回答
  • 老师说要我们学习LINUX,说是要在哪个里面编程,但是我还是不知道为什么要在LINUX里面编呢?听说LINUX很稳定,是不是这个原因呢?   本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤:   1、构建sbt标准项目工程结构:SBT项目工程结构图其:~/build.sbt文件用配置项目基本信息(项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包);project/build.properties文件配置要使用版本sbt项目操作;project/plugins.sbt文件给项目添加所需插件;project/Build.scala文件项目进行些复杂高级配置;详细sbt安装配置实用参见博文:   2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")   3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径:项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar   4、打包jar问价添加SPAK_CLASSPATH(linux根据作用范围同种更改环境变量式说我配置式:spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)   5、配置环境变量spark根目录使用./run脚本运行程序例:./run spark.examples.SparkPi spark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME;至于何修改路径待研究

    2021-12-06 22:17:23
    赞同 展开评论 打赏
  • 老师说要我们学习LINUX,说是要在哪个里面编程,但是我还是不知道为什么要在LINUX里面编呢?听说LINUX很稳定,是不是这个原因呢?   本文前提已经确安装scala,sbt及spark 简述程序挂载集群运行步骤:   1、构建sbt标准项目工程结构:SBT项目工程结构图其:~/build.sbt文件用配置项目基本信息(项目名、组织名、项目版本、使用scala版本或者再配置些项目所需依赖包);project/build.properties文件配置要使用版本sbt项目操作;project/plugins.sbt文件给项目添加所需插件;project/Build.scala文件项目进行些复杂高级配置;详细sbt安装配置实用参见博文:   2、相应目录编写程序spark程序必须要创建SparkContext实例SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")   3、sbt compile命令编译程序错sbt package命令程序打包默认打包jar文件存放路径:项目根目录/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar   4、打包jar问价添加SPAK_CLASSPATH(linux根据作用范围同种更改环境变量式说我配置式:spark根目录conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx)   5、配置环境变量spark根目录使用./run脚本运行程序例:./run spark.examples.SparkPi spark://masterIP:port注意程序涉及IO操作起默认路径SPARK_HOME;至于何修改路径待研究

    2021-12-06 22:17:22
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载