安装SBT环境运行Scala项目

简介: 安装SBT环境运行Scala项目

介绍2种spark安装方式


通过docker的方式安装


下载docker文件


https://gitee.com/pingfanrenbiji/docker-spark
docker-compose up


image.png


  • 该docker-comose 编排了2个spark docker 一个是master 一个worker


  • worker依赖于master


访问spark页面


http://localhost:8080/


image.png


通过源码方式安装


spark源码


https://gitee.com/pingfanrenbiji/spark


spark是基于scala语言开发的 所以需要安装stb环境 类似于maven、graddle jar包资源管理工具


先来一个简单的demo来安装下sbt环境


下载相关资源包


https://gitee.com/pingfanrenbiji/resource/tree/master/stb


image.png


image.png


sbt/conf/ 目录下有两个配置文件 
sbtconfig.txt 仅适用于 Windows 平台
而 sbtopts 仅适用于 Mac/Linux 平台

配置sbt环境变量


#当前用户
vim ~/.bash_profile
export SBT_HOME=/Users/mengfanxiao/Documents/third_software/spark/sbt
export PATH=$PATH:$SBT_HOME/bin
source ~/.bash_profile
#所有用户
sudo vim /etc/profile  
source /etc/profile


Mac系统的环境变量
加载顺序为:/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc
/etc/profile和/etc/paths是系统级别的,系统启动就会加载
后面几个是当前用户级的环境变量
后面3个按照从前往后的顺序读取
如果/.bash_profile文件存在,则后面的几个文件就会被忽略不读了
如果/.bash_profile文件不存在,才会以此类推读取后面的文件
~/.bashrc没有上述规则,它是bash shell打开的时候载入的。


创建国内资源库配置


mkdir ~/.sbt
vim ~/.sbt/repositories
文件内容:
[repositories]
local
huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]


设置所有项目均使用全局仓库配置,忽略项目自身仓库配置


vim sbt/conf/sbtopts
添加一行
-Dsbt.override.build.repos=true


添加资源库配置


vim sbt/conf/sbtopts
添加一行
-Dsbt.repository.config=/Users/mengfanxiao/.sbt/repositories


运行hello-scala


demo源码下载下来


image.png


配置stb版本号1.3.0版本


由于SBT 1.3.0包含了多项性能提升,如果是已有的本地项目,请手动将项目的SBT构建版本改成1.3.0


vim project/build.properties
sbt.version = 1.3.0


执行stb安装相关依赖并进入stb命令行


sbt


第一次进入 sbt shell 时,由于需要下载相关依赖,大概需要几十秒时间,第二次及以后进入 sbt shell 会很快


image.png


image.png


image.png


后记

既然学会了如何运行scala项目 那么下一篇咱们运行下spark看看

时候不早了 要去上班了哦 😄

相关文章
|
Scala
176 Scala 项目案例(项目实现)
176 Scala 项目案例(项目实现)
121 0
|
并行计算 Scala
175 Scala 项目案例(Akka简介)
175 Scala 项目案例(Akka简介)
109 0
|
分布式计算 Hadoop Scala
174 Scala 项目案例(需求分析)
174 Scala 项目案例(需求分析)
47 0
|
程序员 Scala 开发工具
155 Scala开发工具安装
155 Scala开发工具安装
72 0
|
Java 编译器 Scala
153 Scala编译器安装(Windows)
153 Scala编译器安装(Windows)
58 0
|
2月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
27 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
7月前
|
存储 Java 编译器
运行第一个scala程序
运行第一个scala程序
108 10
|
6月前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之Aataworks运行scala实例,如何配置参数
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
42 0
|
编译器 Linux Scala
154 Scala编译器安装(Linux)
154 Scala编译器安装(Linux)
66 0
|
Scala
Idea中创建scala项目中Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
Idea中创建scala项目中Cannot resolve plugin org.scala-tools:maven-scala-plugin: unknown
173 0