Spark集群搭建记录 | 云计算[CentOS7] | Scala Maven项目访问Spark(local模式)实现单词计数(上)

简介: 写在前面step1 下载Scala IDEstep2 解压安装Scala IDEstep3 Scala 下载step4 Scala 配置step5 创建scala项目

写在前面


本系列文章索引以及一些默认好的条件在 传送门

要想完成Spark的配置,首先需要完成Hadoop&&Spark的配置

Hadoop配置教程:链接

22900e893b9f48f0a1aa7976adcb812e.png

若未进行明确说明,均按照root用户操作


step1 下载Scala IDE


本来在Eclipse 的Marketplace便可以下载,可是现在官网都寄了

所以说只好找到之前的版本凑合来用

下载链接

这个软件再解压后会产生一个文件夹eclipse,所以说为了避免和先前的eclipse产生冲突或者是覆盖问题

我们选择在也之前不同的目录下进行解压,然后进行配置


step2 解压安装Scala IDE


假设已经将scala-ide放置到虚拟机的某路径下,该路径不同于eclipse的路径

假如以/usr/local为例

我们使用tar 命令进行解压:

tar -zxvf scala-SDK<Tab>

然后就可以打开其中的eclipse/eclipse使用该软件:

5e60f8015ad34bdfbe606334aa6134e9.png


如果说想要更方便的在桌面直接就能点击使用的话,可以直接创建软连接或者是.Desktop文件并放置到桌面,方法不在赘述


step3 Scala 下载


注意注意!!!

Scala 的版本对Spark版本极其敏感,所以说为了能够下载适合已经装了的Spark版本互相兼容,还请移步官网查看并下载适配的Scala,博主下面给出对应的适配关系,来源maven仓库


4a4c680d4ab34ebca22e0a4b2796a89b.png


博主使用的是Spark2.4.0,与这个版本兼容的有2.11/2.12

在这里博主使用2.11版本的Scala进行配置

cd /usr/local

wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

tar -zxvf scala-2<Tab>

mv scala-2<Tab> scala


step4 Scala 配置


vim /etc/profile

加入:

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin


source一下使其生效

source /etc/profile

在输入scala之后如若出现下图则代表成功:

5f8f2f317cd048dea2dced43d9ade806.png


因为在后续的过程中,均需要该环境跑集群的代码,所以说,集群的所有机器为了能够干活,都需要安装scala

可以使用scp命令传送到集群的其他节点,或者是手动在剩余的机器重复step3→ \to→step4


step5 创建scala项目


打开Scala ide ,并创建scala 项目:

28f1ff11897942f98f06024a266153c7.png


右键单击创建好的项目,将下图的第三步换成Convert to Maven Project,因为博主已经将项目设置为Maven项目,所以说,该选项消失

7870d30d66924a2688224a17fcdf5dfb.png



目录
相关文章
|
15天前
|
Java Maven
maven项目的pom.xml文件常用标签使用介绍
第四届人文,智慧教育与服务管理国际学术会议(HWESM 2025) 2025 4th International Conference on Humanities, Wisdom Education and Service Management
72 8
|
13天前
|
Java 应用服务中间件 Maven
Maven的三种项目打包方式——pom,jar,war的区别
Maven 提供了多种打包方式,分别适用于不同类型的项目。pom 用于父项目或聚合项目,便于项目的结构和依赖管理;jar 用于Java类库或可执行的Java应用程序;war 则专用于Java Web应用程序的部署。理解这些打包方式的用途和特点,可以帮助开发者更好地配置和管理Maven项目,确保构建和部署过程的顺利进行。无论是单模块项目还是多模块项目,选择合适的打包方式对于项目的成功至关重要。
37 3
|
1月前
|
Java 关系型数据库 MySQL
Maven——创建 Spring Boot项目
Maven 是一个项目管理工具,通过配置 `pom.xml` 文件自动获取所需的 jar 包,简化了项目的构建和管理过程。其核心功能包括项目构建和依赖管理,支持创建、编译、测试、打包和发布项目。Maven 仓库分为本地仓库和远程仓库,远程仓库包括中央仓库、私服和其他公共库。此外,文档还介绍了如何创建第一个 SpringBoot 项目并实现简单的 HTTP 请求响应。
129 1
Maven——创建 Spring Boot项目
|
29天前
|
缓存 IDE Java
idea的maven项目打包时没有source下的文件
【10月更文挑战第21天】idea的maven项目打包时没有source下的文件
42 1
|
30天前
|
Java API Apache
除了 Maven,还有哪些工具可以管理项目的依赖和版本冲突
除了Maven,常用的项目依赖管理和版本冲突解决工具有Gradle、Ivy、Ant+Ivy、SBT等。这些工具各有特点,适用于不同的开发环境和需求。
|
监控 大数据 Windows
Spark-项目中分析日志的核心代码
代码 LogRecord 类: case class LogRecord ( clientIpAddress: String, rfc1413ClientIdentity: String, remoteUser: S...
1108 0
|
24天前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
68 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
1月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
63 0
|
1月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
42 0
|
1月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
92 0
下一篇
无影云桌面