Spark-集群安装、部署、启动、测试(1.6.3)稳定版

简介: Spark-集群安装、部署、启动、测试(1.6.3)稳定版

Spark-集群安装、部署、启动、测试(1.6.3版)

一、下载地址:

http://spark.apache.org/releases/spark-release-1-6-3.html

二、安装

将其放在Linux的目录中,解压

我解压的目录是:

/usr/local/spark-1.6.3-bin-hadoop2.6

三、配置spark

3.1 进入到spark的安装目录下

cd /usr/local/spark-1.6.3-bin-hadoop2.6

3.2 进入conf目录重命名并修改spark-env.sh.template

mv spark-env.sh.template spark-env.sh

3.3 进入spark-env.sh文件,在配置文件中添加如下配置。

vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151/
export SPARK_MASTER_IP=centos01
export SPARK_MASTER_PORT=7077

保存退出

3.4 重命名并修改slaves.template

mv slaves.template slaves

3.5 进入slaves修改配置,添加子节点所在的位置。

centos01
centos02
MyLinux

这几个乃是主机名(备注:已经做了提前的映射,主机名和IP地址要有映射)

3.6 分发到 其他两台服务器

scp -r spark-1.6.3-bin-hadoop2.6/ MyLinux:/usr/local/
scp -r spark-1.6.3-bin-hadoop2.6/ centos02:/usr/local/

部署完成。

四、Spark shell启动及提交任务(提前关闭防火墙,service iptables stop)

4.1 进入sbin/进行启动

./usr/local/spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh

4.2 进入bin目录,运行脚本 sprak-shell

/usr/local/spark-1.6.3-bin-hadoop2.6/bin

(1)单机版:

./spark-shell --master spark:centos01:7077

(2)集群版 (指定内存和cpu核数 ):

./spark-shell --master spark://centos01:7077 --executor-memory 512m --total-executor-cores 2

--total-executor-core CPU核数

--executor-memory 内存大小(每个节点)

(3)启动结果

(4)Web UI

4.3 scala命令做一个简单计数统计

sc.parallelize(List("hello spark","hello scala","scala Java")).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).collect

结果:

目录
相关文章
|
2月前
|
人工智能 测试技术 芯片
AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试
本文介绍了使用四块Framework主板构建AI推理集群的过程,并基于AMD Ryzen AI Max+ 395处理器进行大语言模型推理性能测试,重点评估其并行推理能力及集群表现。
196 0
AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试
|
7月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
8月前
|
机器学习/深度学习 自然语言处理 API
阿里云零门槛、轻松部署您的专属 DeepSeek模型体验测试
DeepSeek R1是基于Transformer架构的先进大规模深度学习模型,2025年1月20日发布并开源,遵循MIT License。它在自然语言处理等任务上表现出色,高效提取特征,缩短训练时间。阿里云推出的满血版方案解决了服务器压力问题,提供100万免费token,云端部署降低成本,用户可快速启动体验。虽然回答速度有待提升,但整体表现优异,备受关注。
282 8
|
9月前
|
存储 分布式计算 调度
Spark Master HA 主从切换过程不会影响到集群已有作业的运行, 为什么?
Spark Master 的高可用性(HA)机制确保主节点故障时,备用主节点能无缝接管集群管理,保障稳定运行。关键在于: 1. **Driver 和 Executor 独立**:任务执行不依赖 Master。 2. **应用状态保持**:备用 Master 通过 ZooKeeper 恢复集群状态。 3. **ZooKeeper 协调**:快速选举新 Master 并同步状态。 4. **容错机制**:任务可在其他 Executor 上重新调度。 这些特性保证了集群在 Master 故障时仍能正常运行。
|
9月前
|
JavaScript NoSQL Java
基于SpringBoot+Vue实现的大学生体质测试管理系统设计与实现(系统源码+文档+数据库+部署)
面向大学生毕业选题、开题、任务书、程序设计开发、论文辅导提供一站式服务。主要服务:程序设计开发、代码修改、成品部署、支持定制、论文辅导,助力毕设!
|
9月前
|
Java 测试技术 应用服务中间件
Spring Boot 如何测试打包部署
本文介绍了 Spring Boot 项目的开发、调试、打包及投产上线的全流程。主要内容包括: 1. **单元测试**:通过添加 `spring-boot-starter-test` 包,使用 `@RunWith(SpringRunner.class)` 和 `@SpringBootTest` 注解进行测试类开发。 2. **集成测试**:支持热部署,通过添加 `spring-boot-devtools` 实现代码修改后自动重启。 3. **投产上线**:提供两种部署方案,一是打包成 jar 包直接运行,二是打包成 war 包部署到 Tomcat 服务器。
206 10
|
11月前
|
敏捷开发 Devops 测试技术
自动化测试中的持续集成与持续部署
在现代软件开发实践中,自动化测试是确保软件质量和快速迭代的关键。本文将探讨自动化测试如何与持续集成(CI)和持续部署(CD)流程相结合,以提高开发效率和软件质量。我们将分析CI/CD管道中自动化测试的最佳实践,以及如何克服实施过程中的挑战。
155 6
|
4月前
|
Java 测试技术 容器
Jmeter工具使用:HTTP接口性能测试实战
希望这篇文章能够帮助你初步理解如何使用JMeter进行HTTP接口性能测试,有兴趣的话,你可以研究更多关于JMeter的内容。记住,只有理解并掌握了这些工具,你才能充分利用它们发挥其应有的价值。+
756 23
|
9月前
|
数据可视化 前端开发 测试技术
接口测试新选择:Postman替代方案全解析
在软件开发中,接口测试工具至关重要。Postman长期占据主导地位,但随着国产工具的崛起,越来越多开发者转向更适合中国市场的替代方案——Apifox。它不仅支持中英文切换、完全免费不限人数,还具备强大的可视化操作、自动生成文档和API调试功能,极大简化了开发流程。
|
6月前
|
SQL 安全 测试技术
2025接口测试全攻略:高并发、安全防护与六大工具实战指南
本文探讨高并发稳定性验证、安全防护实战及六大工具(Postman、RunnerGo、Apipost、JMeter、SoapUI、Fiddler)选型指南,助力构建未来接口测试体系。接口测试旨在验证数据传输、参数合法性、错误处理能力及性能安全性,其重要性体现在早期发现问题、保障系统稳定和支撑持续集成。常用方法包括功能、性能、安全性及兼容性测试,典型场景涵盖前后端分离开发、第三方服务集成与数据一致性检查。选择合适的工具需综合考虑需求与团队协作等因素。
725 24

热门文章

最新文章