Spark-集群安装、部署、启动、测试(1.6.3)稳定版

简介: Spark-集群安装、部署、启动、测试(1.6.3)稳定版

Spark-集群安装、部署、启动、测试(1.6.3版)

一、下载地址:

http://spark.apache.org/releases/spark-release-1-6-3.html

二、安装

将其放在Linux的目录中,解压

我解压的目录是:

/usr/local/spark-1.6.3-bin-hadoop2.6

三、配置spark

3.1 进入到spark的安装目录下

cd /usr/local/spark-1.6.3-bin-hadoop2.6

3.2 进入conf目录重命名并修改spark-env.sh.template

mv spark-env.sh.template spark-env.sh

3.3 进入spark-env.sh文件,在配置文件中添加如下配置。

vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151/
export SPARK_MASTER_IP=centos01
export SPARK_MASTER_PORT=7077

保存退出

3.4 重命名并修改slaves.template

mv slaves.template slaves

3.5 进入slaves修改配置,添加子节点所在的位置。

centos01
centos02
MyLinux

这几个乃是主机名(备注:已经做了提前的映射,主机名和IP地址要有映射)

3.6 分发到 其他两台服务器

scp -r spark-1.6.3-bin-hadoop2.6/ MyLinux:/usr/local/
scp -r spark-1.6.3-bin-hadoop2.6/ centos02:/usr/local/

部署完成。

四、Spark shell启动及提交任务(提前关闭防火墙,service iptables stop)

4.1 进入sbin/进行启动

./usr/local/spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh

4.2 进入bin目录,运行脚本 sprak-shell

/usr/local/spark-1.6.3-bin-hadoop2.6/bin

(1)单机版:

./spark-shell --master spark:centos01:7077

(2)集群版 (指定内存和cpu核数 ):

./spark-shell --master spark://centos01:7077 --executor-memory 512m --total-executor-cores 2

--total-executor-core CPU核数

--executor-memory 内存大小(每个节点)

(3)启动结果

(4)Web UI

4.3 scala命令做一个简单计数统计

sc.parallelize(List("hello spark","hello scala","scala Java")).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).collect

结果:

目录
相关文章
|
7月前
|
人工智能 分布式计算 调度
打破资源边界、告别资源浪费:ACK One 多集群Spark和AI作业调度
ACK One多集群Spark作业调度,可以帮助您在不影响集群中正在运行的在线业务的前提下,打破资源边界,根据各集群实际剩余资源来进行调度,最大化您多集群中闲置资源的利用率。
|
8月前
|
存储 人工智能 编译器
【03】鸿蒙实战应用开发-华为鸿蒙纯血操作系统Harmony OS NEXT-测试hello word效果-虚拟华为手机真机环境调试-为DevEco Studio编译器安装中文插件-测试写一个滑动块效果-介绍诸如ohos.ui等依赖库-全过程实战项目分享-从零开发到上线-优雅草卓伊凡
【03】鸿蒙实战应用开发-华为鸿蒙纯血操作系统Harmony OS NEXT-测试hello word效果-虚拟华为手机真机环境调试-为DevEco Studio编译器安装中文插件-测试写一个滑动块效果-介绍诸如ohos.ui等依赖库-全过程实战项目分享-从零开发到上线-优雅草卓伊凡
327 10
【03】鸿蒙实战应用开发-华为鸿蒙纯血操作系统Harmony OS NEXT-测试hello word效果-虚拟华为手机真机环境调试-为DevEco Studio编译器安装中文插件-测试写一个滑动块效果-介绍诸如ohos.ui等依赖库-全过程实战项目分享-从零开发到上线-优雅草卓伊凡
|
7月前
|
SQL 分布式计算 关系型数据库
基于云服务器的数仓搭建-hive/spark安装
本文介绍了在本地安装和配置MySQL、Hive及Spark的过程。主要内容包括: - **MySQL本地安装**:详细描述了内存占用情况及安装步骤,涉及安装脚本的编写与执行,以及连接MySQL的方法。 - **Hive安装**:涵盖了从上传压缩包到配置环境变量的全过程,并解释了如何将Hive元数据存储配置到MySQL中。 - **Hive与Spark集成**:说明了如何安装Spark并将其与Hive集成,确保Hive任务由Spark执行,同时解决了依赖冲突问题。 - **常见问题及解决方法**:列举了安装过程中可能遇到的问题及其解决方案,如内存配置不足、节点间通信问题等。
基于云服务器的数仓搭建-hive/spark安装
|
6月前
|
SQL 缓存 关系型数据库
MySQL8.4 Enterprise安装Firewall及测试
MySQL8.4 Enterprise安装Firewall及测试
144 0
|
8月前
|
机器学习/深度学习 自然语言处理 API
阿里云零门槛、轻松部署您的专属 DeepSeek模型体验测试
DeepSeek R1是基于Transformer架构的先进大规模深度学习模型,2025年1月20日发布并开源,遵循MIT License。它在自然语言处理等任务上表现出色,高效提取特征,缩短训练时间。阿里云推出的满血版方案解决了服务器压力问题,提供100万免费token,云端部署降低成本,用户可快速启动体验。虽然回答速度有待提升,但整体表现优异,备受关注。
282 8
|
7月前
|
人工智能 测试技术 API
Windows用户必备:Postman v11详细安装指南与API测试入门教程(附官网下载
Postman是全球领先的API开发与测试工具,支持REST、SOAP、GraphQL等协议调试。2025年最新版v11新增AI智能生成测试用例、多环境变量同步等功能,适用于前后端分离开发、自动化测试、接口文档自动生成及团队协作共享API资源。本文详细介绍Postman的软件定位、核心功能、安装步骤、首次配置、基础使用及常见问题解答,帮助用户快速上手并高效利用该工具进行API开发与测试。
|
4月前
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
212 0
|
7月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
295 79
|
11月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
714 2
ClickHouse与大数据生态集成:Spark & Flink 实战

热门文章

最新文章