Spark——分布式并行计算概念-阿里云开发者社区

开发者社区> soledad_lhc> 正文

Spark——分布式并行计算概念

简介: 一,概念    一个资源密集型的任务,需要一组资源并行的完成,当计算机任务过重,就把计算任务拆分,然后放到多个计算节点上同时执行,这就是分布式并行计算啦。分布式并行计算,强调用硬件的堆叠,来解决问题。
+关注继续查看


一,概念


   一个资源密集型的任务,需要一组资源并行的完成,当计算机任务过重,就把计算任务拆分,然后放到多个计算节点上同时执行,这就是分布式并行计算啦。分布式并行计算,强调用硬件的堆叠,来解决问题。

   spark解决的问题:有了spark,只要把数据和程序交给spark,它会机智地进行数据切分、算法复制、分布执行、结果合并。spark屏蔽了分布并行计算的细节,让我们可以快速开发分布并行的应用。



二,基于数据集的计算框架



   spark的计算范式是数据集上的计算,在实用spark的时候,要按照spark的范式写算法。Spark在数据集的层次上进行分布并行计算,它只认成堆的数据。

    提交给spark的任务,都必须满足两个条件:
    
  1. 数据是可以分块的,每块构成一个集合。
  2. 算法只能在集合级别执行操作。


     比如,对于文本文件,在Spark中,一行就是一条记录,若干条记录组成一个集合。我们 原来的算法直接在每一行上进行计算,就不行了。需要先构建数据集,然后通过数据集的操作, 实现我们的目的


     所以,Spark是一种粗粒度、基于数据集的并行计算框架。


三,Spark基本概念及拆分任务的流程


  1,将数据载入并构造数据集,在spark中,这个数据集被称为RDD(弹性分布数据集)。
  2,对数据集进行map操作,指定行为
  3,对map中的数据集进行collect操作,并获得合并的结果。






版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8107 0
定位排查工作流的计算结果数据量不符合预期的方法
本文用两个简化过的实际例子,说明如何排查数据经过同步和计算后发现数据条数对不上的情况。
9219 0
开发函数计算的正确姿势 —— 使用 ROS 进行资源编排
前言 首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。
13229 0
开发函数计算的正确姿势——支持 ES6 语法和 webpack 压缩
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。
3246 0
Apache ShardingSphere:由开源驱动的分布式数据库中间件生态
2021 年 7 月 21 日 2021 亚马逊云科技中国峰会现场,SphereEx 联合创始人、Apache ShardingSphere PMC 潘娟受邀参与此次峰会,以《Apache ShardingSphere 分布式数据库中间件开源生态构建》为主题,围绕开源理念扩散、社区建设、ShardingSphere 如何践行 Apache Way 等方面展开了介绍,本文总结自潘娟内容分享。
73 0
利用Spark Streaming实现分布式采集系统
之前我在微信朋友圈发了一段话,说明Spark Streaming 不仅仅是流式计算,也是一类通用的模式,可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题.
3099 0
Java数组排序基础算法,二维数组,排序时间计算,随机数产生
import java.util.Arrays; //包含Arrays import java.util.Random; public class HelloWorld { public static void main(String[] args){ // Scanner s = new Scanner(System.
848 0
+关注
soledad_lhc
csdn博客:http://blog.csdn.net/lhc1105
508
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载