Spark基础 之 Spark的介绍

简介: Spark基础 之 Spark的介绍

一、 什么是Spark?

Spark是一个分布式计算框架,是由Scala语言编写完成的,是apache基金会下的顶级开源项目 ,和Mapresuce的作用一样,可以完成对数据的计算。


Spark与MapReduce的区别:


1、Spark是基于内存计算的,会将中间结果存放在内存,方便后续计算的使用,而MR会将中间结果存储在磁盘中。


2、内存数据的读写速度要比磁盘快很多,所以Spark的计算速度比MR快。


3、Spark的计算任务是由线程完成的。MR的计算任务是由进程完成的。线程切换计算任务的速度比进程切换计算任务速度快。



二、 Spark的特点

三、Spark的架构

 

技术人是用代码编织世界的工程师,用0和1构筑起这个高效而便捷的世界,让科技绽放出向善而动人的力量!一行行代码创造出更加智能而美好的生活,便捷通话视频、移动支付、在线会议、智慧医疗……创造了无数种可能!

2¹⁰=1024,这个程序员最熟悉的“整数”让10月24日的这一天成为技术人的专属节日——程序员节。今天1024程序员节,致敬每一位在平凡岗位上创造不平凡的程序员!

致敬改变世界的英雄 祝大家程序员节快乐!

致敬改变世界的英雄!

 

最近开始学习Spark啦,木易巷要加油成为大大白!

持续更新中.........

 

目录
相关文章
|
7月前
|
存储 分布式计算 资源调度
|
7月前
|
存储 缓存 分布式计算
spark BlockManager粗讲
spark BlockManager粗讲
|
消息中间件 分布式计算 监控
Spark6:Spark Steaming
Spark6:Spark Steaming
73 0
|
SQL 机器学习/深度学习 分布式计算
【Spark】(一)初识 Spark
【Spark】(一)初识 Spark
170 0
【Spark】(一)初识 Spark
|
SQL 机器学习/深度学习 分布式计算
spark介绍
spark介绍
2230 0
spark介绍
|
分布式计算 Hadoop Java
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
156 0
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
|
存储 机器学习/深度学习 缓存
五分钟零基础介绍 spark
相信大家都听说过火的不能再火、炒得不能再炒的新一代大数据处理框架 Spark. 那么 Spark 是何方神圣?为何大有取代 Hadoop 的势头?Spark 内部又是如何工作的呢?我们会用几篇文章为大家一一介绍。 Hadoop:我不想知道我是怎么来的,我就想知道我是怎么没的? 还是从 Hadoop 处理海量数据的架构说起,一个 Hadoop job 通常都是这样的: 从 HDFS 读取输入数据; 在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘; 在 Reduce 阶段,从各个处于 Map 阶段的机器中读取 Map 计算的中间结果,使用用户定义的 r
140 0
|
分布式计算 Kubernetes Spark
Spark on k8s
前言 Spark 自从2.3版本以来就支持运行在k8s上,本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。 前提条件 1、 已经购买阿里云容器服务-Kubernetes。购买链接:Kubernetes控制台。
3067 0
|
分布式计算 Spark Hadoop