Spark基础 之 Spark的介绍

简介: Spark基础 之 Spark的介绍

一、 什么是Spark?

Spark是一个分布式计算框架,是由Scala语言编写完成的,是apache基金会下的顶级开源项目 ,和Mapresuce的作用一样,可以完成对数据的计算。


Spark与MapReduce的区别:


1、Spark是基于内存计算的,会将中间结果存放在内存,方便后续计算的使用,而MR会将中间结果存储在磁盘中。


2、内存数据的读写速度要比磁盘快很多,所以Spark的计算速度比MR快。


3、Spark的计算任务是由线程完成的。MR的计算任务是由进程完成的。线程切换计算任务的速度比进程切换计算任务速度快。



二、 Spark的特点

三、Spark的架构

 

技术人是用代码编织世界的工程师,用0和1构筑起这个高效而便捷的世界,让科技绽放出向善而动人的力量!一行行代码创造出更加智能而美好的生活,便捷通话视频、移动支付、在线会议、智慧医疗……创造了无数种可能!

2¹⁰=1024,这个程序员最熟悉的“整数”让10月24日的这一天成为技术人的专属节日——程序员节。今天1024程序员节,致敬每一位在平凡岗位上创造不平凡的程序员!

致敬改变世界的英雄 祝大家程序员节快乐!

致敬改变世界的英雄!

 

最近开始学习Spark啦,木易巷要加油成为大大白!

持续更新中.........

 

目录
相关文章
|
2月前
|
SQL 机器学习/深度学习 分布式计算
Spark适合处理哪些任务?
【9月更文挑战第1天】Spark适合处理哪些任务?
159 3
|
2月前
|
SQL 分布式计算 Hadoop
初识 Spark
【9月更文挑战第1天】. 初识 Spark
53 2
|
6月前
|
存储 分布式计算 资源调度
|
6月前
|
存储 缓存 分布式计算
spark BlockManager粗讲
spark BlockManager粗讲
|
消息中间件 分布式计算 监控
Spark6:Spark Steaming
Spark6:Spark Steaming
63 0
|
SQL 机器学习/深度学习 分布式计算
【Spark】(一)初识 Spark
【Spark】(一)初识 Spark
166 0
【Spark】(一)初识 Spark
|
SQL 机器学习/深度学习 分布式计算
spark介绍
spark介绍
2212 0
spark介绍
|
分布式计算 Hadoop Java
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
149 0
【精通Spark系列】万事开头难?本篇文章让你轻松入门Spark
|
分布式计算 Kubernetes Spark
Spark on k8s
前言 Spark 自从2.3版本以来就支持运行在k8s上,本文主要介绍如何运行Spark在阿里云容器服务-Kubernetes。 前提条件 1、 已经购买阿里云容器服务-Kubernetes。购买链接:Kubernetes控制台。
3061 0
|
SQL 分布式计算 大数据
初学Spark
介绍大数据处理引擎Spark的特点,以及它的技术栈
2142 0