Spark 概述_目标|学习笔记

简介: 快速学习 Spark 概述_目标

开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段Spark 概述_目标】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/688/detail/11933


Spark 概述_目标


Spark基础:

由各个组件构成的多用途的计算框架,集合了各种组件

1.Spark Core:

Spark 的核心 ,Core 是核心的意思,Spark Core 是所有 Spark工具里最底层最核心的东西,在 Spark Core 的基础上又构建了针对于不同特定领域的一些工具

2.SparkSQL :

针对结构化的数据集来进行处理

3. SparkStreaming

进行流式的计算,使用的框架来进行计算

image.png

整个 Spark 基础部分的大致安排是按照 Spark 各个组件脉络来进行展开, SparkCore 是整个 Spark 部分最基础最核心的一个内容,介绍完 SparkCore 之后有必要对其进行一个扩展:主要说的是 SparkCore 的一个核心原理 说一些高级特性。

第一部分 SparkCore :

Spark 的基础,在整个 Spark 基础部分,一个最核心的就是去编写 Spark 的基础案例

在编写好 Spark 的入门案例之前,要先了解一个 Spark 的概述:

了解过这个 Spark 概述以后不能立刻就去编写代码,首先要有一个 Spark 集群,有了集群以后再进行半个编写,所以在入门案例之前要先去进行Spark集群的搭建,集群的搭建结束了以后就可以具体的去执行代码,这边写代码,类似于学习 Java , Hello Word ,这个 Hello Word 它里面有很多细节,需要再去详细的展开的,抽丝剥茧式的一点点去给它说明白说清楚。

所以,在整个 Spark 的最后一部分,要去进行一个 RDD 的入门,通过 RDD 的入门,详细介绍一下这个入门案例当中所涉及到的一些细节。

image.png

这是整个 Spark core 的一个这个大致的一个讲述的脉络,以及整个 Spark 基础的大致的一个组成,课程应该是展开的方式。

相关文章
|
1天前
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
|
6月前
|
缓存 分布式计算 并行计算
Spark3:RDD概述
Spark3:RDD概述
86 0
|
6月前
|
SQL 存储 分布式计算
Spark1:概述
Spark1:概述
74 0
|
6月前
|
SQL 分布式计算 数据挖掘
197 Spark DataFrames概述
197 Spark DataFrames概述
40 0
|
8月前
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
166 0
|
1天前
|
SQL 分布式计算 API
Spark学习------SparkSQL(概述、编程、数据的加载和保存)
Spark学习------SparkSQL(概述、编程、数据的加载和保存)
|
1天前
|
分布式计算 Java Scala
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
|
1天前
|
SQL 分布式计算 Java
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
Spark学习---SparkSQL(概述、编程、数据的加载和保存、自定义UDFA、项目实战)
141 1
|
1天前
|
分布式计算 并行计算 Hadoop
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
|
1天前
|
分布式计算 资源调度 监控
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
115 1