开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段:Spark 概述_目标】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/688/detail/11933
Spark 概述_目标
Spark基础:
由各个组件构成的多用途的计算框架,集合了各种组件
1.Spark Core:
Spark 的核心 ,Core 是核心的意思,Spark Core 是所有 Spark工具里最底层最核心的东西,在 Spark Core 的基础上又构建了针对于不同特定领域的一些工具
2.SparkSQL :
针对结构化的数据集来进行处理
3. SparkStreaming
进行流式的计算,使用的框架来进行计算
整个 Spark 基础部分的大致安排是按照 Spark 各个组件脉络来进行展开, SparkCore 是整个 Spark 部分最基础最核心的一个内容,介绍完 SparkCore 之后有必要对其进行一个扩展:主要说的是 SparkCore 的一个核心原理 说一些高级特性。
第一部分 SparkCore :
Spark 的基础,在整个 Spark 基础部分,一个最核心的就是去编写 Spark 的基础案例
在编写好 Spark 的入门案例之前,要先了解一个 Spark 的概述:
了解过这个 Spark 概述以后不能立刻就去编写代码,首先要有一个 Spark 集群,有了集群以后再进行半个编写,所以在入门案例之前要先去进行Spark集群的搭建,集群的搭建结束了以后就可以具体的去执行代码,这边写代码,类似于学习 Java , Hello Word ,这个 Hello Word 它里面有很多细节,需要再去详细的展开的,抽丝剥茧式的一点点去给它说明白说清楚。
所以,在整个 Spark 的最后一部分,要去进行一个 RDD 的入门,通过 RDD 的入门,详细介绍一下这个入门案例当中所涉及到的一些细节。
这是整个 Spark core 的一个这个大致的一个讲述的脉络,以及整个 Spark 基础的大致的一个组成,课程应该是展开的方式。