开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:课程结构】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/689/detail/11956
课程结构
课程内容总结
进入 Spark core 扩展的这一章节,在这一章节当中,先用总分总的结构,把整个内容大致总结出来。
Spark core 扩展部分,第一部分的内容是深入了解 rdd,深入了解之后,再更多的去了解滴滴如何使用,如何使用小的算子,包括这些算子的分类,那么更多的了解如何使用了之后,再去探讨一些高级的一些东西,接下里去了解 spark core 它的这个原理是怎么样的,怎么去调度,大致分为什么样的执行计划。
原理弄清楚之后,接下来去看一下 spark core 当中的一些高级特性,分为两大高级特性。了解这两大高级特性,分为两个步骤,首先先去了解一个案例,通过一个案例去了解 rdd 如何去使用,接下来就针对于这个案例提出一些问题,并进行解答操作。
充分了解之后,对 rdd 进行一个新的定义。深入定义后,再去了解 rdd 内部的东西。最后一部分是总结的部分,总结rdd 的五大特性,即深入了解内容的四个板块内容。