开发者学堂课程【大数据 Spark2020最新课程(知识精讲与实战演练)第一阶段:Spark 入门_代码编写方式】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/688/detail/11944
Spark 入门_代码编写方式
回顾:
之前已经了解到 spark 的概述以及如何搭建 spark 集群,编写代码之前,需注意编写代码的两种方式:
spark shell 是一种交互式的命令窗口,可动态的看到执行结果;独立应用的方式就是把 spark 代码编写完之后提交到集群里或者在本地测试运行。
假设需要完成一个数据分析的任务
首先
1.观察数据集
2.编写代码
3.固化代码,提交集群运行上线。
若顺利完成1、2两步骤,需每次都要提交集群运行并且长时间等待结果,此类过程繁琐,
因而编写代码存在两种方式来解决此类问题:
spark-shell (数据集的探索;测试)
独立应用(上线,放在集群运行)