开发者学堂课程【大数据实时计算框架Spark快速入门： hive数据源，yarn集群测试，SQL分组取topN-2】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/100/detail/1715
hive 数据源，yarn 集群测试， SQL 分组取topN-2
内容介绍：
一、具体内容
二、操作过程
一、具体内容
hive 的窗口不用一直开着，只要验证一下可以连上就行，我们执行 master 模式，找到地址，如果能够看到下面的两行，则是可以看见 collect 了， for 循环出来了，但在之前是 saveastable hivecontext.
已经存了的，所以在后面 hiveconect 才可以读到，最后在 hive 里面要取这个表，上一次在 hive 里面什么表也没有，那这一次刨完之后再设置 table。
二、操作过程
首先有两张表，一个 student infos 另一个则是 student scores ，这两个是我们加载本文件导进去的，接着经过运算后， join 就会生成新的表，以后读数据并不是需要每次导一个数据进去，有可能 hive 表已经存在了，不需要每次都一样，下面换成 class 模式来执行会有一个显而易见的问题，炸包会找不到，那么同样在这个地方上传上去，地址并没有改，下面的 running drivers 则可以直接跟到 drivers 来，那么 running 还在执行，会源源不断输出东西来，running drivers 那个驱动程序，cores则是占了一个核那么就是默认一个driver就会是一个核，默认一个 sql 里面一个G的内存，那么默认一个 application 两个 cores 每个 menory per node一个G。
