开发者学堂课程【大数据实时计算框架 Spark 快速入门:SparkSQL 初识_2】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1699
SparkSQL 初识_2
内容简介
一、accumulator 在 Scala 运用
二、accumulator 在 Java 运用
三、RED 缓存
四、执行结果
一、accumulator 在 Scala 运用
Scala
scala >
val
accum
=
sc. accumulator(
0
,
”
My Accumulator")
accum: spark. Accumulator[Int]
=0
scala >sc. parallelize(
Array
(
1,2,3,4
)).foreach(x
=>
accum+= x)
…
10
/
09
/
29
18
:41:08
INFO SparkContext: Tasks finished in
0.317106 s
scala>accum, value
res2:
Int
=10
二、accumulator 在 Java 运用
Java
Accumultor accum=sc. accumulator(
0
);
sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)
//…
//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s
accum.
value
()
;
//returns 10
三、RED缓存
四、执行结果
SQL 模块 http://spark.apacho.org/sql/