SparkSQL 初识_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门：SparkSQL 初识_2】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/100/detail/1699

SparkSQL 初识_2

内容简介

一、accumulator 在 Scala 运用

二、accumulator 在 Java 运用

三、RED 缓存

四、执行结果

一、accumulator 在 Scala 运用

Scala

scala >val accum =sc. accumulator(0,”My Accumulator")

accum: spark. Accumulator[Int]=0

scala >sc. parallelize(Array(1,2,3,4)).foreach(x=> accum+= x)

…

10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala>accum, value

res2: Int=10

二、accumulator 在 Java 运用

Java

Accumultor accum=sc. accumulator(0);

sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)

//…

//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.value();

//returns 10

三、RED缓存

四、执行结果

SQL 模块 http://spark.apacho.org/sql/