SparkSQL 初识_2

简介: 快速学习 SparkSQL 初识_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门SparkSQL 初识_2】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/100/detail/1699


SparkSQL 初识_2


内容简介

一、accumulator 在 Scala 运用

二、accumulator 在 Java 运用

三、RED 缓存

四、执行结果

 

一、accumulator 在 Scala 运用

Scala

scala >val accum =sc. accumulator(0,My Accumulator")

accum: spark. Accumulator[Int]=0

scala >sc. parallelize(Array(1,2,3,4)).foreach(x=> accum+= x)

10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala>accum, value

res2: Int=10


二、accumulator 在 Java 运用

Java

Accumultor accum=sc. accumulator(0);

sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)

//…

//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.value();

//returns 10

 

三、RED缓存

image.png

image.png

四、执行结果
图片1.png图片1.png

图片1.png

SQL 模块 http://spark.apacho.org/sql/

目录
打赏
0
0
0
0
42
分享
相关文章
深入了解sparkSession
深入了解sparkSession
269 0
spark2.2 SparkSession思考与总结1
spark2.2 SparkSession思考与总结1
121 0
spark2.2 SparkSession思考与总结1
让你真正理解什么是SparkContext, SQLContext 和HiveContext
让你真正理解什么是SparkContext, SQLContext 和HiveContext
332 0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
SparkSQL实践
SparkSQL实战:统计用户及商品数据指标,包含以下三张表
192 0
SparkSQL实践
spark2的SparkSession思考与总结2:SparkSession有哪些函数及作用是什么
spark2的SparkSession思考与总结2:SparkSession有哪些函数及作用是什么
316 0