SparkSQL 初识_2

简介: 快速学习 SparkSQL 初识_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门SparkSQL 初识_2】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/100/detail/1699


SparkSQL 初识_2


内容简介

一、accumulator 在 Scala 运用

二、accumulator 在 Java 运用

三、RED 缓存

四、执行结果

 

一、accumulator 在 Scala 运用

Scala

scala >val accum =sc. accumulator(0,My Accumulator")

accum: spark. Accumulator[Int]=0

scala >sc. parallelize(Array(1,2,3,4)).foreach(x=> accum+= x)

10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala>accum, value

res2: Int=10


二、accumulator 在 Java 运用

Java

Accumultor accum=sc. accumulator(0);

sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)

//…

//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.value();

//returns 10

 

三、RED缓存

image.png

image.png

四、执行结果
图片1.png图片1.png

图片1.png

SQL 模块 http://spark.apacho.org/sql/

相关文章
|
7月前
|
SQL 存储 缓存
Paimon与Spark
Paimon与Spark
275 1
|
SQL 机器学习/深度学习 分布式计算
Spark5:SparkSQL
Spark5:SparkSQL
111 0
|
4月前
|
SQL 机器学习/深度学习 分布式计算
|
6月前
|
SQL 分布式计算 大数据
PySpark
【6月更文挑战第15天】PySpark
84 6
|
SQL 分布式计算 HIVE
spark2.2 SparkSession思考与总结1
spark2.2 SparkSession思考与总结1
113 0
spark2.2 SparkSession思考与总结1
|
SQL 存储 缓存
让你真正理解什么是SparkContext, SQLContext 和HiveContext
让你真正理解什么是SparkContext, SQLContext 和HiveContext
315 0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
|
SQL 分布式计算
SparkSQL实践
SparkSQL实战:统计用户及商品数据指标,包含以下三张表
176 0
SparkSQL实践
|
SQL 缓存 分布式计算
spark2的SparkSession思考与总结2:SparkSession有哪些函数及作用是什么
spark2的SparkSession思考与总结2:SparkSession有哪些函数及作用是什么
296 0
|
SQL JSON 分布式计算
SparkSQL 是什么_适用场景 | 学习笔记
快速学习 SparkSQL 是什么_适用场景
327 0
|
缓存 分布式计算 算法
SparkSQL 初识_1
快速学习 SparkSQL 初识_1
145 0