SparkSQL 初识_2

简介: 快速学习 SparkSQL 初识_2

开发者学堂课程【大数据实时计算框架 Spark 快速入门SparkSQL 初识_2】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/100/detail/1699


SparkSQL 初识_2


内容简介

一、accumulator 在 Scala 运用

二、accumulator 在 Java 运用

三、RED 缓存

四、执行结果

 

一、accumulator 在 Scala 运用

Scala

scala >val accum =sc. accumulator(0,My Accumulator")

accum: spark. Accumulator[Int]=0

scala >sc. parallelize(Array(1,2,3,4)).foreach(x=> accum+= x)

10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala>accum, value

res2: Int=10


二、accumulator 在 Java 运用

Java

Accumultor accum=sc. accumulator(0);

sc.parallelize(Arrays.aslist(1,2,3,4)).foreach(x=> accum.add x)

//…

//10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

accum.value();

//returns 10

 

三、RED缓存

image.png

image.png

四、执行结果
图片1.png图片1.png

图片1.png

SQL 模块 http://spark.apacho.org/sql/

相关文章
|
6月前
|
SQL 存储 缓存
Paimon与Spark
Paimon与Spark
255 1
|
SQL 机器学习/深度学习 分布式计算
Spark5:SparkSQL
Spark5:SparkSQL
107 0
|
6月前
|
SQL 分布式计算 API
深入了解sparkSession
深入了解sparkSession
187 0
|
6月前
|
消息中间件 分布式计算 关系型数据库
|
SQL 分布式计算 HIVE
spark2.2 SparkSession思考与总结1
spark2.2 SparkSession思考与总结1
108 0
spark2.2 SparkSession思考与总结1
|
SQL 存储 缓存
让你真正理解什么是SparkContext, SQLContext 和HiveContext
让你真正理解什么是SparkContext, SQLContext 和HiveContext
303 0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
|
SQL 分布式计算
SparkSQL实践
SparkSQL实战:统计用户及商品数据指标,包含以下三张表
166 0
SparkSQL实践
|
SQL JSON 分布式计算
SparkSQL 是什么_适用场景 | 学习笔记
快速学习 SparkSQL 是什么_适用场景
321 0
|
SQL 分布式计算 数据挖掘
SparkSQL初识_4
快速学习SparkSQL初识_4
133 0
|
缓存 分布式计算 算法
SparkSQL 初识_1
快速学习 SparkSQL 初识_1
143 0