比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的做法就是：能定义在计算函数内的方法就定义在里面。
[Spark经验一]Spark RDD计算使用的函数里尽量不要使用全局变量
2016-03-19
1209
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。
目录
相关文章
|
2月前
|
存储
分布式计算
并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
49
0
0
|
3月前
|
分布式计算
大数据
Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
79
5
5
|
3月前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
60
3
3
|
3月前
|
存储
分布式计算
算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
80
0
0
|
3月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
53
4
4
|
3月前
|
JSON
分布式计算
大数据
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
大数据-85 Spark 集群 RDD创建 RDD-Action Key-Value RDD详解 RDD的文件输入输出
46
1
1
|
3月前
|
分布式计算
Java
大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
50
0
0
|
3月前
|
消息中间件
分布式计算
Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
41
0
0
|
3月前
|
SQL
分布式计算
大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
93
0
0
|
3月前
|
SQL
分布式计算
大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
56
0
0
热门文章
最新文章
1
【大数据架构】Apache Flink和Apache Spark—比较指南
2
Spark-spark streaming
3
Spark PruneDependency 依赖关系 RangePartitioner
4
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
5
利用闪存优化在Cosco基础上的Spark Shuffle
6
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
7
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
8
Spark Shell入门教程（上）
9
Spark Stage切分 源码剖析——DAGScheduler
10
Spark中广播变量详解
1
spark用于分析数据并将数据保存到数据库中是
82
2
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
103
3
如何解决Spark在深度学习中的资源消耗问题？
97
4
Spark在深度学习中的优缺点是什么？
278
5
使用Spark进行机器学习
95
6
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
159
7
【Spark】Spark基础教程知识点
99
8
DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
200
9
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
158
10
MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
92