比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的做法就是：能定义在计算函数内的方法就定义在里面。
[Spark经验一]Spark RDD计算使用的函数里尽量不要使用全局变量
2016-03-19
1229
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。
目录
相关文章
|
10月前
|
存储
分布式计算
并行计算
【赵渝强老师】Spark中的RDD
RDD（弹性分布式数据集）是Spark的核心数据模型，支持分布式并行计算。RDD由分区组成，每个分区由Spark Worker节点处理，具备自动容错、位置感知调度和缓存机制等特性。通过创建RDD，可以指定分区数量，并实现计算函数、依赖关系、分区器和优先位置列表等功能。视频讲解和示例代码进一步详细介绍了RDD的组成和特性。
178
0
0
|
11月前
|
存储
分布式计算
算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
175
0
0
|
7月前
|
分布式计算
Spark
【赵渝强老师】Spark RDD的依赖关系和任务阶段
Spark RDD之间的依赖关系分为窄依赖和宽依赖。窄依赖指父RDD的每个分区最多被一个子RDD分区使用，如map、filter操作；宽依赖则指父RDD的每个分区被多个子RDD分区使用，如分组和某些join操作。窄依赖任务可在同一阶段完成，而宽依赖因Shuffle的存在需划分不同阶段执行。借助Spark Web Console可查看任务的DAG图及阶段划分。
251
15
15
|
7月前
|
存储
缓存
分布式计算
【赵渝强老师】Spark RDD的缓存机制
Spark RDD通过`persist`或`cache`方法可将计算结果缓存，但并非立即生效，而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除，建议结合检查点机制保证容错。示例中，读取大文件并多次调用`count`，使用缓存后执行效率显著提升，最后一次计算仅耗时98ms。
145
0
0
|
11月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
126
4
4
|
11月前
|
分布式计算
Java
大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
124
0
0
|
11月前
|
消息中间件
分布式计算
Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
121
0
0
|
11月前
|
SQL
分布式计算
大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
265
0
0
|
11月前
|
SQL
分布式计算
大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
141
0
0
|
11月前
|
缓存
分布式计算
大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
169
0
0
热门文章
最新文章
1
阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
2
Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
3
开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
4
Spark源码分析之二：Job的调度模型与运行反馈
5
Spark中的常用算子
6
Spark Mllib里如何将trainDara训练数据文件里第一行是字段名不是数据给删除掉（图文详解）
7
Apache Spark，Parquet和麻烦的Null
8
[大数据之Spark]——Actions算子操作入门实例
9
不通过 Spark 获取 Delta Lake Snapshot
10
查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令
1
阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
123
2
springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
107
3
Spark SQL架构及高级用法
198
4
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
161
5
一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
130
6
Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
137
7
3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
320
8
从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
158
9
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
248
10
鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
444