比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的做法就是：能定义在计算函数内的方法就定义在里面。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
2019-06-01
716
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。
目录
相关文章
|
Web App开发
Java
Apache
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
2014-08-25 15:35:05,691 ERROR org.apache.hadoop.hdfs.server.datanode.
874
0
0
|
Web App开发
存储
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
1.HBase依赖于HDFS,HBase按照列族将数据存储在不同的hdfs文件中；MongoDB直接存储在本地磁盘中,MongoDB不分列，整个文档都存储在一个（或者说一组）文件中 (存储)
2.
694
0
0
|
Web App开发
监控
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
已发现2个内存错误，应用名称（kernel:）,日志内容(hangzhou-jishuan-DDS0248 kernel: sbridge: HANDLING MCE MEMORY ERROR hangzhou-jis...
819
0
0
|
Web App开发
数据库
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
可伸缩系统的架构经验
Feb 27th, 2013 |
Comments
最近，阅读了Will Larson的文章Introduction to Architecting System for Scale，感觉很有价值。
2007
0
0
|
Web App开发
前端开发
Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
Math.abs为Integer.Min_VALUE返回错误的值 这段代码：
System.out.println(Math.
733
0
0
|
Web App开发
前端开发
Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
Connection reset by peer的常见原因：
1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；
如果知道实际连接服务器的并发客户数没有超过服务器的承载量，看下有没有网络流量异常。
826
0
0
|
Web App开发
前端开发
Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
异常信息如下：
2015-12-09 17:39:20,310 ERROR datanode.DataNode (DataXceiver.
859
0
0
|
Web App开发
Java
Apache
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
异常信息如下：
java.io.IOException: Failed on local exception: java.nio.
811
0
0
|
新零售
监控
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
千万级规模高性能、高并发的网络架构经验分享
主 题 ：INTO100沙龙时间 ：2015年11月21日下午地点 ：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、音视频通讯系统、分布式文件系统和数据挖掘等领域。
1198
0
0
|
Web App开发
前端开发
程序员
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
如何建立一个“铁打的营盘”？
中国有句古话，叫做铁打的营盘流水的兵。
我相信，创业初期，当团队里有人离开的时候，肯定有不少创业者拿这句话来安慰自己。
779
0
0
热门文章
最新文章
1
深入解析：HTTP和HTTPS的三次握手与四次挥手
2
SpringBoot项目调用HTTP接口5种方式你了解多少？
3
推荐：实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架，支持大并发连接请求
4
http转为https，ssl证书安装及nginx配置
5
推荐一个比较好用的c++版本http协议库-cpp-httplib
6
TCP/IP、Http、Socket之间的区别
7
网络原理(4)HTTP协议（下）
8
slb监听协议http
9
【计算机协议】第一章——HTTP协议详解
10
HTTP-FLV详解及分析（二）
1
Swagger基本使用与RestTemplate发送http接口测试
8
2
Servlet 教程 之 Servlet HTTP 状态码 3
10
3
Servlet 教程 之 Servlet 服务器 HTTP 响应 3
14
4
Servlet 教程 之 Servlet 客户端 HTTP 请求 2
19
5
http和https的区别！
6
6
TCP/IP、Http、Socket之间的区别
31
7
数据采集时使用HTTP代理IP效率不高怎么办？
13
8
【计算机协议】第一章——HTTP协议详解
20
9
什么是http状态码？
7
10
国外HTTP代理如何解决账号关联问题？
10