比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的做法就是：能定义在计算函数内的方法就定义在里面。
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont
2019-06-01
751
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。
目录
相关文章
|
Web App开发
前端开发
|
Web App开发
监控
前端开发
|
Web App开发
监控
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
Datanode的日志中看到: 10/12/14 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.
712
0
0
|
Web App开发
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
ERROR: Region { meta => month_hotstatic,860010-2288000000_201405_5_exit_00000047486,1400144486405.
673
0
0
|
Web App开发
存储
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
1.HBase依赖于HDFS,HBase按照列族将数据存储在不同的hdfs文件中；MongoDB直接存储在本地磁盘中,MongoDB不分列，整个文档都存储在一个（或者说一组）文件中 (存储)
2.
755
0
0
|
Web App开发
监控
前端开发
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin 日志位置:/var/log/hadoop)1.登陆服务器，切换到mapred用户，执行jps命令，查看是否有TaskTracker进程。
1032
0
0
|
Web App开发
Apache
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
参考，
https://cwiki.apache.org/confluence/display/KAFKA/System+Tools
https://cwiki.
708
0
0
|
Web App开发
前端开发
Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
服务端需在vm arguments一栏下加上 -agentlib:jdwp=transport=dt_socket,server=y,address=8000
并以run模式启动
如果以debug模式启动服务端...
736
0
0
|
Web App开发
前端开发
Java
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
Connection reset by peer的常见原因：
1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；
如果知道实际连接服务器的并发客户数没有超过服务器的承载量，看下有没有网络流量异常。
878
0
0
|
Web App开发
前端开发
程序员
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta http-equiv="Cont
Facebook 内部分享：不论你如何富有，你都赚不到更多的时间，你也回不到过去。没有那么多的假如，只有指针滴答的时光飞逝和你应该好好把握的现在，以下25张PPT的分享将为您带来时间价值管理的技巧。
631
0
0
热门文章
最新文章
1
ELK实现nginx、mysql、http的日志可视化实验
2
HTTP常见的请求方法、响应状态码、接口规范介绍
3
网页显示HTTP错误503怎么办？HTTP错误503解决方法
4
动态HTTP代理IP的使用案例与成功经验分享有哪些？
5
Reqable：跨平台HTTP开发与调试工具
6
短效HTTP代理IP的优点表现在哪些方面？
7
深入理解HTTP/2：nghttp2库源码解析及客户端实现示例
8
探寻HTTP代理IP访问站点失败的背后因素
9
【杂谈】-MQTT与HTTP在物联网中的比较：为什么MQTT是更好的选择
10
动态HTTP代理与静态HTTP代理的区别及HTTP代理的常见用途与类型
1
网络协议详解：TCP/IP与HTTP
143
2
http和https的区别是什么？
340
3
http相关面试题，拿去吧
46
4
HTTP和HTTPS的区别，你真的了解吗？
168
5
从零开始掌握HTTP协议：全面详解1.0、1.1和2.0
219
6
《吐血整理》保姆级系列教程-玩转Fiddler抓包教程(4)-会话面板和HTTP会话数据操作详解
114
7
Flutter dio http 封装指南说明
231
8
什么是RPC？RPC和HTTP对比？RPC有什么缺点？市面上常用的RPC框架？
608
9
常用工具类---SQL工具，HTTP工具
76
10
《吐血整理》保姆级系列教程-玩转Fiddler抓包教程(1)-HTTP和HTTPS基础知识
126