用java写的Spark程序在运行时报错“org.apache.spark.Sp?报错
用java写的Spark程序在运行时报错“org.apache.spark.SparkException: Task not serializable”，我在一个类里实现数据处理的功能，main函数定义在另一个类内部，在main函数中调用前一个类中的方法。虽然两个类都实现了Serilizable接口，但是还是无济于事。求大虾赐教！
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB我也是刚遇到这个问题，同求解！回复<aclass='referer'target='_blank'>@xiaoquanYe:不好意思，我刚才说的方式是不行的，其实和之前一样，在想办法。回复<aclass='referer'target='_blank'>@xiaoquanYe:我这边是这样解决的，就是重新写了个类，这个类实现Function接口，然后在map方法中调用这个实体类就可以了！回复<aclass='referer'target='_blank'>@龙爱李:我的问题刚刚解决了，主要是在读取SequenceFile文件的时候得到JavaPairRDD<Text,Text>,Text没有实现Serializable,用mapToPair把它转换成JavaPairRDD<String,String>再使用即可，奇怪的是我之前就这样做过但是没有成功，今天又再次尝试之后就成功了，晕。回复<aclass='referer'target='_blank'>@xiaoquanYe:还没有你的问题解决没有
2020-06-14 17:05:55赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关文章
相关电子书
更多
