spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉
我用spark stream每两分钟从kafka拉取数据，用的是standalone模式，但是程序总是运行三四个小时左右就会挂掉，查了很久不知道什么原因。 提交程序的节点work目录下的stderr文件最后的打印是这样的： 
我看进程死掉前的内存情况也挺健康的，截图如下： 
展开
收起
1
条回答
写回答
写回答
-
长期从事大数据系统与产品研发。这种要看下executor是什么原因退出了，sigterm一般都是被杀掉了，去看下是yan的行为还是driver的行为，逐步追查原因吧
2020-03-20 09:27:46赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
