spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

2019-12-20 21:25:15 1007 1

我用spark stream每两分钟从kafka拉取数据,用的是standalone模式,但是程序总是运行三四个小时左右就会挂掉,查了很久不知道什么原因。 提交程序的节点work目录下的stderr文件最后的打印是这样的: image.png 我看进程死掉前的内存情况也挺健康的,截图如下: image.png

取消 提交回答
全部回答(1)
  • 明朔
    2020-03-20 09:27:46

    这种要看下executor是什么原因退出了,sigterm一般都是被杀掉了,去看下是yan的行为还是driver的行为,逐步追查原因吧

    0 0
相关问答

0

回答

spark运行出现方法找不到

2017-06-13 09:06:40 2972浏览量 回答数 0

1

回答

Noxmobi系统使用流式计算Spark Streaming的要求有哪些?

2021-12-08 18:27:58 426浏览量 回答数 1

1

回答

Noxmobi系统使用流式计算Spark Streaming的目的是什么?

2021-12-08 18:25:33 427浏览量 回答数 1

1

回答

Spark Streaming中的JobGenerator的作用是什么?

2021-12-07 20:14:49 192浏览量 回答数 1

1

回答

Spark Streaming是干什么的?

2021-11-12 19:10:18 661浏览量 回答数 1

1

回答

Spark Streaming 解决了哪些问题?

2021-11-12 19:10:18 663浏览量 回答数 1

1

回答

spark streaming job运行卡住

2021-01-21 10:52:16 1480浏览量 回答数 1

1

回答

Spark Streaming SQL是什么?

2021-01-07 16:29:39 841浏览量 回答数 1

1

回答

使用Spark Streaming SQL进行 PV/UV统计的准备工作?

2020-12-28 11:39:00 474浏览量 回答数 1

1

回答

如何使用Spark Streaming SQL进行 PV/UV统计?

2020-12-28 11:38:30 548浏览量 回答数 1
+关注
文章
问答
问答排行榜
最热
最新
相关电子书
更多
Spark App自动化故障分析与诊断
立即下载
spark替代HIVE实现ETL作业
立即下载
基于SparkSQL的海量数据仓库设计与实践
立即下载