开发者社区> 问答> 正文

Spark Streaming作业运行一段时间后无故结束?

Spark Streaming作业运行一段时间后无故结束?

展开
收起
Puppet 2020-03-20 10:02:00 951 0
1 条回答
写回答
取消 提交回答
  • A:首先检查Spark版本是否是1.6之前版本。Spark 1.6修复了一个内存泄漏的BUG,这个BUG会导致container内存超用然后被中止掉(当然,这只是可能的原因之一,不能说明Spark 1.6 不存在任何问题)。此外,检查自己的代码在使用内存上有没有做好优化。

    2020-03-20 10:02:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载