开发者社区> 问答> 正文

大家好,请教个问题,在sparkStreaming,我实现了StreamingListener 的接口,用于监控数据堆积的情况,在 onBatchCompleted 判断后调用 stop 会抛出 Cannot stop StreamingContext within listener thread of SparkListenerBus 的异常,异常是在下面源码截图中抛出来的,说我当前实时监控的线程还存在不允许stop ,有些不解,哪位大佬给指点下,是我操作不当?还是再做stop 时需要满足什么条件?

下图是我写的代码,以及源码抛异常的地方。
2
3

展开
收起
社区小助手 2019-05-23 09:43:18 4623 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    onBatchComplete里面不可以调用ssc.stop,不然岂不是一个batch做完的时候,整个作业就被关掉了。ssc.stop在所有的listener里面都不应该调用

    2019-07-17 23:35:53
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
多IO线程优化版 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载