大家好,请教个问题,在sparkStreaming,我实现了StreamingListener 的接口,用于监控数据堆积的情况,在 onBatchCompleted 判断后调用 stop 会抛出 Cannot stop StreamingContext within listener thread of SparkListenerBus 的异常,异常是在下面源码截图中抛出来的,说我当前实时监控的线程还存在不允许stop ,有些不解,哪位大佬给指点下,是我操作不当?还是再做stop 时需要满足什么条件?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

大家好,请教个问题,在sparkStreaming,我实现了StreamingListener 的接口,用于监控数据堆积的情况,在 onBatchCompleted 判断后调用 stop 会抛出 Cannot stop StreamingContext within listener thread of SparkListenerBus 的异常,异常是在下面源码截图中抛出来的,说我当前实时监控的线程还存在不允许stop ,有些不解,哪位大佬给指点下,是我操作不当?还是再做stop 时需要满足什么条件?

社区小助手 2019-05-23 09:43:18 1981

下图是我写的代码,以及源码抛异常的地方。
2
3

监控
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:35:53

    onBatchComplete里面不可以调用ssc.stop,不然岂不是一个batch做完的时候,整个作业就被关掉了。ssc.stop在所有的listener里面都不应该调用

    0 0
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程