开发者社区> 问答> 正文

Spark Streaming中的StreamingContext的注意事项有哪些?

Spark Streaming中的StreamingContext的注意事项有哪些?

展开
收起
游客k7rjnht6hbtk6 2021-12-12 09:44:35 314 0
1 条回答
写回答
取消 提交回答
  • (1)与其它Spark组件联用时

    1、一个JVM同时只能有一个StreamingContext启动。在你的应用程序中,不能创建两个StreamingContext。

    2、调用stop()方法时,会同时停止内部的SparkContext,如果不希望如此,还希望后面继续使用SparkContext创建其他类型的Context,比如SQLContext,那么就用stop(false)。

    3、一个SparkContext可以创建多个StreamingContext,只要上一个先用stop(false)停止,再创建下一个即可。

    (2)start,stop方法详解

    1、只要一个StreamingContext启动之后,就不能再往其中添加任何计算逻辑了。比如执行start()方法之后,还给某个DStream执行一个算子。

    2、一个StreamingContext停止之后,是肯定不能够重启的。调用stop()之后,不能再调用start()

    2021-12-12 09:45:05
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载