开发者社区> 问答> 正文

Spark Streaming的应用程序的编写的步骤是什么?

Spark Streaming的应用程序的编写的步骤是什么?

展开
收起
游客daliwbfb2wo66 2021-12-07 20:05:47 413 0
1 条回答
写回答
取消 提交回答
  • 1.定义一个输入流源,比如获取socket端的数据,HDFS,kafka中数据等等

    2.定义一系列的处理转换操作,比如上面的map,reduce操作等等,Spark Streaming也有类似于SparkCore的transformation操作

    3.启动程序收集数据(start())

    4.等待程序停止(遇到错误终止或者手动停止awaitTermination())

    5.手动终止应用程序(stop())

    2021-12-07 20:06:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载