开发者社区> 问答> 正文

Spark Streaming处理数据的特点是什么?

Spark Streaming处理数据的特点是什么?

展开
收起
游客daliwbfb2wo66 2021-12-07 20:45:53 337 0
1 条回答
写回答
取消 提交回答
  • 在内部,它的工作原理如下。 Spark Streaming接收实时输入数据流并将数据分成批,然后由Spark引擎处理,以批量生成最终结果流。

    Spark Streaming提供了一个高层抽象,称为discretized stream或DStream,它表示连续的数据流。 DStream可以通过Kafka,Flume和Kinesis等来源的输入数据流创建,也可以通过在其他DStream上应用高级操作来创建。在内部,DStream表示为一系列RDD。

    2021-12-07 20:46:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载