开发者社区> 问答> 正文

Spark技术栈的组件是什么?

Spark技术栈的组件是什么?

展开
收起
芯在这 2021-12-06 23:30:59 240 0
1 条回答
写回答
取消 提交回答
  • Spark core

    是其它组件的基础,spark的内核 主要包含:有向循环图、RDD、Lingage、Cache、broadcast等

    SparkStreaming

    是一个对实时数据流进行高通量、容错处理的流式处理系统 将流式计算分解成一系列短小的批处理作业

    Spark sql:

    能够统一处理关系表和RDD,使得开发人员可以轻松地使用SQL命令进行外部查询

    MLBase

    是Spark生态圈的一部分专注于机器学习,让机器学习的门槛更低 MLBase分为四部分:MLlib、MLI、ML Optimizer和MLRuntime。

    GraphX

    是Spark中用于图和图并行计算

    2021-12-06 23:33:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载