开发者社区> 问答> 正文

spark有哪些组件?

spark有哪些组件?

展开
收起
不语奈何 2019-11-08 19:05:13 1531 0
2 条回答
写回答
取消 提交回答
  • Spark提供了一系列面向不同应用需求的组件,主要有Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。

    2020-03-19 19:18:58
    赞同 展开评论 打赏
  • 精于基础,广于工具,熟于业务。

    Master:管理集群和节点,不参与计算。

    Worker:计算节点,进程本身不参与计算,和master汇报。

    Driver:运行程序的main方法,创建sparkcontext对象。

    Spark context:控制整个application的生命周期,包括DAGSchedular和TaskSchedular等组件。

    Client:用户提交程序的入口

    2019-11-08 19:07:02
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Spark介绍及Spark多数据源分析 立即下载
Spark Autotuning 立即下载
Spark and S3 立即下载