开发者社区> 问答> 正文

spark有哪些组件?

spark有哪些组件?

展开
收起
茶什i 2019-10-25 16:12:54 2047 0
1 条回答
写回答
取消 提交回答
  • 主要有如下组件:
    1)master:管理集群和节点,不参与计算。
    2)worker:计算节点,进程本身不参与计算,和master汇报。
    3)Driver:运行程序的main方法,创建spark context对象。
    4)spark context:控制整个application的生命周期,包括dagsheduler和task scheduler等组件。
    5)client:用户提交程序的入口。

    2019-10-25 16:18:15
    赞同 1 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载