开发者社区> 问答> 正文

Spark端到端流程是什么?

Spark端到端流程是什么?

展开
收起
xin在这 2021-12-05 20:01:15 203 0
1 条回答
写回答
取消 提交回答
  • Spark的Driver Program (简称Driver)包含用户的应用程序,Driver完成task的解析和生成。

    Driver向Cluster Manager(集群资源管理器)申请运行task需要的资源。 集群资源管理器为task分配满足要求的节点,并在节点按照要求创建Executor 创建的Executor向Driver注册。 Driver将Spark应用程序的代码和文件传送给分配的Executor Executor运行task,运行完之后将结果返回给Driver或者写入HDFS或其他介质。

    2021-12-05 22:22:36
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载