Spark的standalone运行模式的运行流程是什么？
Spark的standalone运行模式的运行流程是什么？
展开
收起
1
条回答
写回答
写回答
-
1）当spark集群启动以后，worker节点会有一个心跳机制和master保持通信；
2）SparkContext连接到master以后会向master申请资源，而master会根据worker心跳来分配worker的资源，并启动worker的executor进程；
3）SparkContext将程序代码解析成dag结构，并提交给DagScheduler；
4）dag会在DagScheduler中分解成很多stage，每个stage包含着多个task；
5）stage会被提交给TaskScheduler，而TaskScheduler会将task分配到worker，提交给executor进程，executor进程会创建线程池去执行task，并且向SparkContext报告执行情况，直到task完成；
6）所有task完成以后，SparkContext向Master注销并释放资源；
2021-12-10 20:45:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
