AI 助理
备案控制台登录注册
开发者社区 问答 正文

spark中的stage根据什么决定task个数？

spark中的stage根据什么决定task个数？

展开
收起
游客y244y7ln2rlpa 2021-12-06 22:53:16 706 分享
分享
 版权
举报

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 游客ml767kj7wes6q

    spark中Stage是一个TaskSet，将Stage根据分区数划分成一个个的Task。

    2021-12-06 22:53:43 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答分类：
分布式计算 Spark
问答标签：
apache spark stage task apache spark stage apache spark Task
问答地址：
开发者社区 > 大数据 > 问答
相关问答
maxcomputer 提交spark jar 包任务 报错： [TASK=564401841
270
2
0
请教一个问题。我在用spark读取hbase数据时，默认是一个regoin一个task。发现有些re
1153
0
0
spark当中Job 和 Task 怎么理解？
736
1
0
spark当中的Stage具体是什么意思？
760
1
0
Spark程序执行，有时候默认为什么会产生很多task，怎么修改默认task执行个数？
678
1
0
Spark中DAGScheduler监控Job与Task是什么？
405
1
0
Spark中将DAG划分为Stage剖析是什么？
404
1
0
Spark中Application多个job多个Stage是什么？
482
1
0
Spark中将DAG划分为Stage的划分依据是什么？
775
1
0
Spark中将DAG划分为Stage核心算法是什么？
331
1
0
AI助理

你好，我是AI助理

可以解答问题、推荐解决方案等