开发者社区> 问答> 正文

Spaek程序执行,有时候默认为什么会产生很多task,怎么才可以修改默认task执行个数呢?

Spaek程序执行,有时候默认为什么会产生很多task,怎么才可以修改默认task执行个数呢?

展开
收起
游客vwuxaq6iqaowc 2021-12-06 17:22:42 302 0
1 条回答
写回答
取消 提交回答
  • 有很多小文件的时候,有多少个输入block就会有多少个task启动 spark中有partition的概念,每个partition都会对应一个task,task越多,在处理大规模数据的时候,就会越有效率

    2021-12-06 17:22:57
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载