开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

宽窄依赖 & Job生成问题

1.依赖关系 缩减分区为窄依赖,为OnetoOneDep 增加分区为宽依赖,会产生shuffle,为什么还是OnetoOneDep image.png 2.Job生成 image.png image.png 这个任务生成了6个分区: 一个行动算子是会生成一个job,为啥这两个行动算子一个生成三个job,一个生成1一个job? 求大佬解答,万分感谢

展开
收起
casterQ 2021-06-09 09:43:01 2473 0
0 条回答
写回答
取消 提交回答

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载