mapreduce计算引擎任务分配？

1. 多少个map需要多少个reduce来支持处理？ Map和Reduce的数量并不是固定的配比关系，而是根据具体任务的数据量、复杂度以及资源情况动态调整的。通常，Map的数量由输入数据的切片（splits）决定，每个split对应一个Map任务。而Reduce的数量则更多是基于业务需求设定，比如希望达到的聚合程度或输出文件的理想数量。

2. 怎么分配map和reduce的数量才是合理的？如何考虑？

   • Map数量：理想情况下，每个Map任务处理的数据量应该在16MB到128MB之间，以充分利用计算资源并避免过多的启动开销。可以通过设置InputFormat类来控制输入数据的切分方式，从而间接影响Map任务的数量。

   • Reduce数量：一般建议将Reduce的数量设置为集群中TaskTracker节点数量的0.95至1.75倍之间，以保证负载均衡且能有效利用集群资源。同时，需考虑数据的聚合需求，减少过多的Reduce会增加单个任务的处理负担，而过多则可能导致不必要的调度开销。

3. 如果MR自行决定，那么原理是什么？ 在某些框架中，如Hadoop，虽然没有直接“自行决定”的机制，但通过配置可以实现一定程度的自动调节。例如，通过设置mapreduce.job.reduces为-1可以让系统尝试根据作业的输入数据大小自动确定Reduce任务的数量。这种情况下，系统会基于输入数据量、集群当前负载等因素进行估算，以达到较优的执行效率。

4. 当服务器集群出现资源不足的时候，如何考虑map和reduce的进行的分配？

   • 优先级调整：确保关键任务或时间敏感型任务能够优先获得资源。这可能需要在调度策略上进行调整，比如使用YARN的队列管理功能来划分不同优先级的任务队列。

   • 动态资源调整：利用YARN等资源管理系统的能力，动态地根据集群的实际负载调整任务的资源分配。例如，减少非关键任务的Map/Reduce槽位数，或者暂停部分低优先级任务，为高优先级任务腾出资源。

   • 优化任务粒度：在资源紧张时，可以考虑增大Map或Reduce任务的数据处理量，即减少任务总数，以降低调度开销和资源争抢，但这可能会增加单个任务的执行时间。

   • 负载均衡：确保任务在各个节点间均匀分布，避免因个别节点过载导致整体性能下降。可以通过合理配置和监控工具来实现这一目标。

综上所述，Map和Reduce任务的分配应综合考虑数据规模、集群资源状况及业务需求，灵活调整以达到最佳的执行效率和资源利用率。