大数据计算MaxCompute的Maxcompute Spark 任务，开启动态资源调度，怎么报错？
问题一：大数据计算MaxCompute的Maxcompute Spark 任务，开启动态资源调度，怎么报错？
FetchFailed(BlockManagerId(21, workera90f372b-92dd-49f9-9c01-eb3e9ca0e350cupid-11-220-53-239, 45007, None), shuffleId=0, mapIndex=41, mapId=41, reduceId=20, message=
org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.
问题二：为什么我试了一下手动分配大内存就可以，自动调度就不行？
写回答
-
北京阿里云ACE会长在MaxCompute中运行Spark任务时，可以通过配置开启动态资源调度（Dynamic Resource Allocation）功能，该功能可以在任务运行时根据当前任务所需的资源动态分配计算资源，以提高资源利用率和任务执行效率。如果您在使用MaxCompute Spark任务时开启了动态资源调度，并且出现了报错，可能是以下原因之一：
配置错误：如果您在配置动态资源调度时出现了错误，例如资源请求配置不合理、任务超时等，可能会导致任务无法正常运行。建议您检查动态资源调度的配置是否正确，并根据实际情况进行调整。
资源不足：在动态资源调度模式下，如果当前可用的资源不足以满足任务的需求，可能会导致任务无法正常运行。在这种情况下，建议您增加集群的资源配额或者调整任务的资源请求配置，以提高任务的运行成功率。
网络或其他环境问题：在动态资源调度模式下，如果存在网络或其他环境问题，可能会导致任务无法正常运行。建议您检查网络连接和其他环境配置是否正确，并尝试重新运行任务。2023-07-29 13:08:44赞同 展开评论 打赏 -
报错信息表明在MaxCompute Spark任务中，开启了动态资源调度的情况下，发生了FetchFailed异常。该异常表示相对应的远程执行器（Executor）已经失效，无法获取需要获取的数据块。
可能的原因和解决方法如下：
网络问题：检查网络连接是否正常，确保所有节点之间可以互相通信。如果存在网络故障或不稳定的情况，可能导致数据传输失败。您可以尝试重新运行任务，或者联系运维人员进行网络故障排查。
Executor失效：Executor失效可能是由于硬件故障、系统崩溃等原因造成的。您可以检查日志以了解更多详细信息，并确认是否存在与Executor相关的错误或异常信息。如果Executor频繁失效，您可以尝试增加Executor的数量或调整资源配置以提高稳定性。
数据块丢失或损坏：有可能某个数据块在传输过程中丢失或损坏，导致FetchFailed异常。您可以通过查看其他相关日志或使用数据一致性检测工具来验证数据的完整性。
资源调度配置问题：动态资源调度需要合理配置资源的分配和调度策略。您可以检查资源调度配置，确保资源分配足够，并避免资源竞争或不平衡的情况。
Spark版本兼容性问题：某些Spark版本可能存在与MaxCompute集成时的兼容性问题。您可以尝试升级或降级Spark版本，以解决潜在的兼容性问题。
如果以上方法仍无法解决问题，建议您联系MaxCompute或Spark技术支持团队，向他们提供详细的错误日志和执行环境信息，以便他们能够更好地帮助您解决问题。
2023-07-28 21:33:01赞同 展开评论 打赏 -
针对问题一的回答：查了查这个报错应该是资源不足类的报错，我理解因为参数设置的不匹配任务引起的，可以按照这个参数配置再调整一下，重跑看看。
https://github.com/aliyun/MaxCompute-Spark/wiki/03.-Spark%E9%85%8D%E7%BD%AE%E8%AF%A6%E8%A7%A3针对问题二的回答：自动调度是指什么方式，不写参数指定使用默认的是吗，此回答整理自钉群“MaxCompute开发者社区1群
2023-07-18 18:17:45赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
