开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请教一下,这个报错一半是什么原因引起的?怎么解决?

FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: ShuffleServiceMode: Dump checkpoint failed请教一下,这个报错一半是什么原因引起的?怎么解决?

展开
收起
真的很搞笑 2023-03-03 13:20:19 805 0
4 条回答
写回答
取消 提交回答
  • 这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。

    可以尝试一下:

    1、提高Map任务的内存限制

    2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载

    2023-03-06 13:55:25
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    这个错误提示来自 MaxCompute 的一个系统内部错误 - fuxi job 失败,可能的原因是shuffle服务模式中的Dump Checkpoint失败了。要解决此问题,可以采取以下步骤:

    • 首先,尝试重新执行作业,看看是否仍然出现相同的错误提示。如果错误仍然存在,尝试下一步。

    • 检查作业设置是否正确。确保传递给MaxCompute的参数与表结构和存储格式无冲突。

    • 如果使用了ShuffleService,可以尝试重新启动集群来强制重新启动shuffle服务。如果您使用的是MapReduce任务,则可以尝试通过手动调整reduce task数量来减少shuffle数据量。

    • 如果仍然无法解决问题,可以联系MaxCompute团队获取进一步的帮助和支持。

    2023-03-03 14:21:33
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。

    可以尝试一下:

    1、提高Map任务的内存限制

    2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载

    此回答整理自钉群“MaxCompute开发者社区1群”

    2023-03-03 13:48:01
    赞同 展开评论 打赏
  • vpc:'vpc-8vbb1sgj7jnaiwp2d8r82' or '2459137' not in vpc white list, ip: '192.168.14.163'. project: little_fd 任务运行报错,手工重跑就好了。这种问题只能手动加白名单么。,此回答整理自钉群“MaxCompute开发者社区1群”

    2023-03-03 13:37:58
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载