请教一下,这个报错一半是什么原因引起的?怎么解决?

FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: ShuffleServiceMode: Dump checkpoint failed请教一下,这个报错一半是什么原因引起的?怎么解决?

展开
收起
真的很搞笑 2023-03-03 13:20:19 878 发布于浙江 分享
分享
版权
举报
4 条回答
写回答
取消 提交回答
  • 这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。

    可以尝试一下:

    1、提高Map任务的内存限制

    2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载

    2023-03-06 13:55:25 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 坚持这件事孤独又漫长。

    这个错误提示来自 MaxCompute 的一个系统内部错误 - fuxi job 失败,可能的原因是shuffle服务模式中的Dump Checkpoint失败了。要解决此问题,可以采取以下步骤:

    • 首先,尝试重新执行作业,看看是否仍然出现相同的错误提示。如果错误仍然存在,尝试下一步。

    • 检查作业设置是否正确。确保传递给MaxCompute的参数与表结构和存储格式无冲突。

    • 如果使用了ShuffleService,可以尝试重新启动集群来强制重新启动shuffle服务。如果您使用的是MapReduce任务,则可以尝试通过手动调整reduce task数量来减少shuffle数据量。

    • 如果仍然无法解决问题,可以联系MaxCompute团队获取进一步的帮助和支持。

    2023-03-03 14:21:33 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    这个错误提示是MaxCompute Shuffle Service在作业执行期间发生了错误。

    可以尝试一下:

    1、提高Map任务的内存限制

    2、增加Shuffle节点的数量,以减轻单个Shuffle节点的负载

    此回答整理自钉群“MaxCompute开发者社区1群”

    2023-03-03 13:48:01 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • vpc:'vpc-8vbb1sgj7jnaiwp2d8r82' or '2459137' not in vpc white list, ip: '192.168.14.163'. project: little_fd 任务运行报错,手工重跑就好了。这种问题只能手动加白名单么。,此回答整理自钉群“MaxCompute开发者社区1群”

    2023-03-03 13:37:58 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

收录在圈子:
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。
还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等