开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute我记得之前你好像有提到过,代码运行优先用A方式运行,十分钟没运

问题1:大数据计算MaxCompute我记得之前你好像有提到过,代码运行优先用A方式运行,十分钟没运行完,就会转向用B方式运行,

我现在有个节点,十分钟运行不完,每次都是到十分钟时,重跑那种,

咋可以设置一下?直接用B方式运行,就避免耽误前面的10分钟(反正都是10分钟跑不完又重跑)
问题2:直接加这个 有啥影响不

展开
收起
真的很搞笑 2023-07-18 21:50:18 82 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    MaxCompute(原名ODPS)是一种分布式计算服务,它具有自动调度和资源管理的功能,可以根据您提交的作业自动分配计算资源来运行作业。
    在MaxCompute中,您可以通过设置作业的属性来控制作业的运行方式和优先级。例如,您可以通过设置作业的优先级属性来控制作业在队列中的优先级,优先级高的作业会先得到资源并运行。此外,MaxCompute还支持作业控制命令(job control commands),您可以使用这些命令来暂停、恢复或取消作业的运行。

    2023-07-29 13:08:35
    赞同 展开评论 打赏
  • 问题1:在大数据计算MaxCompute中,默认情况下任务运行时间超过10分钟会触发自动重跑机制。如果您希望避免耽误前面的10分钟并直接使用另一种方式运行,可以通过设置超时时间来实现。

    您可以在提交作业或任务时,通过设置set odps.sql.job.timeout=6000;将超时时间设置为较小的值(例如6000秒),这样任务将在达到超时时间后自动终止,并触发重跑机制。

    请注意,这可能会导致任务被频繁终止和重启,因此请根据具体情况谨慎使用,并确保您的任务能够在合理的时间内完成。

    问题2:关于直接加入设置超时时间的影响,主要取决于您的任务本身的复杂性和计算量。较短的超时时间可能会增加任务被终止和重启的次数,从而增加调度和资源开销。同时,较短的超时时间也可能不足以完成较复杂的任务,导致任务无法成功执行。

    因此,建议您在设置超时时间时,需要根据任务的特点、数据量和计算需求进行合理的评估和选择。灵活地调整超时时间,以获得更好的任务执行效果。

    2023-07-28 21:27:20
    赞同 展开评论 打赏
  • 回答1:你说的应该是service mode模式。
    SQL前加set odps.service.mode=off;
    回答2:不会,这是session级别flag。会让SQL直接走到离线模式。 ,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-07-19 12:23:35
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载