问题1:大数据计算MaxCompute我记得之前你好像有提到过,代码运行优先用A方式运行,十分钟没运行完,就会转向用B方式运行,
我现在有个节点,十分钟运行不完,每次都是到十分钟时,重跑那种,
咋可以设置一下?直接用B方式运行,就避免耽误前面的10分钟(反正都是10分钟跑不完又重跑)
问题2:直接加这个 有啥影响不
MaxCompute(原名ODPS)是一种分布式计算服务,它具有自动调度和资源管理的功能,可以根据您提交的作业自动分配计算资源来运行作业。
在MaxCompute中,您可以通过设置作业的属性来控制作业的运行方式和优先级。例如,您可以通过设置作业的优先级属性来控制作业在队列中的优先级,优先级高的作业会先得到资源并运行。此外,MaxCompute还支持作业控制命令(job control commands),您可以使用这些命令来暂停、恢复或取消作业的运行。
问题1:在大数据计算MaxCompute中,默认情况下任务运行时间超过10分钟会触发自动重跑机制。如果您希望避免耽误前面的10分钟并直接使用另一种方式运行,可以通过设置超时时间来实现。
您可以在提交作业或任务时,通过设置set odps.sql.job.timeout=6000;
将超时时间设置为较小的值(例如6000秒),这样任务将在达到超时时间后自动终止,并触发重跑机制。
请注意,这可能会导致任务被频繁终止和重启,因此请根据具体情况谨慎使用,并确保您的任务能够在合理的时间内完成。
问题2:关于直接加入设置超时时间的影响,主要取决于您的任务本身的复杂性和计算量。较短的超时时间可能会增加任务被终止和重启的次数,从而增加调度和资源开销。同时,较短的超时时间也可能不足以完成较复杂的任务,导致任务无法成功执行。
因此,建议您在设置超时时间时,需要根据任务的特点、数据量和计算需求进行合理的评估和选择。灵活地调整超时时间,以获得更好的任务执行效果。
回答1:你说的应该是service mode模式。
SQL前加set odps.service.mode=off;
回答2:不会,这是session级别flag。会让SQL直接走到离线模式。 ,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。