开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

可以增加提交的sql个数呢?

执行的task大多在这里(Waiting for concurrent task slot)耗时比较久,能不能增加提交的sql个数呢?

展开
收起
solitude. 2023-02-21 18:17:37 426 0
3 条回答
写回答
取消 提交回答
  • 可以尝试增加并发任务槽的数量,提高任务的并发度,加快任务的执行速度。

    如果您需要同时执行多个 SQL 语句,可以使用批量执行的方式,将多个 SQL 语句打包提交,这样子就减少任务提交的次数,提高执行效率。我记得在 DataWorks 中,可以使用脚本节点(Shell、PySpark、Spark SQL 等)来实现批量执行 SQL 语句。

    2023-02-22 12:26:29
    赞同 展开评论 打赏
  • 今天也要加油吖~

    您好,无法通过增加提交的sql个数来缩短Waiting for concurrent task slot耗时。

    2023-02-22 10:06:04
    赞同 展开评论 打赏
  • 需要看下logview。这个阶段一般是project级别的流控。可以参考这个文档 https://help.aliyun.com/document_detail/121346.html。当前这个限制没办法突破。只能拆分项目了。此回答整理自钉钉群”MaxCompute开发者社区2群“

    2023-02-21 18:20:59
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载