开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks公有资源是不是有问题 我这边很多任务都等资源卡了?智能诊断只有报错

dataworks公有资源是不是有问题 我这边很多任务都等资源卡了?智能诊断只有报错

展开
收起
真的很搞笑 2023-08-07 19:23:47 38 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks作为一个云数据集成和处理平台,可能会受到资源限制或使用不当而导致任务等待资源的情况。以下是一些可能导致资源等待的常见问题和解决方法:

    配额限制:检查您所使用的DataWorks工作空间或项目的配额限制。确保您的项目或工作空间有足够的资源配额,如算力、存储等,以支持任务的正常执行。

    并发度设置:在DataWorks中,每个作业或节点都可以设置并发度,即允许同时执行的任务数。如果您的任务等待资源,可以尝试增加节点的并发度,以提高资源利用率和任务的并发执行能力。

    任务调度策略:检查您的任务调度策略,确保任务的调度时间不会与其他任务冲突,导致资源争用。可以调整任务的调度时间或依赖关系,以避免冲突和资源瓶颈。

    资源使用优化:优化任务中的代码或逻辑,以减少资源的占用和消耗。例如,优化SQL查询语句、减少数据传输量、合理使用缓存等,都可以改善任务的资源利用率。

    2023-08-09 22:57:51
    赞同 展开评论 打赏
  • 我猜可能存在资源不足的情况,现在还有任务在等待资源吗 如果有到话 使用一下运行诊断试试,任务状态为等待资源的 智能诊断可以初步定位下哪些任务占用着资源 为啥是报错?,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 16:24:50
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多