开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?

DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?image.png
https://workbench2-cn-hangzhou.data.aliyun.com/?defaultProjectId=64511&env=prod&taskId=1000969997658&userProjectId=64511#/runLog

展开
收起
真的很搞笑 2023-11-13 11:11:43 47 0
4 条回答
写回答
取消 提交回答
  • 如果DataWorks任务报错后一直处于低速状态,进度一直为98.8%,可能的原因有多种。首先,您需要通过运维大屏,点击运行失败进入周期实例中查看失败任务,然后进行筛选条件,只查看同步节点。其次,对于某些任务,例如实时同步MySQL数据源的数据时,一开始读到数据,一段时间后无法读到数据,这也可能是导致任务未能完成的原因之一。

    此外,若数据同步日志长时间打印WAIT,表示DataWorks的调度系统已将同步任务下发,但由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行,正在等待其他任务执行完成释放资源。在这种情况下,您可能需要增加同步资源组的资源数量,以便支持当前任务的执行。

    2023-11-30 17:09:28
    赞同 展开评论 打赏
  • 检查依赖关系:确认所有相关的表、分区都已经正确创建,并且所有的依赖都已经被正确的设置。检查正确的网络配置和防火墙

    2023-11-13 16:26:26
    赞同 展开评论 打赏
  • 看到之前也有运行6个多小时的历史记录 写入模式为update 更新的数据多吗 目前看主要是写入比较慢 如果update的数据多 相对insert也会慢很多
    当前任务配置了16并发 且资源组有多台机器 可以考虑开启分布式
    集成这边查了下目前没有看出啥明显的原因
    建议
    1)确认一下 11.2日和11.6是不是都是主键冲突比较多 还是11.2是首次刷入 11.6冲突比较多
    2)辛苦给写端 polar 同学提工单咨询看下 是否有异常情况 负载对比等 目前看是写入慢 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-13 15:55:31
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    你可以按照以下步骤尝试解决这个问题:

    1. 查看错误日志:首先检查一下任务的日志信息,看看是否有具体的错误提示。这可能有助于理解出现问题的原因。

    2. 检查依赖关系:确认所有相关的表、分区都已经正确创建,并且所有的依赖都已经被正确的设置。

    3. 优化查询语句:如果任务是一个SQL查询,那么尝试优化查询语句,减少查询的数据量或者提高查询效率。

    2023-11-13 14:30:26
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多