DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?
https://workbench2-cn-hangzhou.data.aliyun.com/?defaultProjectId=64511&env=prod&taskId=1000969997658&userProjectId=64511#/runLog
如果DataWorks任务报错后一直处于低速状态,进度一直为98.8%,可能的原因有多种。首先,您需要通过运维大屏,点击运行失败进入周期实例中查看失败任务,然后进行筛选条件,只查看同步节点。其次,对于某些任务,例如实时同步MySQL数据源的数据时,一开始读到数据,一段时间后无法读到数据,这也可能是导致任务未能完成的原因之一。
此外,若数据同步日志长时间打印WAIT,表示DataWorks的调度系统已将同步任务下发,但由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行,正在等待其他任务执行完成释放资源。在这种情况下,您可能需要增加同步资源组的资源数量,以便支持当前任务的执行。
看到之前也有运行6个多小时的历史记录 写入模式为update 更新的数据多吗 目前看主要是写入比较慢 如果update的数据多 相对insert也会慢很多
当前任务配置了16并发 且资源组有多台机器 可以考虑开启分布式
集成这边查了下目前没有看出啥明显的原因
建议
1)确认一下 11.2日和11.6是不是都是主键冲突比较多 还是11.2是首次刷入 11.6冲突比较多
2)辛苦给写端 polar 同学提工单咨询看下 是否有异常情况 负载对比等 目前看是写入慢 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
你可以按照以下步骤尝试解决这个问题:
查看错误日志:首先检查一下任务的日志信息,看看是否有具体的错误提示。这可能有助于理解出现问题的原因。
检查依赖关系:确认所有相关的表、分区都已经正确创建,并且所有的依赖都已经被正确的设置。
优化查询语句:如果任务是一个SQL查询,那么尝试优化查询语句,减少查询的数据量或者提高查询效率。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。