问题一:DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?
DataWorks这个任务报错后 一直处于低速的状态?进度一直是98.8% 能帮忙看一下吗?
参考回答:
看到之前也有运行6个多小时的历史记录 写入模式为update 更新的数据多吗 目前看主要是写入比较慢 如果update的数据多 相对insert也会慢很多
当前任务配置了16并发 且资源组有多台机器 可以考虑开启分布式
集成这边查了下目前没有看出啥明显的原因
建议
1)确认一下 11.2日和11.6是不是都是主键冲突比较多 还是11.2是首次刷入 11.6冲突比较多
2)辛苦给写端 polar 同学提工单咨询看下 是否有异常情况 负载对比等 目前看是写入慢
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/569113
问题二:DataWorks节点报错怎么办?
DataWorks节点报错怎么办?:OSError: [Errno 7] Argument list too long
参考回答:
节点报错:OSError: [Errno 7] Argument list too long
答:原因是节点代码太长超过Linux的最大字符限制,在LINUX操作系统有限制单条命令行的长度是128KB,也就是131072字节 。遇到这种问题要么优化代码减少代码,要么拆开多个任务。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568802
问题三:咨询下DataWorks这个问题是如何产生的,该如何解决?
FAILED: ODPS-0010000:System internal error - fuxi job failed, caused by: String length 9165320 is larger than maximum 8388608,咨询下DataWorks这个问题是如何产生的,该如何解决?开发环境上运行相同的代码没有问题
参考回答:
session级别设置set odps.sql.cfiles.field.maxsize=16384,默认8m不建议设置太大,会导致内存溢出。
setproject odps.sql.cfile2.field.maxsize=16384; 这个flag是用来项目级别限制每列字符串类型最大能写入的长度,单位为KB,默认8192(也就是8M),最大值262144。需要说明的是,String size在极端比较大的场景下,会有OOM问题的风险,所以是不建议设置比较大的值,目前设置到16384,是相对可控的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/568801
问题四:DataWorks问题汇总离线同步常见问题?
DataWorks问题汇总离线同步常见问题?
参考回答:
离线同步常见问题https://help.aliyun.com/zh/dataworks/support/batch-synchronization?spm=a2c4g.11186623.0.i128
本文为您介绍离线同步的相关问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/571185
问题五:DataWorks这次情况是,一直在转圈怎么办?
DataWorks这次情况是,一直在转圈怎么办?
参考回答:
DataWorks一直转圈的问题可能由多种原因导致。以下是一些建议和解决方案:
- 网络问题:如果网络连接不稳定或存在网络延迟,可能会导致DataWorks无法正常加载。尝试检查网络连接,并确保网络畅通。
- 浏览器缓存问题:浏览器缓存可能导致DataWorks页面加载异常。尝试清除浏览器缓存并重启浏览器,重新进入DataWorks控制台。
- 任务配置问题:如果任务配置错误或无法正确连接到任务配置页面,也可能导致DataWorks转圈的问题。尝试检查任务配置是否正确,并重新进入任务配置页面。
- 系统资源不足:如果系统资源(如CPU、内存等)不足,可能导致DataWorks运行缓慢或出现转圈问题。尝试检查系统资源使用情况,并优化系统配置。
- 软件故障:有时候,DataWorks本身可能存在软件故障或bug。尝试重启DataWorks服务或更新到最新版本,看是否可以解决问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567770