DataWorks现在同步mysql报错,mysql里面有个json类型字段,这个如何处理?com.alibaba.datax.common.exception.dataxexception: Code:[Framework-02], Description:[The DataX engine encountered an error during running. For the specific cause, refer to the error diagnosis after DataX stops running. ]. - java.lang.Throwable: Java heap spacehttps://di2-cn-shanghai.data.aliyun.com/web/di/instanceLog?spm=a1z3jh.11711402.0.0.625034137MHkWu&id=1276368315&resourceGroup=S_res_group_616461058880386_1695285968827&projectId=361391
这个看着报错是内存溢出,目前看资源还足够 可以尝试加一些并发 增加一个并发会多256M内存 当前是3并发768内存,任务转脚本后 将jvm调整到1.5g或2g再试试 不是很建议 可以先尝试一下
"setting": {
"errorLimit": {//错误记录数
"record": "0"
},
"jvmOption": "-Xms1024m -Xmx1024m",//JVM内存
"speed": {
"throttle": true,//false代表不限流,下面的限流的速度不生效,true代表限流
"concurrent": 1,//作业并发数
"mbps": "1"//限流的速度
}
}
直接cast( as char(255)),此回答整理自钉群“DataWorks交流群(答疑@机器人)”
该问题是由于 Java 内存溢出导致的。要解决该问题,可以尝试以下方法:
出现这个问题的原因可能是 DataWorks 在处理 MySQL 的 JSON 类型字段时遇到了内存不足的问题。
为了解决这个问题,建议尝试以下几种方法:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。