DataWorks的离线同步报错:OutOfMemoryError: Java heap space
出现上述报错后的排查方法请参考:
1、如果使用独享数据集成资源组的话,可以调整JVM参数。
2、如果插件配置支持的参数中有batchsize或者maxfilesize,可以调小对应的值。
3、可以查看各插件是否支持上述参数,进入支持的数据源与读写插件文档后,点击对应插件查看参数详情。
4、调小并发数。
5、如果使用向导模式配置离线同步任务,需要调小配置通道控制中的任务期望最大并发数,详情可参见通过向导模式配置离线同步任务。
6、如果使用脚本模式配置离线同步任务,需要调小配置通道控制中的concurrent参数,详情可参见通过脚本模式配置离线同步任务。
7、如果是文件同步,例如同步OSS文件等,请减少读取的文件数 。 【 举例说明 】:在默认设置3个并发的情况下,对内存需求大小为1280MB。 也可以手动设置JVM参数(仅限弹内用户),如下设置setting.jvmOption参数:
"setting": {
"errorLimit": {错误记录数 "record": "0" },
"jvmOption": "-Xms1024m -Xmx1024m",JVM内存
"speed": {
"throttle": true, //false代表不限流,下面的限流的速度不生效,true代表限流
"concurrent": 1,作业并发数 "mbps": "1"限流的速度
}
}
注意:优先使用手动配置的JVM参数; 大多数情况下不需要配置此参数,如果任务出现OOM异常,请先检查数据任务量级本身,再考虑手工调配JVM参数,JVM参数格式请参考JVM标准语法。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。