开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks的离线同步报错:OutOfMemoryError: Java heap spac

已解决

DataWorks的离线同步报错:OutOfMemoryError: Java heap space

展开
收起
阿里云服务支持 2022-12-09 11:21:34 318 0
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答

    出现上述报错后的排查方法请参考:

    1、如果使用独享数据集成资源组的话,可以调整JVM参数。

    2、如果插件配置支持的参数中有batchsize或者maxfilesize,可以调小对应的值。

    3、可以查看各插件是否支持上述参数,进入支持的数据源与读写插件文档后,点击对应插件查看参数详情。

    4、调小并发数。

    5、如果使用向导模式配置离线同步任务,需要调小配置通道控制中的任务期望最大并发数,详情可参见通过向导模式配置离线同步任务

    6、如果使用脚本模式配置离线同步任务,需要调小配置通道控制中的concurrent参数,详情可参见通过脚本模式配置离线同步任务

    7、如果是文件同步,例如同步OSS文件等,请减少读取的文件数 。 【 举例说明 】:在默认设置3个并发的情况下,对内存需求大小为1280MB。 也可以手动设置JVM参数(仅限弹内用户),如下设置setting.jvmOption参数:

    "setting": {

    "errorLimit": {错误记录数 "record": "0" },
    
    "jvmOption": "-Xms1024m -Xmx1024m",JVM内存 
    
    "speed": { 
    
    	"throttle": true, //false代表不限流,下面的限流的速度不生效,true代表限流
    
    	"concurrent": 1,作业并发数 "mbps": "1"限流的速度 
    
    } 
    

    }

    注意:优先使用手动配置的JVM参数; 大多数情况下不需要配置此参数,如果任务出现OOM异常,请先检查数据任务量级本身,再考虑手工调配JVM参数,JVM参数格式请参考JVM标准语法。

    2022-12-09 11:27:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载