开发者社区> 问答> 正文

DataWorks的数据集成报错Java heap space

已解决

DataWorks的数据集成报错Java heap space

展开
收起
提个问题 2024-06-03 19:26:37 15 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    离线同步报错:OutOfMemoryError: Java heap space
    出现上述报错后的排查方法请参考:
    1、如果使用独享数据集成资源组的话,可以调整jvm参数。
    2、如果插件配置支持的参数中有batchsize或者maxfilesize,可以调小对应的值。
    3、可以查看各插件是否支持上述参数,进入支持的数据源与读写插件文档后,点击对应插件查看参数详情。
    4、调小并发数。
    5、如果使用向导模式配置离线同步任务,需要调小配置通道控制中的任务期望最大并发数,详情可参见通过向导模式配置离线同步任务
    6、如果使用脚本模式配置离线同步任务,需要调小配置通道控制中的concurrent参数,详情可参见通过脚本模式配置离线同步任务
    7、如果是文件同步,例如同步OSS文件等,请减少读取的文件数。

    【 举例说明 】:在默认设置3个并发的情况下,对内存需求大小为1280MB。 手动填写 您也可以手动设置JVM参数(仅限弹内用户),如下设置setting.jvmOption参数:
    json "setting": { "errorLimit": {错误记录数 "record": "0" },
    "jvmOption": "-Xms1024m -Xmx1024m",JVM内存 
    "speed": { "throttle": true,false代表不限流,下面的限流的速度不生效,true代表限流
    "concurrent": 1,作业并发数 "mbps": "1"限流的速度 } }注意 优先使用手动配置的JVM参数; 大多数情况下您不需要配置此参数,如果您的任务出现OOM异常,请先检查您的数据任务量级本身,再考虑手工调配JVM参数,JVM参数格式请参考JVM标准语法。
    2024-06-03 19:26:38
    赞同 2 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载