开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

Dataworks离线同步提示“OutOfMemoryError: Java heap space”错误

已解决

Dataworks离线同步提示“OutOfMemoryError: Java heap space”错误。

展开
收起
游客rda5n5ukztvu2 2022-11-08 16:24:04 89 0
1 条回答
写回答
取消 提交回答
  • 采纳回答

    提示上述报错,你可以按照以下方法进行处理:

    1. 如果你使用独享数据集成资源组的话,可以调整jvm参数;
    2.  如果插件配置支持的参数中有batchsize或者maxfilesize,可以调小对应的值。你可以查看各插件是否支持上述参数,进入支持的数据源与读写插件文档后,点击对应插件查看参数详情;
    3. 调小并发数。如果你使用向导模式配置离线同步任务,需要调小配置通道控制中的任务期望最大并发数,详情可参见通过向导模式配置离线同步任务。如果你使用脚本模式配置离线同步任务,需要调小配置通道控制中的concurrent参数,详情可参见通过脚本模式配置离线同步任务
    4. 如果是文件同步,例如同步OSS文件等,请减少读取的文件数。
    2022-11-08 17:22:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Spring Cloud Alibaba - 重新定义 Java Cloud-Native 立即下载
    The Reactive Cloud Native Arch 立即下载
    JAVA开发手册1.5.0 立即下载