开发者社区 > 数据库 > 正文

你好,刚才我重建了一下DMS任务,还是刚才的表,麻烦帮我配置一下内存。表里有大字段嘛 看了下任务之前

你好,刚才我重建了一下DMS任务,还是刚才的表,麻烦帮我配置一下内存。表里有大字段嘛 看了下任务之前报错内存溢出问题 dts自动加内存重启过 当前报错是瞬间写入的数据量比较大 调整后目前在正常同步 【UID】:255820720701586934 【实例ID】:dtsjwfd4h5e1261b1e 【Job ID】:lf8l44cw18611i9 【任务名称】:shenzhen-shenzhen-micro 【所有报错信息】: CODE:- 错误概述:- 解决方案:- 帮助文档:- 详细报错信息:将数据写入目标库异常,正在重试,重试了35次,重试了340s,异常重试原因: java.lang.RuntimeException: Table 'xxx.agent_reprint_article_content' with columns [agent_reprint_article_id, content] and batch exception is {No operations allowed after connection closed.} 【URL】:https://dtsnew.console.aliyun.com/sync/cn-shenzhen?MENU_BAR_HIDDEN=true&TOP_BAR_HIDDEN=true&from=dtm 【当前时间】:2023-04-18 16:21:02 【Region】:cn-shenzhen

展开
收起
cuicuicuic 2023-04-26 18:48:25 134 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    针对内存溢出问题,建议您增加DTS任务的内存限制。在DTS任务详情页,您可以通过以下步骤进行内存配置:

    打开DTS控制台,找到目标任务。

    点击任务名称,进入任务详情页。

    在任务详情页的“运行状态”栏中,找到“任务资源”区域,点击“修改”按钮。

    在“修改任务资源”页面中,可以设置任务的CPU和内存资源。根据您的实际需求,适当增加内存资源。

    点击“确定”按钮,保存设置。

    另外,如果您的表中包含大字段,建议您在同步任务中选择合适的同步方式,以减少内存占用和数据传输量。例如,可以选择增量同步方式,只同步变更的数据,而不是全量同步整个表。如果必须进行全量同步,可以考虑分批同步,每次同步一部分数据,以避免内存溢出问题。同时,也可以在同步任务中配置数据过滤规则,过滤掉不必要的大字段数据,以减少数据传输量和内存占用。

    2023-04-27 21:31:30
    赞同 展开评论 打赏

数据库领域前沿技术分享与交流

相关电子书

更多
金融行业高频交易数据管理解决方案 立即下载
基于Spark的统一数据管理与数据探索平台 立即下载
INFINIDATA:基于Spark的统一数据管理与探索平台 立即下载