开发者社区 > 数据库 > 数据库管理工具 > 正文

数据传输DTS10w张表,任务一直在预检查 是不是表太多卡住了?

数据传输DTS10w张表,任务一直在预检查 是不是表太多卡住了?源数据库是mysql5.6,这么多表,读取系统表数据性能都很糟糕的。

展开
收起
真的很搞笑 2023-12-20 08:28:36 49 0
5 条回答
写回答
取消 提交回答
  • 针对10w张表的任务一直在预检查的情况,可能的原因包括:

    • 表数量确实过多,导致预检查阶段需要花费较长时间。
    • 源数据库MySQL 5.6的系统表性能问题,可以尝试优化查询或者在非高峰时段执行预检查。
    • DTS任务的配置可能需要调整,比如增加并发处理能力或者优化预检查的策略。
    2023-12-20 14:57:26
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在数据传输服务DTS中,如果任务一直在预检查阶段,确实可能是由于某些原因导致的。如源数据库是mysql5.6且表数量多达10万张时,会存在读取系统表数据性能较差的问题。为解决此类问题,您可以尝试以下方法:

    首先,可以检查并优化源数据库的性能。例如,可以考虑升级MySQL版本,使用更快的硬件设备,或者对数据库进行优化和调整。

    其次,对于包含大字段text和blob的log表,在创建DTS任务时可能会出现卡住的情况。这时,可以通过调整max_allowed_packet参数、降低单次提交写入数据的大小,以及重启任务来减少写入数据的大小。此外,还可以考虑规避存在异常的大字段,比如删除或者备份等。

    2023-12-20 13:58:10
    赞同 展开评论 打赏
  • 优化源数据库:检查并优化MySQL 5.6的性能,如索引、查询优化等,提高读取系统表数据的速度。

    2023-12-20 12:18:21
    赞同 展开评论 打赏
  • 就是表太多检查卡住了 帮调整了下预检查完成了 ,此回答整理自钉群“DTS客户交流群-2”

    2023-12-20 11:11:51
    赞同 展开评论 打赏
  • 数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析等。如果您在预检查阶段遇到问题,可能的原因有多种。首先,过多的表可能会增加预检查的时间,特别是当源数据库是mysql5.6时,读取系统表数据的性能可能会受到影响。

    另外,您还需要确保目标数据库中没有与源数据库同名的表,否则在预检查阶段可能会提示错误。此外,如果源库进行了Online DDL操作,对源库的表结构等进行了修改,且未手动在目标库进行相应的修改,这也可能导致预检查失败。

    2023-12-20 08:57:12
    赞同 展开评论 打赏

阿里云提供了一系列数据库管理工具,可以满足您在云上进行数据库管理的各种需求。包含数据传输服务DTS、数据库备份 DBS、数据库自治服务 DAS、数据管理 DMS。

热门讨论

热门文章

相关电子书

更多
DTS助力企业快速复制阿里巴巴异地多活架构 立即下载
蚂蚁聚宝虫洞项目技术方案介绍 ——云与端之间数据传输的桥梁 立即下载
DTS控制台一本通 立即下载