开发者社区> 问答> 正文

DTS数据同步任务为什么延迟一直都在

已解决

DTS数据同步任务为什么延迟一直都在

展开
收起
提个问题 2024-05-24 11:05:35 7 0
2 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    导致DTS延迟的因素有很多,可以参考文档进行排查。
    2024-05-28 15:10:39
    赞同 展开评论 打赏
  • 参考下:如何解决增量迁移延迟或同步延迟https://help.aliyun.com/zh/dts/support/an-incremental-migration-or-synchronization-task-of-dts-is-delayed?spm=a2c4g.11186623.0.i12

    问题描述
    DTS在进行增量任务时,迁移任务或同步任务出现延迟超过1000毫秒的情况。

    可能原因
    原因1:任务规格受限,且任务数据量过大。DTS的增量迁移或同步链路的各个规格有对应的RPS限制,当源库的数据写入量过大时(例如有大事务),达到了规格限流,就会导致任务延迟。

    您可以在控制台上查看任务流量或者执行一键诊断功能,检查当前链路是否到达相应规格的限制。查看方式,请参见监控任务性能、同步链路规格和迁移链路规格。

    原因2:目标实例规格受限:目标库实例的写入性能已达到瓶颈。

    以目标实例为RDS MySQL为例,您可以在RDS控制台的监控与报警页面查看实例的CPU、内存、I/O等资源负载情况,并对照相应的实例规格,确认是否达到实例规格的限制。查看方式,请参见查看监控信息和RDS MySQL标准版(原X86)主实例规格列表。

    原因3:可能存在热点更新,影响性能。无主键表可能会导致热点行更新;源库对单一表或者单一行的高频度更新也会导致热点更新。

    以源实例为RDS MySQL为例,您可以通过SQL洞察和审计页面查看源实例执行的事务情况,判断是否存在热点更新,比如事务集中在某几张特定的表上。查看方式,请参见SQL洞察和审计。

    原因4:源库实例的读取性能达到瓶颈或网络带宽被打满。

    以源实例为RDS MySQL为例,您可以在RDS控制台的监控与报警页面查看实例的IOPS等指标,并对照相应的实例规格,确认是否达到实例规格的限制。查看方式,请参见查看监控信息和RDS MySQL标准版(原X86)主实例规格列表。

    原因5:当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时,DTS会进行多次重试,从而表现出同步延迟。此时您可以在控制台上查看任务是否处于重试中状态,并单击查看原因并修复,查看重试原因并进行相应修复。

    比如,当目标库实例为云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)时,如源库执行变更字段类型的DDL操作,会导致DTS同步任务出现延迟,处于重试中状态。这是因为目标实例云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)不支持字段类型变更,而DTS会在云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)中多次重试DDL操作且执行失败,从而表现出同步延迟。

    原因6:目标库带有触发器(trigger),会产生较大延迟。

    以MySQL数据库为例,可以使用如下命令查看是否有触发器。

    select * from information_schema.triggers where trigger_schema='<数据库名>';
    原因7:在目标库被同步的表存在既有主键又有唯一键等表结构复杂的情况下,当目标库存在除DTS外其他业务写入时可能会导致目标库存在锁表和慢SQL。

    原因8:源库存在大量DDL操作。

    以源实例为RDS MySQL为例,您可以通过SQL洞察和审计页面查看源实例中DDL的执行情况,判断是否存在大量DDL操作。查看方式,请参见SQL洞察和审计。

    原因9:远距离传输导致的网络延迟。

    您可以在任务列表页面查看源库和目标库实例所属地域。

    原因10:源库和目标库中的表结构不一致。

    原因11:控制台显示可能有延迟。

    image.png

    参考文档https://help.aliyun.com/zh/dts/support/an-incremental-migration-or-synchronization-task-of-dts-is-delayed?spm=a2c4g.11186623.0.i12

    2024-05-27 09:06:06
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DTS助力企业快速复制阿里巴巴异地多活架构 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
DTS控制台一本通 立即下载