test
DTS 数据库上执行SQL失败常见问题处理
DTS 数据源链接失败
DTS增量迁移/同步在同步源库的DML操作到目标库时是并发执行的,而同步DDL操作则是串行执行的,其主要过程如下: (1).解析ddl涉及到的库表列,如果该ddl涉及到的库表列都不在迁移或者同步列表中则过滤该ddl,否则执行该ddl; (2).
DTS抽取各类型数据库的增量日志时遵循的基本原则就是保持数据的原始性,而下游消费增量数据的增量迁移/同步会首先将数据进行归一化处理(即将增量数据转换成DTS的内部统一数据格式)以方便灵活的支持异构数据库之间的迁移.
DTS 同步过程中目标实例异常(DTS-077500)
下面是各种类型的数据库在表不存在时抛出的错误信息(仅供参考). 1.MySQL类型 com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:Table 'xxx.
常见数据库元数据查询方法
当前DTS迁移触发器是在全量迁移之后才开始的(如果该任务还配置了增量迁移/同步的话,则在它们之前),但鉴于触发器中逻辑的复杂性和多样性,后面的增量迁移/同步可能会引起数据质量问题,所以DTS正在调整触发器迁移的策略,即将其该在增量迁移/同步之后迁移(该调整目前尚在开发中).
DTS向目标库表同步DML/DDL数据操作时出错,一般是目标库的某些原因导致的.
DTS-071001: the Table xxx.xxx Information Loaded failed in Target DB, cause by [com.mysql.jdbc.exceptions.
DTS目前并不支持所有数据库类型时间的DDL迁移,特别是异构数据库之间的迁移.不得不承认DDL的迁移是非常的,因为这涉及到DDL的解析(DDL的过滤)及转换(库表列映射及异构数据库).毕竟DDL是一个高危操作,稍有不慎就肯能造成不可恢复的故障.
原因: 表在目标库中不存在或列在目标表中不存在 解决方案: 在目标库中创建该表或者在目标表中添加该列
DTS实现增量迁移/同步的基本原理是对源库的增量数据抽取和增量数据同步是两个独立的进程,而抽取的增量数据保存在一个高可用的存储系统中.当增量迁移/同步进程无法获取指定时间点的增量数据时就会出现该错误.
DTS增量迁移/同步进程连接源库失败(Connect Source DB failed)或者目标库失败(Connect Target DB failed).DTS当前连接数据库的策略是重试50次,每次间隔10000ms.
最近一周,云服务提供商AWS,Azure相继出现大面积服务故障,AWS 美国东一区S3宕机故障、Azure 28个数据中心有26个数据中心出现停服故障。对于那些将服务/数据集中部署在故障区域的公司来说,AWS/Azure的区域故障直接导致了他们业务的不可服务,造成不可估量的经济损失及公司品牌的负面影响。
很多数据库提供的原生迁移工具只能进行全量数据拷贝,为了保证迁移数据一致性,要求业务在数据迁移之前需停止服务。所以这种传统的迁移方案对业务影响极大。为降低数据迁移门槛,阿里云数据传输DTS推出不停服迁移功能。使用不停服迁移功能,可实现整个数据迁移过程中,业务停服时间降低到分钟级别
数据传输提供的数据订阅功能,可以在不影响业务的情况下,实现简单、可靠的缓存失效逻辑。这种缓存失效机制为阿里巴巴多年架构优化沉淀下来的经验,下面我们一起来看数据订阅究竟怎么实现这种机制。