OTTER同步很缓慢
源、目标、OTTER均在同一机房，采用列模式，自定义模式同步，观察row_select日志：
Batch Id: [859] ,total : [22,800] , normal : [20,445] , filter :[2,355] , Time : 2017-11-28 10:49:00:604 Start : [mysql-bin.008981:231536929:1511836352000(2017-11-28 10:32:32)] End : [mysql-bin.008982:30110852:1511836599000(2017-11-28 10:36:39)] --略-------- Batch Id: [860] ,total : [28,169] , normal : [22,433] , filter :[5,736] , Time : 2017-11-28 11:06:18:603 Start : [mysql-bin.008982:30111414:1511836599000(2017-11-28 10:36:39)] End : [mysql-bin.008982:137748142:1511837228000(2017-11-28 10:47:08)] 可见，BATCHID 860花了16分钟，才处理了22433条记录； 另外，在manager端channel管理 > Pipeline > 同步进度，查看SETL PENDING情况，发现T出现PENDING：stage:TRANSFORM , pending:[261]，跪求大神帮忙看下
后来我将PIPELINE的并行度由5改成了8，目前生产上延时变小很多。同时，channel管理 > Pipeline > 同步进度，查看Mainsteam状态，原来Transformer的统计，TPM现在是101（原来是个位数)，average是19599，跟ALI的线上相比，慢多少呢？ 另外用PT工具抽了下目标库的SLOW QUERY，目标库毫无压力。 我这边生产日DML量接近100W，单事务峰值为8W，请参考下。
原提问者GitHub用户 windtalkerbj
写回答
-
问题已解决，是Tranfsform流程中，OTTER向MYSQL发出大量SHOW TABLE语句卡住导致。撸了下源码，通过在MANAGER上设置PIPE的 ‘启动数据表类型转化’和‘兼容字段新增同步’为‘关闭’后，故障消失。
原回答者GitHub用户 windtalkerbj
2023-06-21 13:00:11赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
