otter的经常性断开并重连，binlog位点有更新，但是延迟递增。
web控制台得到如下异常： java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) at sun.nio.ch.IOUtil.read(IOUtil.java:197) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:379) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch0(DirectLogFetcher.java:154) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.DirectLogFetcher.fetch(DirectLogFetcher.java:78) at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:116) at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:209) at java.lang.Thread.run(Thread.java:745)
通过跟踪分析，发现binlog拉取使用的是JDK的SocketChannel。
测试： 编写JDK的SocketChannel的C/S测试代码，发现SocketChannel的客户端无法感知连接的断开，只有通过读写异常来进行确定。
初步分析： SocketChannel（otter内）在连接不可用时无法及时感知，但仍然进行读操作（这段时间将累加到延迟中）。
初步解决方式： 使用netty重构了并替换了SocketChannel（otter内的JDK版本），动态感知连接不可用（不再通过读异常来确定），并通过锁机制进行读写控制。 正在测试验证中……………………
原提问者GitHub用户 luoyaogui
写回答
-
[重构canal的SocketChannel过程如下（基于canal-1.0.22）： 1，在canal.common的pom.xml中引入netty包。 2，在canal.parse.driver，新建com.alibaba.otter.canal.parse.driver.mysql.socket（package）用netty实现 SocketChannel、SocketChannelPool两个类；修改com.alibaba.otter.canal.parse.driver.mysql.utils（package）的PacketManager实现；修改com.alibaba.otter.canal.parse.driver.mysql（package）的MysqlConnector、MysqlQueryExecutor、MysqlUpdateExecutor。 3，在canal.parse，修改com.alibaba.otter.canal.parse.inbound.mysql（package）的MysqlConnection，修改com.alibaba.otter.canal.parse.inbound.mysql.dbsync（package）的DirectLogFetcher。
原回答者GitHub用户luoyaogui
2023-06-21 17:42:34赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
