开发者社区> 问答> 正文

canal binlog dump报Writing to net,之后连接断开

在k8s环境里跑canal的docker镜像,连mysql数据库,将数据导入kafka。数据量小时没什么问题,但一次对一个120万行记录的表进行update时,发现canal会死掉。 具体现象:在mysql客户端show PROCESSLIST,发现canal的连接处于Writing to net状态;一段时间后连接断开,不会重连。查看canal的容器,确认java进程还在。 canal的内存配置:buffer.memunit=1024(1024字节?),buffer.size=256。 求大神指导。

原提问者GitHub用户shengmingzhu

展开
收起
数据大拿 2023-05-04 18:26:36 142 0
2 条回答
写回答
取消 提交回答
  • 需要看一下canal对应java进程的运行情况,最好是把prometheus监控给看看

    原回答者GitHub用户agapple

    2023-05-05 10:51:23
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    建议对canal的内存配置进行调优,可以适当增大buffer.size,同时也要考虑到机器配置和系统负载,避免内存占用过高导致canal崩溃。此外,可以检查网络连接是否稳定,以及MySQL的负载情况,是否存在其他进程占用了MySQL的资源。

    2023-05-05 09:55:49
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PolarDB-X 2.0 全局 Binlog 与备份恢复能 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载