mycat自动重启解决办法

简介:

mycat自动重启解决办法
前言
mycat是一个非常著名的分库分表中间件,但是很多使用过这个中间件的人都会遇到一个共通的问题,那就是mycat的进程总是会重启,同时重启的时候应用的代码里面也会报出 Java.lang.NullPoint_er_Exception , 今天就来分析一下这个问题,以及解决办法!

原理
这个mycat的重启问题可能一部分人遇到了,一部分人没有遇到过,这是为什么呢?

实际上这段mycat的bug代码是出现在了跨库结果集合并后,释放堆外内存的代码上面
有一部分有经验的人知道分库分表中间件是不太适用于跨库查询的,这些有经验的人会让业务代码去一个一个库查出数据库后,让业务代码自己去做数据合并,排序的逻辑,如果是这样的话就完美避开了这个问题。

比如我用mycat的注解

/#mycat: datanode=dn1/select * from ljj_table

/#mycat: datanode=dn2/select * from ljj_table

这样就强行指定了datanode的节点,就算我sql里面没有分库字段也可以去这个库里面查出数据。然后在业务里面把select出来的结果进行合并

但是对于很多中小型的公司来说,因为经验不足,以及代码的快速迭代,是允许mycat跨库查询的,这就导致了mycat内部需要做排序,这样做的话就有几率触发堆外内存重复释放的bug导致重启。

比如我直接执行

select * from ljj_table
这样的sql,mycat内部就会进行汇聚以及排序,就会导致空指针。

代码REVIEW以及修改方法
这个问题的代码主要问题就是出在了 MultiNodeQueryHandler

这个类上面,在这个类里面,有几个释放资源的类需要做出修改。

在方法 outputMergeResult(这个类里面有2个outputMergeResult,都要改!)

里面,我们需要调整释解锁与释放堆外内存的顺寻

原先是

lock.unlock();

dataMergeSvr.clear();
现在我们需要改成

dataMergeSvr.clear();

lock.unlock();
以及在这个类的clearResources方法里面,我们需要加上锁

原先是

if(dataMergeSvr!=null){

    dataMergeSvr.clear();

}
现在改成

lock.lock();

try{

if(dataMergeSvr!=null){

    dataMergeSvr.clear();

}

}finally{

lock.unlock();

}
这样改完后,我们就保证了dataMergeSvr.clear()这个方法的原子性。

还有在AbstractConnection这个类上面的cleanup方法上面加上sync的锁,这样mycat的重启问题就彻底修复了。

如果不修改源码重新打包?有什么简单的方法可以直接改掉这个类吗?(针对dba和运维)
答案是可以的!我知道很多公司维护mycat的都是dba和运维,这里可以利用mycat自带的wrapper功能(加载外部jar包)来进行直接修复

我把我改完的这2个类的jar(仅针对mycat1.6版本)已经上传到了网盘

链接:https://pan.baidu.com/s/1coay5H-QE7ED26UWuKsL5g
提取码:ygad

把我的这个jar包mycatExtend.jar放到mycat的lib目录下

比如Mycat-server-1.6mycatlib下面

然后在conf文件里面的wrapper.conf这个文件里面设置地址

# Java Classpath (include wrapper.jar)  Add class path elements as
#  needed starting from 1
wrapper.java.classpath.1=lib/mycatExtend.jar
wrapper.java.classpath.2=lib/wrapper.jar
wrapper.java.classpath.3=conf
wrapper.java.classpath.4=%REPO_DIR%
这样就大功告成啦~~~启动mycat!问题修复!!!!!

原文地址https://my.oschina.net/u/3736786/blog/3221601

相关文章
|
传感器 算法 物联网
《移动互联网技术》第三章 无线定位技术:掌握位置服务和室内定位的基本概念和工作原理
《移动互联网技术》第三章 无线定位技术:掌握位置服务和室内定位的基本概念和工作原理
344 0
|
关系型数据库 MySQL 索引
MySQL数据表添加字段的三种方式
MySQL数据表添加字段的三种方式
9163 0
|
9月前
|
数据可视化 编译器 Python
Manim:数学可视化的强大工具 | python小知识
Manim(Manim Community Edition)是由3Blue1Brown的Grant Sanderson开发的数学动画引擎,专为数学和科学可视化设计。它结合了Python的灵活性与LaTeX的精确性,支持多领域的内容展示,能生成清晰、精确的数学动画,广泛应用于教育视频制作。安装简单,入门容易,适合教育工作者和编程爱好者使用。
2156 7
|
6月前
|
关系型数据库 Shell 网络安全
定期备份数据库:基于 Shell 脚本的自动化方案
本篇文章分享一个简单的 Shell 脚本,用于定期备份 MySQL 数据库,并自动将备份传输到远程服务器,帮助防止数据丢失。
|
7月前
|
Java API 数据处理
Java实战:使用HttpClient实现图片下载与本地保存
Java实战:使用HttpClient实现图片下载与本地保存
|
11月前
|
Java
Java访问外网图片地址时,如何添加代理?
【10月更文挑战第14天】Java访问外网图片地址时,如何添加代理?
254 2
|
运维 安全 Java
SpringBoot运维篇(打包,多环境,日志)
SpringBoot运维篇(打包,多环境,日志)
Java 如歌判断文件路径是不是一个软连接
在 Java 中,要判断一个文件路径是否是一个软链接(符号链接),可以使用 `Files.isSymbolicLink` 方法。以下是一个示例,演示如何判断文件路径是否是一个软链接: ```java import java.io.IOException; import java.nio.file.Files; import java.nio.file.Path; import java.nio.file.Paths; public class IsSymbolicLinkExample { public static void main(String[] args) {
273 1