监控druid数据库连接池连接泄露的思路

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
性能测试 PTS,5000VUM额度
简介: 监控druid数据库连接池连接泄露的思路

背景介绍

在【一次druid数据库连接池连接泄露的排查分析】中介绍了druid 1.2.18之前的版本存在连接泄露的风险,同时为了发现新版本可能存在的连接泄露风险,需要能够及时发现连接泄露的问题,下面介绍一下解决思路。

解决思路

这里的连接泄露是指【一次druid数据库连接池连接泄露的排查分析】中由于druid bug导致没有关闭连接的场景。

主要思路如下:

  1. 获取DruidDataSource实例当前管理的连接数量
  2. 获取DruidDataSource实例对应数据库实例的网络连接数量
  3. 将【1】【2】数据监控起来,并设置报警规则:当【2】-【1】>【阈值】的时候报警出来。

获取DruidDataSource实例管理的连接数量

我们通过自定义实现DruidDataSourceStatLogger的方式获取连接池的数据。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
  @Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
    }
}

使用连接池中活跃连接的数量和连接池中pooling的连接数量,作为需要监控的连接数量。

获取DruidDataSource对应数据库实例的网络连接数量

继续完善DruidDataSourceMetricsLogger中的逻辑,思路如下:

  1. 通过jdbcUrl解析出数据库IP和端口
  2. 通过数据库IP和端口查询出网络连接数量

通过jdbcUrl解析出数据库IP和端口

@Override
public void log(DruidDataSourceStatValue statValue) {
  ... ...
  List<String> addresses = parse(statValue.getUrl());
}
private static List<String> parse(String url){
    List<String> ret = new LinkedList<>();
    int pos = url.indexOf('?');
    if (pos != -1) {
        url = url.substring(0, pos);
    }
    url = url.substring("jdbc:".length());
    pos = url.indexOf(":");
    String dbType = url.substring(0,pos);
    url = url.substring(pos);
    if(ORACLE.equals(dbType)){
        url = url.substring(7);
    }else {
        url = url.substring(3);
    }
    int slash = url.indexOf('/');
    url = url.substring(0, slash);
    String[] addresses = url.split(",");
    StringBuilder grep = new StringBuilder();
    for (String address : addresses) {
        String host = "127.0.0.1";
        String port = null;
        int portIdx = address.lastIndexOf(':');
        if (portIdx != -1 && address.lastIndexOf(']') < portIdx) {
            host = address.substring(0, portIdx);
            port = address.substring(portIdx + 1);
        }
        if(port == null){
            if(MYSQL.equals(dbType)){
                port = "3306";
            }else if(ORACLE.equals(dbType)){
                port = "1521";
            }
        }
        boolean valid = isValidAddress(host);
        if(!valid){
            try{
                host = InetAddress.getByName(host).getHostAddress();
                valid = true;
            }catch (Exception e){
            }
        }
        if(!valid){
            ret.clear();
            break;
        }
        ret.add(host + ":" + port);
    }
    return ret;
}

通过数据库IP和端口查询出网络连接数量

@Override
public void log(DruidDataSourceStatValue statValue) {
  ... ...
  List<String> addresses = parse(statValue.getUrl());
  int netCount = netCount(addresses);
}
private int netCount(List<String> addresses){
    if(addresses.isEmpty()){
        return 0;
    }
    StringBuilder filter = new StringBuilder();
    for(String address : addresses){
        if(filter.length() == 0){
            filter.append("dst ").append(address);
        }else {
            filter.append(" or dst ").append(address);
        }
    }
    String cmd = "ss -ant state established " + filter;
    List<String> ret = runNative(cmd);
    return (ret.size() == 0) ? 0 : (ret.size() - 1);
}
public static List<String> runNative(String cmdToRunWithArgs) {
    Process p;
    try {
        p = Runtime.getRuntime().exec(cmdToRunWithArgs);
    }  catch (Exception e) {
        return new ArrayList<>(0);
    }
    ArrayList<String> sa = new ArrayList<>();
    BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
    try {
        String line;
        while ((line = reader.readLine()) != null) {
            sa.add(line);
        }
        p.waitFor();
    } catch (Exception ie) {
        return new ArrayList<>(0);
    } finally {
        try {
            reader.close();
        } catch (Exception e) {
        }
    }
    return sa;
}

将数据监控起来

通过上面已经获取到了需要监控的数据,收集监控数据的方式根据使用的监控系统不同而不同,我们是把监控指标数据存入文件,监控agent再将数据指标采集走。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
    private final static Logger logger = LoggerFactory.getLogger("profile");
    private final static String ORACLE = "oracle";
    private final static String MYSQL = "mysql";
  @Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
        List<String> addresses = parse(statValue.getUrl());
    int netCount = netCount(addresses);
        logger.info("{}|{}|{}",activeCount,poolingCount,netCount);
    }
}

使用方法

最后需要将上面的类配置到Spring容器中,步骤如下:

第一步

配置Druid指标Logger,在Spring中添加如下配置:

<bean id="druidDataSourceMetricsLogger" class="DruidDataSourceMetricsLogger"/>

第二步

在需要监控的DruidDatasource配置中添加如下配置:

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    ... ...
    <property name="timeBetweenLogStatsMillis" value="60000" />
    <property name="statLogger" ref="druidDataSourceMetricsLogger" />
    ... ...
</bean>

总结

通过druid logger的方式获取druid指标,通过jdbcUrl最终获取到与数据库的网络连接数量,将以上指标数据放入监控系统并通过配置报警来及时发现连接泄露的问题。

注:由于网络连接是通过jdbcUrl中IP获取的,对于不仅仅是通过jdbcUrl中IP创建的网络连接是统计不十分准确。

目录
相关文章
|
4天前
|
Java 关系型数据库 MySQL
如何用java的虚拟线程连接数据库
本文介绍了如何使用Java虚拟线程连接数据库,包括设置JDK版本、创建虚拟线程的方法和使用虚拟线程连接MySQL数据库的示例代码。
17 6
如何用java的虚拟线程连接数据库
|
1天前
|
SQL 开发框架 .NET
ASP连接SQL数据库:从基础到实践
随着互联网技术的快速发展,数据库与应用程序之间的连接成为了软件开发中的一项关键技术。ASP(ActiveServerPages)是一种在服务器端执行的脚本环境,它能够生成动态的网页内容。而SQL数据库则是一种关系型数据库管理系统,广泛应用于各类网站和应用程序的数据存储和管理。本文将详细介绍如何使用A
15 3
|
2天前
|
数据库连接 网络安全 数据库
数据库网站连接错误怎么办?
数据库网站连接错误怎么办?
|
2天前
|
应用服务中间件 数据库连接 网络安全
网站连接数据库配置错误
网站连接数据库配置错误
|
4天前
|
Java 关系型数据库 MySQL
数据库的连接用Java
本文介绍了如何使用Java连接MySQL数据库,包括注册JDBC驱动、创建数据库连接URL、设置数据库用户和密码、建立连接以及关闭连接的完整代码示例。
9 0
数据库的连接用Java
|
17天前
|
关系型数据库 MySQL 数据库
6-2|测试连接数据库的命令
6-2|测试连接数据库的命令
|
3天前
|
SQL 数据库
SQL-serve数据库不能连接本地服务器的解决方案
SQL-serve数据库不能连接本地服务器的解决方案
31 0
|
5天前
|
存储 关系型数据库 MySQL
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB区别,适用场景
一个项目用5款数据库?MySQL、PostgreSQL、ClickHouse、MongoDB——特点、性能、扩展性、安全性、适用场景比较
|
1天前
|
缓存 算法 关系型数据库
Mysql(3)—数据库相关概念及工作原理
数据库是一个以某种有组织的方式存储的数据集合。它通常包括一个或多个不同的主题领域或用途的数据表。
16 3
Mysql(3)—数据库相关概念及工作原理
|
4天前
|
SQL 关系型数据库 MySQL