监控druid数据库连接池连接泄露的思路

本文涉及的产品
应用实时监控服务-用户体验监控,每月100OCU免费额度
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 监控druid数据库连接池连接泄露的思路

背景介绍

在【一次druid数据库连接池连接泄露的排查分析】中介绍了druid 1.2.18之前的版本存在连接泄露的风险,同时为了发现新版本可能存在的连接泄露风险,需要能够及时发现连接泄露的问题,下面介绍一下解决思路。

解决思路

这里的连接泄露是指【一次druid数据库连接池连接泄露的排查分析】中由于druid bug导致没有关闭连接的场景。

主要思路如下:

  1. 获取DruidDataSource实例当前管理的连接数量
  2. 获取DruidDataSource实例对应数据库实例的网络连接数量
  3. 将【1】【2】数据监控起来,并设置报警规则:当【2】-【1】>【阈值】的时候报警出来。

获取DruidDataSource实例管理的连接数量

我们通过自定义实现DruidDataSourceStatLogger的方式获取连接池的数据。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
  @Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
    }
}

使用连接池中活跃连接的数量和连接池中pooling的连接数量,作为需要监控的连接数量。

获取DruidDataSource对应数据库实例的网络连接数量

继续完善DruidDataSourceMetricsLogger中的逻辑,思路如下:

  1. 通过jdbcUrl解析出数据库IP和端口
  2. 通过数据库IP和端口查询出网络连接数量

通过jdbcUrl解析出数据库IP和端口

@Override
public void log(DruidDataSourceStatValue statValue) {
  ... ...
  List<String> addresses = parse(statValue.getUrl());
}
private static List<String> parse(String url){
    List<String> ret = new LinkedList<>();
    int pos = url.indexOf('?');
    if (pos != -1) {
        url = url.substring(0, pos);
    }
    url = url.substring("jdbc:".length());
    pos = url.indexOf(":");
    String dbType = url.substring(0,pos);
    url = url.substring(pos);
    if(ORACLE.equals(dbType)){
        url = url.substring(7);
    }else {
        url = url.substring(3);
    }
    int slash = url.indexOf('/');
    url = url.substring(0, slash);
    String[] addresses = url.split(",");
    StringBuilder grep = new StringBuilder();
    for (String address : addresses) {
        String host = "127.0.0.1";
        String port = null;
        int portIdx = address.lastIndexOf(':');
        if (portIdx != -1 && address.lastIndexOf(']') < portIdx) {
            host = address.substring(0, portIdx);
            port = address.substring(portIdx + 1);
        }
        if(port == null){
            if(MYSQL.equals(dbType)){
                port = "3306";
            }else if(ORACLE.equals(dbType)){
                port = "1521";
            }
        }
        boolean valid = isValidAddress(host);
        if(!valid){
            try{
                host = InetAddress.getByName(host).getHostAddress();
                valid = true;
            }catch (Exception e){
            }
        }
        if(!valid){
            ret.clear();
            break;
        }
        ret.add(host + ":" + port);
    }
    return ret;
}

通过数据库IP和端口查询出网络连接数量

@Override
public void log(DruidDataSourceStatValue statValue) {
  ... ...
  List<String> addresses = parse(statValue.getUrl());
  int netCount = netCount(addresses);
}
private int netCount(List<String> addresses){
    if(addresses.isEmpty()){
        return 0;
    }
    StringBuilder filter = new StringBuilder();
    for(String address : addresses){
        if(filter.length() == 0){
            filter.append("dst ").append(address);
        }else {
            filter.append(" or dst ").append(address);
        }
    }
    String cmd = "ss -ant state established " + filter;
    List<String> ret = runNative(cmd);
    return (ret.size() == 0) ? 0 : (ret.size() - 1);
}
public static List<String> runNative(String cmdToRunWithArgs) {
    Process p;
    try {
        p = Runtime.getRuntime().exec(cmdToRunWithArgs);
    }  catch (Exception e) {
        return new ArrayList<>(0);
    }
    ArrayList<String> sa = new ArrayList<>();
    BufferedReader reader = new BufferedReader(new InputStreamReader(p.getInputStream()));
    try {
        String line;
        while ((line = reader.readLine()) != null) {
            sa.add(line);
        }
        p.waitFor();
    } catch (Exception ie) {
        return new ArrayList<>(0);
    } finally {
        try {
            reader.close();
        } catch (Exception e) {
        }
    }
    return sa;
}

将数据监控起来

通过上面已经获取到了需要监控的数据,收集监控数据的方式根据使用的监控系统不同而不同,我们是把监控指标数据存入文件,监控agent再将数据指标采集走。

public class DruidDataSourceMetricsLogger extends DruidDataSourceStatLoggerAdapter implements DruidDataSourceStatLogger {
    private final static Logger logger = LoggerFactory.getLogger("profile");
    private final static String ORACLE = "oracle";
    private final static String MYSQL = "mysql";
  @Override
    public void log(DruidDataSourceStatValue statValue) {
        int activeCount = statValue.getActiveCount();
        int poolingCount = statValue.getPoolingCount();
        List<String> addresses = parse(statValue.getUrl());
    int netCount = netCount(addresses);
        logger.info("{}|{}|{}",activeCount,poolingCount,netCount);
    }
}

使用方法

最后需要将上面的类配置到Spring容器中,步骤如下:

第一步

配置Druid指标Logger,在Spring中添加如下配置:

<bean id="druidDataSourceMetricsLogger" class="DruidDataSourceMetricsLogger"/>

第二步

在需要监控的DruidDatasource配置中添加如下配置:

<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">
    ... ...
    <property name="timeBetweenLogStatsMillis" value="60000" />
    <property name="statLogger" ref="druidDataSourceMetricsLogger" />
    ... ...
</bean>

总结

通过druid logger的方式获取druid指标,通过jdbcUrl最终获取到与数据库的网络连接数量,将以上指标数据放入监控系统并通过配置报警来及时发现连接泄露的问题。

注:由于网络连接是通过jdbcUrl中IP获取的,对于不仅仅是通过jdbcUrl中IP创建的网络连接是统计不十分准确。

目录
相关文章
|
25天前
|
数据库 C# 开发者
ADO.NET连接到南大通用GBase 8s数据库
ADO.NET连接到南大通用GBase 8s数据库
|
23天前
|
数据库连接 Linux Shell
Linux下ODBC与 南大通用GBase 8s数据库的无缝连接配置指南
本文详细介绍在Linux系统下配置GBase 8s数据库ODBC的过程,涵盖环境变量设置、ODBC配置文件编辑及连接测试等步骤。首先配置数据库环境变量如GBASEDBTDIR、PATH等,接着修改odbcinst.ini和odbc.ini文件,指定驱动路径、数据库名称等信息,最后通过catalog.c工具或isql命令验证ODBC连接是否成功。
|
1月前
|
缓存 监控 关系型数据库
如何根据监控结果调整 MySQL 数据库的参数以提高性能?
【10月更文挑战第28天】根据MySQL数据库的监控结果来调整参数以提高性能,需要综合考虑多个方面的因素
79 1
|
1月前
|
监控 关系型数据库 MySQL
如何监控和诊断 MySQL 数据库的性能问题?
【10月更文挑战第28天】监控和诊断MySQL数据库的性能问题是确保数据库高效稳定运行的关键
139 1
|
23天前
|
JSON JavaScript 关系型数据库
node.js连接GBase 8a 数据库 并进行查询代码示例
node.js连接GBase 8a 数据库 并进行查询代码示例
|
23天前
|
数据库连接 数据库 C#
Windows下C# 通过ADO.NET方式连接南大通用GBase 8s数据库(上)
Windows下C# 通过ADO.NET方式连接南大通用GBase 8s数据库(上)
|
23天前
|
数据库连接 数据库 C#
Windows下C# 通过ADO.NET方式连接南大通用GBase 8s数据库(下)
本文接续前文,深入讲解了在Windows环境下使用C#和ADO.NET操作南大通用GBase 8s数据库的方法。通过Visual Studio 2022创建项目,添加GBase 8s的DLL引用,并提供了详细的C#代码示例,涵盖数据库连接、表的创建与修改、数据的增删查改等操作,旨在帮助开发者提高数据库管理效率。
|
1月前
|
Java 数据库连接 数据库
深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能
在Java应用开发中,数据库操作常成为性能瓶颈。本文通过问题解答形式,深入探讨Java连接池技术如何通过复用数据库连接、减少连接建立和断开的开销,从而显著提升系统性能。文章介绍了连接池的优势、选择和使用方法,以及优化配置的技巧。
39 1
|
12天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
81 15
|
6天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
下一篇
DataWorks