【优雅代码】08-构建自己的连接池

简介: 线程池的优势自不必多说,连接池和线程池有着众多相通之处,比较常见的连接池有druid、jedis等,但若是某些自研数据库等该如何构建自己的连接池就成问题。笔者使用http这一工具进行构建,可以对比效率差异。核心包为common-pool2

【优雅代码】08-构建自己的连接池

欢迎关注b站账号/公众号【六边形战士夏宁】,一个要把各项指标拉满的男人。该文章已在 github目录收录。
屏幕前的 大帅比大漂亮如果有帮助到你的话请顺手点个赞、加个收藏这对我真的很重要。别下次一定了,都不关注上哪下次一定。

1.背景

线程池的优势自不必多说,连接池和线程池有着众多相通之处,比较常见的连接池有druid、jedis等,但若是某些自研数据库等该如何构建自己的连接池就成问题。笔者使用http这一工具进行构建,可以对比效率差异。核心包为common-pool2

2.构建对象工厂

public class HttpCoonFactory extends BasePooledObjectFactory<HttpClient> {

    @Override
    public HttpClient create() throws Exception {
        // 和线程池一样的设计思路创建对象
        return HttpClients.createDefault();
    }

    @Override
    public PooledObject<HttpClient> wrap(HttpClient httpClient) {
        // 和线程池一样的设计思路,包装对象
        return new DefaultPooledObject<HttpClient>(httpClient);
    }
}

3.定制化参数

public class HttpPoolConfig extends GenericObjectPoolConfig {

    public HttpPoolConfig() {
        // 这里的配置和其它连接池基本一致,一脉相承的设计思路
        setMinIdle(5);
        setTestOnBorrow(true);
        setMaxTotal(50);
    }
}

4.构建连接池

public class HttpPoolManager extends GenericObjectPool<HttpClient> {
    private static HttpPoolManager httpPoolManager = new HttpPoolManager();

    public static HttpPoolManager getInstance() {
        // 将单例暴露出去
        return httpPoolManager;
    }
    private HttpPoolManager() {
        // 将配置注入到连接池内
        super(new HttpCoonFactory(), new HttpPoolConfig());
    }
}

5.构建工具类

@Slf4j
public class HttpUtil {

    /**
     * 发送get方法已改造成使用连接池
     * @param url
     * @return
     */
    public static String sendGet(String url) {
        HttpGet httpGet = new HttpGet(url);
        httpGet.setConfig(RequestConfig.custom()
                .setConnectTimeout(3000)
                .setConnectionRequestTimeout(3000)
                .setSocketTimeout(3000)
                .build());
        CloseableHttpClient httpClient = null;
        try {
            httpClient = (CloseableHttpClient) HttpPoolManager.getInstance().borrowObject();
            try {
                @Cleanup CloseableHttpResponse response = httpClient.execute(httpGet);
                HttpEntity entity = response.getEntity();
                if (entity != null) {
                    return EntityUtils.toString(entity);
                }
            } catch (IOException e) {
                log.warn(String.format("%s:%s",
                        Thread.currentThread().getStackTrace()[1].getMethodName(),
                        e.getMessage()), e);
            }
        } catch (Exception e) {
            log.warn(String.format("%s:%s",
                    Thread.currentThread().getStackTrace()[1].getMethodName(),
                    e.getMessage()), e);
        }finally {
            HttpPoolManager.getInstance().returnObject(httpClient);
        }
        return "";
    }

    /**
     * 发送post方法已改造成使用连接池
     * @param url
     * @return
     */
    public static String sendPost(String url, Map<String,String> paramsMap,Map<String, String> headMap){
        List<NameValuePair> formParams = new ArrayList<>();
        if(MapUtils.isNotEmpty(paramsMap)){
            for (Map.Entry<String, String> entry : paramsMap.entrySet()) {
                formParams.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
            }
        }
        HttpPost httpPost = new HttpPost(url);
        httpPost.setConfig(RequestConfig.custom()
                .setConnectTimeout(3000)
                .setConnectionRequestTimeout(3000)
                .setSocketTimeout(3000)
                .build());
        if(MapUtils.isNotEmpty(headMap)){
            for (Map.Entry<String, String> entry : headMap.entrySet()) {
                httpPost.setHeader(entry.getKey(), entry.getValue());
            }
        }
        try {
            httpPost.setEntity(new UrlEncodedFormEntity(formParams, "utf-8"));
            @Cleanup CloseableHttpClient httpClient = HttpClients.createDefault();
            @Cleanup CloseableHttpResponse response = httpClient.execute(httpPost);
            HttpEntity entity = response.getEntity();
            if (entity != null) {
                return EntityUtils.toString(entity);
            }
        } catch (IOException e) {
            log.warn(String.format("%s:%s",
                    Thread.currentThread().getStackTrace()[1].getMethodName(),
                    e.getMessage()), e);
        }
        return "";
    }

    public static String sendPostJson(String url,String param,Map<String, String> headMap){
        StringEntity entity = new StringEntity(param,"utf-8");
        entity.setContentType(MediaType.APPLICATION_JSON_VALUE);
        entity.setContentEncoding("utf-8");
        HttpPost httpPost = new HttpPost(url);
        httpPost.setConfig(RequestConfig.custom()
                .setConnectTimeout(3000)
                .setConnectionRequestTimeout(3000)
                .setSocketTimeout(3000)
                .build());
        if(MapUtils.isNotEmpty(headMap)){
            for (Map.Entry<String, String> entry : headMap.entrySet()) {
                httpPost.setHeader(entry.getKey(), entry.getValue());
            }
        }
        try {
            httpPost.setEntity(entity);
            @Cleanup CloseableHttpClient httpClient = HttpClients.createDefault();
            @Cleanup CloseableHttpResponse response = httpClient.execute(httpPost);
            HttpEntity entityResukt = response.getEntity();
            if (entityResukt != null) {
                return EntityUtils.toString(entityResukt);
            }
        } catch (IOException e) {
            log.warn(String.format("%s:%s",
                    Thread.currentThread().getStackTrace()[1].getMethodName(),
                    e.getMessage()), e);
        }
        return "";
    }

    /**
     *
     * @author seal 876651109@qq.com
     * @date 2020/6/4 7:23 PM
     */
    public static String postFile(InputStream stream,String fileName,String requestUrl){
        try {
            URL url = new URL(requestUrl);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("POST");
            conn.setDoInput(true);
            conn.setDoOutput(true);
            conn.setUseCaches(true);
            conn.setChunkedStreamingMode(1024 * 10000);
            conn.setRequestProperty("Content-Type", MediaType.MULTIPART_FORM_DATA_VALUE);
            @Cleanup OutputStream out = new DataOutputStream(conn.getOutputStream());
            IOUtils.copy(stream,out);
        } catch (ProtocolException e) {
            e.printStackTrace();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return "";
    }
}

6.使用及对比

public static void main(String[] args) {
        String url = "http://www.baidu.com";
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("pool");
        for (int i = 0; i < 100; i++) {
            sendGet(url);
        }
        stopWatch.stop();
        stopWatch.start("common");
        for (int i = 0; i < 100; i++) {
            HttpGet httpGet = new HttpGet(url);
            httpGet.setConfig(RequestConfig.custom()
                    .setConnectTimeout(3000)
                    .setConnectionRequestTimeout(3000)
                    .setSocketTimeout(3000)
                    .build());
            try (CloseableHttpClient httpclient = HttpClients.createDefault()) {
                httpclient.execute(httpGet).getEntity();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        stopWatch.stop();
        System.out.println(stopWatch.prettyPrint());
    }
  • 结果如下,用连接池快了一倍,好处大大地
---------------------------------------------
ns         %     Task name
---------------------------------------------
1698114024  031%  pool
3696532228  069%  common
相关文章
|
10天前
|
存储 SQL 数据库连接
连接池的工作原理
初始化连接池:在应用程序启动时,连接池会创建一组数据库连接,并将这些连接存储在一个容器(通常是一个集合或队列)中。 获取连接:当应用程序需要与数据库交互时,从连接池中获取一个空闲的连接。如果连接池中没有可用连接,应用程序可以选择等待或创建新的连接(如果连接池允许)。 使用连接:应用程序使用获取到的连接执行SQL操作。 归还连接:操作完成后,将连接归还到连接池,以便其他请求可以重用该连接。 维护连接池:连接池需要定期检查和维护连接的状态,例如清理长时间未使用的连接、验证连接的有效性等。
16 1
|
1月前
|
XML Java 数据库连接
如何使用HikariCP连接池来优化数据库连接管理
在Java应用中,高效管理数据库连接是提升性能的关键。本文介绍了如何使用HikariCP连接池来优化数据库连接管理。通过引入依赖、配置参数和获取连接,你可以显著提高系统的响应速度和吞吐量。 示例代码展示了从配置到使用的完整流程,帮助你轻松上手。
150 3
|
1月前
|
Java 数据库连接 数据库
Java连接池在数据库性能优化中的重要作用。连接池通过预先创建和管理数据库连接,避免了频繁创建和关闭连接的开销
本文深入探讨了Java连接池在数据库性能优化中的重要作用。连接池通过预先创建和管理数据库连接,避免了频繁创建和关闭连接的开销,显著提升了系统的响应速度和吞吐量。文章介绍了连接池的工作原理,并以HikariCP为例,展示了如何在Java应用中使用连接池。通过合理配置和优化,连接池技术能够有效提升应用性能。
46 1
|
Java 关系型数据库 MySQL
连接池技术:简单而强大的加速数据库访问方法
连接池技术是一种简单而强大的方法,可用于加速数据库访问。在传统的数据库访问过程中,每次与数据库建立连接和关闭连接都需要耗费大量的时间和资源。而连接池技术通过事先建立一组可重复使用的数据库连接,有效地减少了连接和关闭连接的开销。本文将深入探讨连接池技术的工作原理和优势,以及如何正确配置和使用连接池来提高应用程序的性能。无论你是开发人员还是系统管理员,通过了解连接池技术,你将能够更好地利用数据库资源,使系统更加稳定和高效。
665 0
|
7月前
|
数据库连接 数据库
连接池的扩展和定制
连接池的扩展和定制
|
7月前
|
监控 Java 数据库连接
数据库访问: 解释一下连接池的概念。
数据库访问: 解释一下连接池的概念。
96 1
|
数据库
数据库连接池的工作原理
数据库连接池的工作原理
122 0
|
设计模式 SQL druid
jdbcs之连接池和框架
jdbcs之连接池和框架
158 0
jdbcs之连接池和框架
|
Java 数据库连接 API
自定义数据库连接池
自定义数据库连接池
112 0
自定义数据库连接池
|
存储 缓存 监控
基于HiKariCP组件,分析连接池原理
HiKariCP作为SpringBoot2框架的默认连接池,号称是跑的最快的连接池,数据库连接池与之前两篇提到的线程池和对象池,从设计的原理上都是基于池化思想,只是在实现方式上有各自的特点;
370 0
基于HiKariCP组件,分析连接池原理