最佳实践—如何选择应用端链接池

简介: 背景当应用程序连接PolarDB-X实例执行操作时,从PolarDB-X实例的角度看,会有如下两种类型的连接:前端连接:由应用程序建立的,到PolarDB-X计算节点(CN)中逻辑库的连接。后端连接:由PolarDB-X计算节点建立的,到后端数据节点(DN)中物理库的连接。

背景

当应用程序连接PolarDB-X实例执行操作时,从PolarDB-X实例的角度看,会有如下两种类型的连接:

  • 前端连接:由应用程序建立的,到PolarDB-X计算节点(CN)中逻辑库的连接。
  • 后端连接:由PolarDB-X计算节点建立的,到后端数据节点(DN)中物理库的连接。4..png其中后端连接由CN管理,通过私有协议实现TCP连接与后端连接解绑,对用户透明。前端连接由用户创建和管理,本文主要讨论前端连接管理的最佳实践。


说明 为了简化描述,下文中的 “连接” 均代指 “前端连接”。

QPS/RT与连接数的关系

每秒查询请求数 (Query Per Second,QPS) 和响应时间 (Response Time,RT) 是衡量应用对数据库性能需求的基本指标,QPS代表应用并发访问数据库的需求,RT代表单条语句的处理性能。RT的高低与执行的SQL是否复杂和扫描的数据量紧密相关,OLTP系统中查询RT较低,通常以毫秒为单位。

PolarDB-X兼容MySQL协议,请求在单个连接上串行执行,不同连接上的请求可以并行执行,由此得到以下公式:

  • 单个连接的QPS上限 = 1000/RT
  • 应用访问单个CN的QPS上限 = 单个连接的QPS上限×连接数

按照平均RT为5ms计算,单个连接的QPS上限为200,假设应用预估需要的QPS为5000,则至少需要建立250个连接。

连接数限制

PolarDB-X中前端连接仅与网络连接绑定,连接的数量理论上仅受限于CN可用的内存大小和网络连接数。但在实际的场景中,应用创建连接是为了执行查询,连接数需要与执行线程的数量相匹配才能达到最佳性能。5..png

其中后端连接由CN管理,通过私有协议实现TCP连接与后端连接解绑,对用户透明。前端连接由用户创建和管理,本文主要讨论前端连接管理的最佳实践。


说明 为了简化描述,下文中的 “连接” 均代指 “前端连接”。

QPS/RT与连接数的关系

每秒查询请求数 (Query Per Second,QPS) 和响应时间 (Response Time,RT) 是衡量应用对数据库性能需求的基本指标,QPS代表应用并发访问数据库的需求,RT代表单条语句的处理性能。RT的高低与执行的SQL是否复杂和扫描的数据量紧密相关,OLTP系统中查询RT较低,通常以毫秒为单位。

PolarDB-X兼容MySQL协议,请求在单个连接上串行执行,不同连接上的请求可以并行执行,由此得到以下公式:

  • 单个连接的QPS上限 = 1000/RT
  • 应用访问单个CN的QPS上限 = 单个连接的QPS上限×连接数

按照平均RT为5ms计算,单个连接的QPS上限为200,假设应用预估需要的QPS为5000,则至少需要建立250个连接。

连接数限制

PolarDB-X中前端连接仅与网络连接绑定,连接的数量理论上仅受限于CN可用的内存大小和网络连接数。但在实际的场景中,应用创建连接是为了执行查询,连接数需要与执行线程的数量相匹配才能达到最佳性能。6..png

  • 连接池模式(TCP 长连接)效率更高,但部分场景下对分布式负载均衡不友好,可能导致CN负载不均匀
  1. 突发创建连接,导致分布不均如果应用存在突发创建大量连接的情况,负载均衡设备无法及时刷新统计信息,可能出现部分CN上连接较多,结合连接池化,最终导致部分CN压力高于其他CN,影响系统总体性能。
  2. 负载均衡探活异常,导致分布不均负载均衡通过主动探活来判断CN节点是否正常,当探活出现偶发异常时,可能导致部分CN上连接较少,结合连接池化,最终导致部分CN压力低于其他CN,影响系统总提性能。
  • Druid连接池增加了phyTimeoutMillis/phyMaxUseCount参数,定期(例如执行10000次或者10分钟)刷新连接池中的连接,可以在解决上述问题的同时保持性能基本不变,建议默认添加这两个配置。
  • 应用线程数与连接池应用程序访问数据库的一种常见模式,是在应用程序中创建多个线程,每个线程获取一个到数据库的连接并执行查询。为了减少创建/释放线程的开销,通常会使用“线程池”来管理线程,线程池的一个重要参数是“最大线程数”,需要根据实际情况调整。
    理想情况下,查询的RT波动不大,可以应用上文介绍的公式,根据RT计算出合理的连接池大小,并根按照“每个线程一个数据库连接”的思路确定最大线程数。实际场景中,查询RT受到热点、锁、数据倾斜等多种因素的影响,可能出现突发RT增长,甚至部分连接失去响应。如果完全按照理想情况连接池/线程池,可能由于部分慢查询耗尽连接池/线程池,导致应用失去响应,影响关联系统。因此,建议按照“理想情况”的1.5到2倍来设置最大连接数/线程数。
相关文章
|
JSON 前端开发 Java
SpringBoot项目Http406错误问题解决
一、背景 1、自定义了返回类 2、控制器使用@ResponseBody注解标记
|
存储 Java 调度
Springboot集成Quartz(任务存储在数据库)
集成quartz实现定时调度,quartz是一个功能丰富的开源的任务调用系统,它可以定义很多job并发执行,支持事务和集群
2119 0
|
前端开发 JavaScript API
一文吃透 Promise 与 async/await,异步编程也能如此简单!建议收藏!
在前端开发中,异步编程至关重要。本文详解了同步与异步的区别,通过生活化例子帮助理解。深入讲解了 Promise 的概念、状态及链式调用,并引入 async/await 这一语法糖,使异步代码更清晰易读。还介绍了多个异步任务的组合处理方式,如 Promise.all 与 Promise.race。掌握这些内容,将大幅提升你的异步编程能力,写出更优雅、易维护的代码,助力开发与面试!
573 0
一文吃透 Promise 与 async/await,异步编程也能如此简单!建议收藏!
|
算法 安全 Ubuntu
Linux下的软件包管理器有哪些
Linux下的软件包管理器有哪些
934 5
|
存储 数据采集 数据管理
《深度揭秘:数据库表结构设计的艺术与科学》
在数字化时代,数据库是企业数据管理的核心,而表结构设计直接影响系统性能与稳定性。设计合理的数据库表结构需从六大方面入手:精准把握业务需求,确保设计贴合实际;遵循规范化原则,减少冗余并维护一致性;审慎选择数据类型,平衡存储与性能;确保数据完整性,保障数据质量;优化查询性能,提升响应速度;注重前瞻性与灵活性,适应未来变化。这是一项融合业务理解、技术考量与实践经验的综合性任务,对构建高效、稳定、可扩展的数据库系统至关重要。
671 25
|
存储 Ubuntu 前端开发
Linux软件包管理工具概览
在Linux系统中,dpkg、apt、rpm、yum和dnf是几种常见的包管理工具,它们分别属于不同的Linux发行版或家族,并有着各自的诞生顺序和特点。下面将按照这些工具的诞生顺序,并结合Debian、Red Hat、CentOS、Ubuntu和Kali等系统,进行详细的介绍。
533 4
Ribbon、Feign、Hystrix超时&重试&熔断问题
在使用Ribbon、Feign、Hystrix组合时,因为配置的问题出现以下现象,让我的大脑CPU烧的不行不行(拿我老家话说就是“脑子ran滴奥”)
571 0
|
前端开发 JavaScript 开发者
console.log()
【8月更文挑战第29天】
1161 5
|
前端开发 Java 网络架构
为什么Controller就报错404,而改为RestController就不报错了
为什么Controller就报错404,而改为RestController就不报错了
644 0
|
JSON Java 数据格式
Springboot自定义全局异常处理
BasicErrorController是Spring Boot中默认提供的用于处理基本错误的控制器。它实现了ErrorController接口,用于处理在应用程序中发生的错误,例如404 Not Found等。此种方式是通过请求转发实现的,出现异常时,会转发到请求到/error,该接口对异常进行处理返回,是最符合全局异常处理的。
586 2

热门文章

最新文章