数据库连接数过万的真相,原来我们错怪阿里云RDS了-阿里云开发者社区

开发者社区> yq传送门> 正文

数据库连接数过万的真相,原来我们错怪阿里云RDS了

简介: 一次有一位用户发现数据库连接数过万并且认为是阿里云RDS的问题,但后来阿里云提供了当时的数据库连接情况,最终弄清真相的他们发现错误出现在 .NET Core 中的连接池在 Linux 上的实现问题。下面小编将把这位用户的从发现问题,误会阿里到最后认清真相的经历分享给大家,看来阿里的技术还是过硬的呢!
+关注继续查看

在一次数据库连接问题中,我们坚持认为数据库连接数过万是阿里云RDS的问题,但后来阿里云提供了当时的数据库连接情况,让我们动摇了自己的想法。

413fd59646512d5abfed124b03cb2ffedeb5e5a6

上面这5个帐户产生了10030个数据库连接,当看前4个帐户(产生了9511个连接)的名称时,我们打了一个寒颤 —— 这些都是运行 Linux 上的 ASP.NET Core 站点。。。这不是巧合,其中必有蹊跷。随后,我们观察了主备库切换后的 RDS 中数据库连接情况。有一个运行在 Linux 上的 ASP.NET Core 站点,用了3台服务器,却产生了1528个数据库连接。

  • SELECT * FROM sys.sysprocesses 
  • WHERE loginame='xxx'

重启其中1台服务器上的站点,连接数立马从1528降到了391。什么情况?数据库连接池发飙了?继续观察,当前数据库中大量的连接都是由运行在 Linux 上的 ASP.NET Core 站点产生的,而且会随着时间的推移保持增长。

数据库连接泄漏了,这还是第1次遇到!可我们在 APS.NET Core 应用中所有的数据库操作都用的是Entity Framework Core,不存在没有及时关闭数据库连接的情况,唯一可以怀疑的对象是在 System.Data.SqlClient 中实现的 ADO.NET 数据库连接池。

数据库连接池究竟出什么状况了?我们在数据库连接字符串中没有另外设置连接池,用的是默认设置(Min_Pool_Size = 0; 与 Max_Pool_Size = 100;)。而且更奇怪的是 Max_Pool_Size 的限制没起作用,不然只会报下面的错误,不会连接数一直增长。

  • Timeout expired. The timeout period elapsed prior to obtaining a connection from the pool. This may have occurred because all pooled connections were in use and max pool size was reached.

我们想来想去,唯一能想得通的解释是 .NET Core 的数据库连接池发生了这样的状况 —— 连接池中已经创建的连接无法被重用,不仅如此,而且它们直接被 SqlClient 给无视了,都没有被计算在 Pool Size 中,所以根本触发不了 Max_Pool_Size 的限制,造成连接无限制,任由 SqlClient 建。更要命的是,这些被无视的连接却一直在保持着与数据库的连接。于是,连接泄露成了命中注定。

在有了这个唯一想得通的猜测后,我们今天开始在测试环境中进行验证。部署一个 ASP.NET Core 站点,创建一个专用数据库连接帐户,然后用下面的 SQL 语句查看数据库连接是否被重用,同时在测试服务器用 tcpdump 进行抓包,并且分别用阿里云 RDS 与我们自己搭建的 SQL Server 服务器进行测试。

  • SELECT * from sys.sysprocesses where loginame='测试专用帐户'

如果连接池正常工作,第1次访问,新建所需的数据库连接;第2次访问同样的页面,应该重用已有的数据库连接,不会创建新的数据库连接。开始测试时,不管连接阿里云 RDS 还是我们自己的 SQL Server,连接池都工作正常,连接能被重用。后来分析了一下,虽然生产环境中连接数一直在增长,但增长速度不是很快,可能问题的发生需要一定的时间间隔,或许连接闲置超过一定时间之后才不会被重用。

于是,我们间隔了10分钟左右进行访问测试,问题重现了!比如其中的一次测试,同一个页面第1次访问,产生了5个连接;过10分钟左右再访问,会新建3个连接变成8个连接;再过10分钟左右访问,连接增长到11个。这种连接不能被重用的情况通过 tcp 抓包也可以看出来。如果在很短的时间内访问,连接数保持不变(连接被重用)。

7d1b29ab6f58e8f6b5be940a8b5bf215da57724b

这个问题不仅在阿里云 RDS (SQL Server 2008 R2)可以重现,而且在我们自己搭建的 SQL Server 2014 也能重现,问题的真相随之水落石出:数据库连接数过万问题不是阿里云 RDS 的问题,而是 .NET Core 中 System.Data.SqlClient 的连接池在 Linux 上的实现问题,我们错怪了阿里云,轻信了微软。这是我们使用阿里云以来对阿里云最大的一次误会,这是我们 .NET Core 迁移过程中遇到的最大的一个坑。为什么最近才出现这个问题?是因为我们最近将更多站点迁移到了 ASP.NET Core ,而且将之前一些跑在 Windows 上的 ASP.NET Core 站点切换到了 Linux 。

如何解决这个问题?我们会察看一下 System.Data.SqlClient 的实现代码,看能否找到实现层面的线索。阿里云会进一步验证这个问题,如果确认是微软实现上的问题,会与微软沟通解决。我们在 Windows 上进行对比测试发现,在 Windows 上连接池中闲置的数据库连接过段时间会被自动关闭,与上面 Linux 同样的测试场景,间隔10分钟后查看,数据库连接全消失了。


来源:博客园

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8635 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10462 0
Aliware打造史上最强时序数据库,HiTSDB每秒写入时序数据达1000万!
近日,Aliware对外正式发布HiTSDB高性能时序数据库。HiTSDB引入了高效压缩算法,能够将每个数据点的平均内存开销压缩到2字节以下,并且支持最高每秒1000 万的时序数据点写入,同时可以通过“预降精度”的方式,将业务精度的数据在入库的过程中计算完成,提升查询的效率。
7885 0
+关注
797
文章
18
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载