mysql线上连接超时和字段过长排查思路

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
简介: mysql线上连接超时和字段过长排查思路

读书忌死读,死读钻牛角。——叶圣陶


1 orm和mysql字段的长度



sqlalchemy 用model创建表之后 如果你指定了varchar的长度是20 那么第一次用orm生成表的时候length=20 但是当你插入21个字符的时候 报错pymysql.err.DataError: (1406, "Data too long for column 'name' at row 1")。我们修改mysql字段长度到25 再次插入21个字符 但是记住我们并没有修改model的长度 也就是说model还是20字符长,我们最后发现成功插入数据库表中。


结论

model中varchar的长度只是第一次创建表的时候有用,后面只要通过mysql表字段去修改了,即使model varchar不修改,也没有问题。当然如果表字段varchar改为text也没有问题 即使数据库表字段是varchar。


2 数据库引擎没有设置超时



2.1 背景


我们发现,各个子页面都会调用大数据一个查询DB的操作,而这个数据大概是8千万。我们的sqlalchemy session查询非常耗时,大概50s左右,但是后来又满满好了,查询在1s左右。为了重现线上的问题我们做一下分析


2.2 分析


其实有时候我们遇到这样的问题,首先想到的就是优化查询,比如通过explain看看有没有命中索引啊,是否用到文件排序或者说回表查询啊,这种思路挺对的,你也必须过一遍,过完之后发现你的查询很NB,没什么问题,那这个时候我们就要站在更高的角度去看待问题,不要死死盯着你的sql,因为你再怎么优化无济于事。


考虑到是大数据环境,偶尔查询慢是正常的,因为有很多因素,比如带宽啊,网络啊以及负载啊之类的。所以我们怀疑如果这些因素导致我们查询慢,一定是我们那里没有设置超时时间导致sql变慢的,后来追溯源码,发现引擎底层是支持read_timeout的,而我们代码中在创建连接的时候并没有指定,因此必须立刻马上现在解决它。


2.3 解决


但是线上数据都是1s左右返回,如何线下模拟呢?


解决方案:锁表

先在创建engin的时候传入参数


比如


创建engine的时候,设置参数connect_args={"read_timeout":5} .这样创建的engine就会在读取数据超时的情况下抛出超时异常。

再把整个表以write的方式锁住,这样其他session就没办法查询或者修改,直到锁释放才会执行,否则会一直阻塞。这样我们就可以解决超时的现象。


我们先开启一个session会话,比如mysql终端。然后lock table big_data write; 然后我们程序启动,自然开启session去执行big_data的查询。这样等待5s之后抛出异常,完美还原案发现场


最后unlock tables


3   小结



有时候大家碰到问题,要经常汇总和整理,这样下次遇到类似问题直接找出来用,当你累积到一定程度,那么像这样的问题其实就是自然而然的解决了。


4 关注公众号



微信公众号:堆栈future

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
12月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
|
6月前
|
SQL Java 关系型数据库
Java连接MySQL数据库环境设置指南
请注意,在实际部署时应该避免将敏感信息(如用户名和密码)硬编码在源码文件里面;应该使用配置文件或者环境变量等更为安全可靠地方式管理这些信息。此外,在处理大量数据时考虑使用PreparedStatement而不是Statement可以提高性能并防止SQL注入攻击;同时也要注意正确处理异常情况,并且确保所有打开过得资源都被正确关闭释放掉以防止内存泄漏等问题发生。
281 13
|
6月前
|
SQL 关系型数据库 MySQL
MySQL数据库连接过多(Too many connections)错误处理策略
综上所述,“Too many connections”错误处理策略涉及从具体参数配置到代码层面再到系统与架构设计全方位考量与改进。每项措施都需根据具体环境进行定制化调整,并且在执行任何变更前建议先行测试评估可能带来影响。
1513 11
|
6月前
|
SQL 关系型数据库 MySQL
排除通过IP访问MySQL时出现的连接错误问题
以上步骤涵盖了大多数遇到远程连接 MySQL 数据库时出现故障情形下所需采取措施,在执行每个步骤后都应该重新尝试建立链接以验证是否已经解决问题,在多数情形下按照以上顺序执行将能够有效地排除并修复大多数基本链接相关故障。
459 3
|
6月前
|
SQL 监控 关系型数据库
查寻MySQL或SQL Server的连接数,并配置超时时间和最大连接量
以上步骤提供了直观、实用且易于理解且执行的指导方针来监管和优化数据库服务器配置。务必记得,在做任何重要变更前备份相关配置文件,并确保理解每个参数对系统性能可能产生影响后再做出调节。
649 11
|
7月前
|
存储 关系型数据库 MySQL
修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
通过上述步骤大多数情况下能够解决由于UTF-encoding相关错误所带来影响,在实施过程当中要注意备份重要信息以防止意外发生造成无法挽回损失,并且逐一排查确认具体原因以采取针对性措施解除障碍。
411 12
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
519 69
|
9月前
|
关系型数据库 MySQL
MySQL数据表添加字段(三种方式)
本文解析了数据表的基本概念及字段添加方法。在数据表中,字段是纵向列结构,记录为横向行数据。MySQL通过`ALTER TABLE`指令支持三种字段添加方式:1) 末尾追加字段,直接使用`ADD`语句;2) 首列插入字段,通过`FIRST`关键字实现;3) 指定位置插入字段,利用`AFTER`指定目标字段。文内结合`student`表实例详细演示了每种方法的操作步骤与结构验证,便于理解与实践。
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
466 25
|
关系型数据库 MySQL 数据库连接
Unity连接Mysql数据库 增 删 改 查
在 Unity 中连接 MySQL 数据库,需使用 MySQL Connector/NET 作为数据库连接驱动,通过提供服务器地址、端口、用户名和密码等信息建立 TCP/IP 连接。代码示例展示了如何创建连接对象并执行增删改查操作,确保数据交互的实现。测试代码中,通过 `MySqlConnection` 类连接数据库,并使用 `MySqlCommand` 执行 SQL 语句,实现数据的查询、插入、删除和更新功能。

推荐镜像

更多