记一次mysql客户端执行sql后hung住-阿里云开发者社区

开发者社区> 牧原> 正文

记一次mysql客户端执行sql后hung住

简介: 背景: 客户反馈,执行sql后无返回,同时抓包没有抓到对应的sql发起访问(实际复现的时候抓到了报文),以及mysql客户端加不加-A 速度不一(不加 -A 要在本地创建一个库表缓存,加了就不创建这个),实际分析下来并没有很难,本文主要为了分享一下该类问题分析的小技巧 1,需要循环执行sql,.
+关注继续查看
 近期遇到一个新的case,执行sql后无返回,同时抓包没有抓到对应的sql发起访问(实际复现的时候抓到了报文)
,以及mysql客户端加不加-A 速度不一(不加 -A 要在本地创建一个库表缓存,加了就不创建这个),
实际分析下来并没有很难,本文主要为了分享一下该类问题分析的小技巧

1,需要循环执行sql,写个循环配置免密登陆,,如下所示的配置后,就可以直接 mysql -A 登陆成功了

[root@Ad****s-143 ~]# cat .my.cnf
[client]
host=rm-t********e3eo.mysql.si****re.rds.aliyuncs.com
user='p***b'
password='vk7m*****x%ta'
[root@Ad****s-143 ~]# mysql -A
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 12571135
Server version: 5.6.16-log Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>

2, 配置循环sql,并抓包(构造一个特殊的sql,并追踪mysql命令行的执行过程)

抓包用这个sql就足够了
# for i in {1..100};do echo $i;mysql -A -e "select guid, name, 0 from pa.industry limit $i ;";sleep 1s;done
循环一百次           输出本伦次序号   mysql指向sql,同时limit指定为前面的i变量,便于提取sql           间隔1秒
strace跟踪的话用这个
# for i in {1..100};do echo $i;strace -F -ff -t -tt -s 4096 -o m.out mysql -A -e "select guid, name, 0 from pa.industry limit $i ;";sleep 1s;done

3, 复现问题,并分析
输出效果

[root@Ad*****s-143 ~]# for i in {1..100};do echo $i;mysql -A -e "select guid, name, 0 from pa.industry limit $i ;";sleep 1s;done
1
+--------------------------------------+------+---+
| guid                                 | name | 0 |
+--------------------------------------+------+---+
| 965EADB8-C88E-83B2-325C-0DD04D5612DA | ???? | 0 |
+--------------------------------------+------+---+
2
+--------------------------------------+------+---+
| guid                                 | name | 0 |
+--------------------------------------+------+---+
| 965EADB8-C88E-83B2-325C-0DD04D5612DA | ???? | 0 |
| 0DFECEC8-9348-75F1-5B7C-2EE050FB0186 | ???? | 0 |
+--------------------------------------+------+---+
......中间省略一万字
29
+--------------------------------------+---------+---+
| guid                                 | name    | 0 |
+--------------------------------------+---------+---+
| 965EADB8-C88E-83B2-325C-0DD04D5612DA | ????    | 0 |
| 0DFECEC8-9348-75F1-5B7C-2EE050FB0186 | ????    | 0 |
| 4184E44C-E829-E3F3-5D75-1B488B3953A6 | ??      | 0 |
| 7FB961D6-EE07-2E67-447B-E1DDB2C2A2E0 | ??      | 0 |
| F7D1588D-9961-E01E-4C3E-228752504C0C | ????    | 0 |
| 07AD88F0-4546-10B1-040F-89C1773E2C52 | ??      | 0 |
| 451DB2F6-170B-7BEC-5DF9-2C3643204CA8 | ??      | 0 |
| FC67E100-F77B-165A-3202-23DF76BB1120 | ??      | 0 |
| 4C5AEA5F-AD45-E04B-59A8-22AC3CC6BDF9 | ????    | 0 |
| BB3EF523-762E-D38A-7ACC-CBAEA027A2E2 | ????    | 0 |
| 0C331B61-A650-4178-9153-2FAD8402492B | ????    | 0 |
| A85AD107-8A6D-22DD-4854-86DB0AD5A0E1 | ????    | 0 |
| 758D3D24-8725-8FD2-21DC-E58CE7F790B0 | ????    | 0 |
| 1D0DE78E-DE69-8DEA-187F-80762F918CAF | ??????  | 0 |
| 86820362-D8FB-BF3E-D1AE-BEA9F22DF131 | ????    | 0 |
| 4561EF83-C1F9-3EC3-EB5B-B829D8E1B652 | ????    | 0 |
| F552AF90-792C-39CC-E201-CD97C9681A38 | ????    | 0 |
| A8B0CEDA-5B2B-A231-4414-5EA41E37B680 | ????    | 0 |
| AA5E6908-9DF6-17CD-EEB8-4EB877A65F80 | ????    | 0 |
| 220B5BDD-019B-B13D-4518-259A9BF33A84 | ????    | 0 |
| 00F55DEA-15D1-BFC0-EF96-8FA57464A036 | ?????   | 0 |
| 9877703F-B2C1-E5BE-2A85-CF76CE944FC8 | ????    | 0 |
| BCB3CB52-37FB-2F99-C330-FBDC4C7E5949 | ????    | 0 |
| 5CF8E33B-0936-C2C4-0763-3880943D1461 | ????    | 0 |
| AF5941E7-56D5-4D56-B24D-8DA026A76B49 | ????    | 0 |
| E204689F-A318-E53E-FDF2-7FB942CA4D80 | ????    | 0 |
| BAB81C78-BC1C-33F5-81A5-CE9811F4F4E6 | ??????? | 0 |
| 6BD47A46-0CDE-5B95-1701-560BF2A8BBB7 | ????    | 0 |
| C098145A-F21B-033B-52D6-35A4BD7C83A4 | ????    | 0 |
+--------------------------------------+---------+---+
30 
^CCtrl-C -- sending "KILL QUERY 12569784" to server ...
Ctrl-C -- query aborted.
^CCtrl-C -- sending "KILL 12569784" to server ...
Ctrl-C -- query aborted.
^CCtrl-C -- exit!

4,strace 看到的结果,可以看出来发出的sql是 limit 33(多次复现保留的现场不一,不用纠结序号对不对得上的问题)
image

5,查看wireshark结果,客户端发出query的sql 已经被server端确认了,但是没有给返回response的结果
不正常返回的截图
image

正常返回的截图
image

6,登陆mysql查看processlist发现新问题,server把query给ack(确认)后,客户端没有收到response,但是server记录的是sleep,说明server返回了response并进入sleep状态,server端认为客户端没有结束连接,说明response丢在了中间链路上

mysql的会话
mysql> select * from INFORMATION_SCHEMA.PROCESSLIST where HOST like '101.*.*.143%';
+----------+--------+-----------------------+------+---------+------+-----------+---------------------------------------------------------------------------------+
| ID       | USER   | HOST                  | DB   | COMMAND | TIME | STATE     | INFO                                                                            |
+----------+--------+-----------------------+------+---------+------+-----------+---------------------------------------------------------------------------------+
| 12569201 | pa_web | 101.*.*.143:41580 | NULL | Sleep   |  734 |           | NULL                                                                            |
这一条这一条
| 12569784 | pa_web | 101.*.*.143:53000 | NULL | Sleep   |  161 |           | NULL  

ecs的tcp连接
image

7,客户端在国内,rds在新加坡,怀疑是跨境走的国际链路中间某一跳路由有问题导致报文被丢弃,建议跨境链路可以考虑使用高速通道打通内网调用

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
为 MySQL 客户端开启 TLS
本文主要描述了在 Kubernetes 上如何为 TiDB 集群的 MySQL 客户端开启 TLS。TiDB Operator 从 v1.1 开始已经支持为 Kubernetes 上 TiDB 集群开启 MySQL 客户端 TLS。开启步骤为: 为 TiDB Server 颁发一套 Server 端证书,为 MySQL Client 颁发一套 Client 端证书。并创建两个 Secret 对象,Secret 名字分别为:${cluster_name}-tidb-server-secret 和 ${cluster_name}-tidb-client-secret,分别包含前面创建的两套证书;
18 0
MySQL第三方客户端工具
如前所述,MySQL是一个基于客户机--服务器的DBMS,因此,为了使用MySQl,你需要有一个客户机软件给MySQL提供要执行的命令。即你需要一个编写和测试MySQL脚本的工具。 1、MySQL命令行实用程序 MySQl安装后,即可使用此工具。
1522 0
关于客户端接口分页sql语句
今天突然翻到为客户端写分页数据的sql,发现其实逻辑不对。列表是按照id降序的 当时这样写的: #翻上一页: select 字段 from 表 where id>lastId order by id desc limit pageSize #翻下一页: select 字段 from 表...
448 0
MySQL 8.0.19客户端的一个小变化
MySQL 8.0.19客户端的一个小变化
7 0
本机不安装Oracle客户端,使用PL/SQL Developer连接远程数据库
附送PL/SQL Developer11中文版下载地址 1、先到Oracle网站下载Instant Client : http://www.oracle.com/technetwork/database/features/instant-client/index-097480.
1177 0
+关注
牧原
努力减肥中~
34
文章
0
问答
来源圈子
更多
作为全球云计算的领先者,阿里云为全球230万企业提供着云计算服务,服务范围覆盖200多个国家和地区。我们致力于为企业、政府等组织机构提供安全可靠的云计算服务,给用户带来极速愉悦的服务体验。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载