AI 助理
备案控制台
开发者社区 数据库 文章 正文

关于MYSQL 5.7 新连接建立流程源码接口(和5.6不同)

2017-05-29 1205
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS PostgreSQL，高可用系列 2核4GB
云数据库 RDS MySQL，高可用系列 2核4GB
简介： 原创 水平有限 今天在看运维内参第三章源码的时候，发现书上很多代码入口函数和我用的5.7.14的源码对不上，然后再看了一下5.6的源码， 书上写的基本都是5.6的源码(书是2015年开始写的)5.7.14在连接这一块做了相当大的改动，加了很多抽象类，变得更加复杂了。
原创 水平有限

今天在看运维内参第三章源码的时候，发现书上很多代码入口函数和我用的5.7.14的源码对不上，然后再看了一下5.6的源码，
书上写的基本都是5.6的源码(书是2015年开始写的)5.7.14在连接这一块做了相当大的改动，加了很多抽象类，变得更加复杂了。
当然这也是软件模块划分的更加清晰的必然的结果，顺便说一下MYSQL在UNIX上使用的select/poll 这种多路I/O转接模型来监听
客户端的连接,监听的只是读操作，当客户端发起连接的时候select/poll通过监听LISTEN scoket上的是否有读取信息来判断，是否
有新的连接到来,然后调用线程回调函数建立新的线程来处理这个新的accpet的socket通道(还会判断是否有空闲的线程队列而不需要
新建立新的线程来处理)，线程的建立我们说是比进程代价小很多，他没有独立的内存三区(共享区,代码段和堆内存)，但是他也有PCB
有独立的栈空间所以能节约一点是一点吧。
关于MYSQL的源码各种多态太多了，真是眼花缭乱
下面是我使用到一些断点。

(gdb) info b
Num     Type           Disp Enb Address            What
1       breakpoint     keep y   0x0000000000ebd333 in main(int, char**) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/main.cc:25
        breakpoint already hit 1 time
2       breakpoint     keep y   0x00000000016e350d in inline_mysql_socket_accept(char const*, uint, PSI_socket_key, MYSQL_SOCKET, sockaddr*, socklen_t*) at /root/mysql5.7.14/percona-server-5.7.14-7/include/mysql/psi/mysql_socket.h:1110
        breakpoint already hit 18 times
6       breakpoint     keep y   0x0000000000f1b8d9 in Connection_handler_manager::process_new_connection(Channel_info*) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:289
        breakpoint already hit 15 times
8       breakpoint     keep y   0x00000000016e197f in handle_connection(void*) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_per_thread.cc:239
        breakpoint already hit 6 times
9      breakpoint     keep y   0x0000000000f1b1d5 in Connection_handler_manager::check_and_incr_conn_count(bool) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:105
        breakpoint already hit 1 time
12      breakpoint     keep y   0x00000000016e1f41 in Per_thread_connection_handler::add_connection(Channel_info*) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_per_thread.cc:399


下面按照调用流程解释一下这几个函数作用，希望帮到在5.7.14下使用GDB调试MYSQL连接的同学一点帮助
1、不解释主函数main

2、  inline_mysql_socket_accept
 当然也就是sokcet accept返回新的socket文件描述符的函数，因为找不到多路I/O转接 select和poll的入口用了这招去找
  找到多路I/O转接接口变为了Channel_info* Mysqld_socket_listener::listen_for_connection_event()
  Channel_info就是一个抽象类，这个函数会返回连接socket的相关信息给   Channel_info这个基类指针。
  又有多太发生了擦。
  
这里贴出一点和运维内参同样的代码，但是入口函数全部变了，而且除了逻辑相似，很多实现都变了
大量的用 多态

点击(此处)折叠或打开

  1. #ifdef HAVE_POLL //多路I/O转接判断是否有写连接到来
  2.   int retval= poll(&m_poll_info.m_fds[0], m_socket_map.size(), -1);
  3. #else
  4.   m_select_info.m_read_fds= m_select_info.m_client_fds;
  5.   int retval= select((int) m_select_info.m_max_used_connection,
  6.                      &m_select_info.m_read_fds, 0, 0, 0);
  7. #endif


点击(此处)折叠或打开

  1. #ifdef HAVE_POLL //多路I/O转接判断是否有写连接到来
  2.   int retval= poll(&m_poll_info.m_fds[0], m_socket_map.size(), -1);
  3. #else
  4.   m_select_info.m_read_fds= m_select_info.m_client_fds;
  5.   int retval= select((int) m_select_info.m_max_used_connection,
  6.                      &m_select_info.m_read_fds, 0, 0, 0);
  7. #endif

点击(此处)折叠或打开

  1. for (uint retry= 0; retry < MAX_ACCEPT_RETRY; retry++) //重试次数MAX_ACCEPT_RETRY好像是10
  2.   {
  3.     socket_len_t length= sizeof(struct sockaddr_storage);
  4.     connect_sock= mysql_socket_accept(key_socket_client_connection, listen_sock,
  5.                                       (struct sockaddr *)(&cAddr), &length);//这里没什么好说的返回新的sokcet文件描述符了
  6.     if (mysql_socket_getfd(connect_sock) != INVALID_SOCKET ||//返回的新的socket文件描述符无效(-1)
  7.         (socket_errno != SOCKET_EINTR && socket_errno != SOCKET_EAGAIN)) //如果是信号中断或者eagain重试没关系再来
  8.       break;
  9.   }

点击(此处)折叠或打开

  1. Channel_info* channel_info= NULL;
  2. //注意下面有多态发生这里和5.6很多不同了
  3.   if (is_unix_socket) //是否是本地UNIX_DOMAIN SOCKET
  4.     channel_info= new (std::nothrow) Channel_info_local_socket(connect_sock);
  5.   else//不是就是远程TCP/IP SCOKET
  6.     channel_info= new (std::nothrow)
  7.       Channel_info_tcpip_socket(connect_sock,
  8.                                 (mysql_socket_getfd(listen_sock)
  9.                                  == m_extra_tcp_port_fd)); //根据connect_scok 建立channel_info
  10.  
  11.   if (channel_info == NULL) //分配内存是否正常不正常搞下面的。
  12.   {
  13.     (void) mysql_socket_shutdown(connect_sock, SHUT_RDWR);
  14.     (void) mysql_socket_close(connect_sock);
  15.     connection_errors_internal++;
  16.     return NULL;
  17.   }

  19.   return channel_info;

栈帧
#0  inline_mysql_socket_accept (src_file=0x21c5f30 "/root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/socket_connection.cc", src_line=928, key=3, socket_listen=..., addr=0x7fffffffdc50, addr_len=0x7fffffffdcdc)
    at /root/mysql5.7.14/percona-server-5.7.14-7/include/mysql/psi/mysql_socket.h:1110
#1  0x00000000016e4981 in Mysqld_socket_listener::listen_for_connection_event (this=0x2fca760) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/socket_connection.cc:928
#2  0x0000000000ecf016 in Connection_acceptor::connection_event_loop (this=0x2fc9b30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_acceptor.h:66
#3  0x0000000000ec6a06 in mysqld_main (argc=52, argv=0x2e97438) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/mysqld.cc:5287
#4  0x0000000000ebd344 in main (argc=9, argv=0x7fffffffe418) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/main.cc:25

6、 Connection_handler_manager::process_new_connection，通过 Channel_info指针指向的SCOKET信息建立新线程

栈帧
#1  0x0000000000f1b9c6 in Connection_handler_manager::process_new_connection (this=0x2e98fc0, channel_info=0x34c4a30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:301
#2  0x0000000000ecf034 in Connection_acceptor::connection_event_loop (this=0x2fc9b30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_acceptor.h:68
#3  0x0000000000ec6a06 in mysqld_main (argc=52, argv=0x2e97438) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/mysqld.cc:5287
#4  0x0000000000ebd344 in main (argc=9, argv=0x7fffffffe418) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/main.cc:25

9、  Connection_handler_manager::check_and_incr_conn_count(bool) 
   这里判断 MAX_CONNECTIONS是否合适这里也和运维内参说的5.6的代码有了
很大的不同，但是逻辑一样如下：


点击(此处)折叠或打开

  1. if (extra_port_connection)
  2.   {
  3.     if (extra_connection_count > extra_max_connections)
  4.     {
  5.       connection_accepted= false;
  6.       m_connection_errors_max_connection++;
  7.     }
  8.     else
  9.     {
  10.       ++extra_connection_count;
  11.     }
  12.   }
  13.   else if (connection_count > max_connections)
  14.   {
  15.     connection_accepted= false;
  16.     m_connection_errors_max_connection++;
  17.   }
GDB如下：

(gdb) n
106       mysql_mutex_lock(&LOCK_connection_count);
(gdb) n
115       if (extra_port_connection)
(gdb) n
127       else if (connection_count > max_connections)
(gdb) P  max_connections
$4 = 6
(gdb) p connection_count
$5 = 7
(gdb) n
129         connection_accepted= false;
(gdb) n
130         m_connection_errors_max_connection++;
(gdb) n
141       mysql_mutex_unlock(&LOCK_connection_count);
(gdb) n
142       return connection_accepted;

栈帧
#0  Connection_handler_manager::check_and_incr_conn_count (this=0x2e98fc0, extra_port_connection=false) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:105
#1  0x0000000000f1b904 in Connection_handler_manager::process_new_connection (this=0x2e98fc0, channel_info=0x34c4a30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:289
#2  0x0000000000ecf034 in Connection_acceptor::connection_event_loop (this=0x2fc9b30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_acceptor.h:68
#3  0x0000000000ec6a06 in mysqld_main (argc=52, argv=0x2e97438) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/mysqld.cc:5287
#4  0x0000000000ebd344 in main (argc=9, argv=0x7fffffffe418) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/main.cc:25


12、  Per_thread_connection_handler::add_connection(Channel_info*) 这个函数会判断连接队列是否有空闲的，如果没有调用 mysql_thread_create建立新的线程
截取如下：

点击(此处)折叠或打开

  1. if (!check_idle_thread_and_enqueue_connection(channel_info)) //判断是否有空闲的连接队里
  2.     DBUG_RETURN(false);
  3.   /*
  4.     There are no idle threads avaliable to take up the new
  5.     connection. Create a new thread to handle the connection
  6.   */
  7.   error= mysql_thread_create(key_thread_one_connection, &id, //建立新的线程对接
  8.                              &connection_attrib,
  9.                              handle_connection,
  10.                              (void*) channel_info);
栈帧
#0  Per_thread_connection_handler::add_connection (this=0x2f67b10, channel_info=0x34c4a30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_per_thread.cc:399
#1  0x0000000000f1b9c6 in Connection_handler_manager::process_new_connection (this=0x2e98fc0, channel_info=0x34c4a30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_handler_manager.cc:301
#2  0x0000000000ecf034 in Connection_acceptor::connection_event_loop (this=0x2fc9b30) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/conn_handler/connection_acceptor.h:68
#3  0x0000000000ec6a06 in mysqld_main (argc=52, argv=0x2e97438) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/mysqld.cc:5287
#4  0x0000000000ebd344 in main (argc=9, argv=0x7fffffffe418) at /root/mysql5.7.14/percona-server-5.7.14-7/sql/main.cc:25

8、  handle_connection(void*)  这里就是5.7.16真正的回调函数用于建立线程，这里就不解释了，因为这里只是分析流程，以后在详细研究




这里终于找到了建立线程的回调函数，调试有时候不知道入口函数名字也是一种悲剧




作者微信：

               

文章标签：
云数据库 RDS MySQL 版
图数据库
SQL
关系型数据库
NoSQL
MySQL
运维
关键词：
云数据库 RDS MySQL 版连接
云数据库 RDS MySQL 版接口
云数据库 RDS MySQL 版流程
云数据库 RDS MySQL 版源码
云数据库 RDS MySQL 版连接接口
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
重庆八怪
目录
相关文章
蓝易云
|
17天前
|
SQL Java 关系型数据库
Java连接MySQL数据库环境设置指南
请注意，在实际部署时应该避免将敏感信息（如用户名和密码）硬编码在源码文件里面；应该使用配置文件或者环境变量等更为安全可靠地方式管理这些信息。此外，在处理大量数据时考虑使用PreparedStatement而不是Statement可以提高性能并防止SQL注入攻击；同时也要注意正确处理异常情况，并且确保所有打开过得资源都被正确关闭释放掉以防止内存泄漏等问题发生。
蓝易云
59 13
蓝易云
|
19天前
|
SQL 关系型数据库 MySQL
MySQL数据库连接过多（Too many connections）错误处理策略
综上所述，“Too many connections”错误处理策略涉及从具体参数配置到代码层面再到系统与架构设计全方位考量与改进。每项措施都需根据具体环境进行定制化调整，并且在执行任何变更前建议先行测试评估可能带来影响。
蓝易云
324 11
蓝易云
|
9天前
|
SQL 关系型数据库 MySQL
排除通过IP访问MySQL时出现的连接错误问题
以上步骤涵盖了大多数遇到远程连接 MySQL 数据库时出现故障情形下所需采取措施，在执行每个步骤后都应该重新尝试建立链接以验证是否已经解决问题，在多数情形下按照以上顺序执行将能够有效地排除并修复大多数基本链接相关故障。
蓝易云
78 3
蓝易云
|
23天前
|
SQL 监控 关系型数据库
查寻MySQL或SQL Server的连接数，并配置超时时间和最大连接量
以上步骤提供了直观、实用且易于理解且执行的指导方针来监管和优化数据库服务器配置。务必记得，在做任何重要变更前备份相关配置文件，并确保理解每个参数对系统性能可能产生影响后再做出调节。
蓝易云
157 11
蓝易云
|
1月前
|
存储 关系型数据库 MySQL
修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
通过上述步骤大多数情况下能够解决由于UTF-encoding相关错误所带来影响，在实施过程当中要注意备份重要信息以防止意外发生造成无法挽回损失，并且逐一排查确认具体原因以采取针对性措施解除障碍。
蓝易云
138 12
游客kufrkwrbkmpsa
|
6月前
|
关系型数据库 MySQL Java
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
游客kufrkwrbkmpsa
199 0
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
蓝易云
|
4月前
|
开发框架 Java 关系型数据库
在Linux系统中安装JDK、Tomcat、MySQL以及部署J2EE后端接口
校验时，浏览器输入：http://[your_server_IP]:8080/myapp。如果你看到你的应用的欢迎页面，恭喜你，一切都已就绪。
蓝易云
391 17
蓝易云
|
4月前
|
Java 关系型数据库 MySQL
在Linux操作系统上设置JDK、Tomcat、MySQL以及J2EE后端接口的部署步骤
让我们总结一下，给你的Linux操作系统装备上最强的军队，需要先后装备好JDK的弓箭，布置好Tomcat的阵地，再把MySQL的物资原料准备好，最后部署好J2EE攻城车，那就准备好进军吧，你的Linux军团，无人可挡！
蓝易云
116 18
蓝易云
|
4月前
|
开发框架 关系型数据库 Java
Linux操作系统中JDK、Tomcat、MySQL的完整安装流程以及J2EE后端接口的部署
然后Tomcat会自动将其解压成一个名为ROOT的文件夹。重启Tomcat，让新“植物”适应新环境。访问http://localhost:8080/yourproject看到你的项目页面，说明“植物”种植成功。
蓝易云
132 10
艾伦~耶格尔
|
24天前
|
安全 关系型数据库 MySQL
MySQL安全最佳实践：保护你的数据库
本文深入探讨了MySQL数据库的安全防护体系，涵盖认证安全、访问控制、网络安全、数据加密、审计监控、备份恢复、操作系统安全、应急响应等多个方面。通过具体配置示例，为企业提供了一套全面的安全实践方案，帮助强化数据库安全，防止数据泄露和未授权访问，保障企业数据资产安全。
艾伦~耶格尔
58 0

热门文章

最新文章

  • 1
    从下载到运行：MySQL 详细安装配置完整教程
  • 2
    解决MySQL的sql_mode=only_full_group_by错误提示
  • 3
    MySQL数据库连接过多（Too many connections）错误处理策略
  • 4
    使用命令行cmd查询MySQL表结构信息技巧分享。
  • 5
    查寻MySQL或SQL Server的连接数，并配置超时时间和最大连接量
  • 6
    修复.net Framework4.x连接MYSQL时遇到utf8mb3字符集不支持错误方案。
  • 7
    安装与配置MySQL 8 on Ubuntu，包括权限授予、数据库备份及远程连接指南
  • 8
    深入理解MySQL索引类型及其应用场景分析。
  • 9
    MySQL入门指南：从安装到第一个查询
  • 10
    MySQL锁机制：并发控制与事务隔离
  • 1
    在 MySQL 中使用 Distinct
    1416
  • 2
    在 MySQL 中使用 IS NULL
    913
  • 3
    MySQL——增量备份和全量备份
    123
  • 4
    Mysql80 密码忘记了怎么办
    175
  • 5
    MySQL——如何查看MySQL登录日志
    861
  • 6
    MySQL——删除重复数据
    101
  • 7
    Go语言中进行MySQL预处理和SQL注入防护
    329
  • 8
    MySQL——查看当前数据库中所有库中表的行数
    78
  • 9
    MySQL——大量的deleted进程导致磁盘100%
    86
  • 10
    MySQL——查看数据库大小
    132

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 阿里云数据库产品家族及特性
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • MySQL 技术大全：开发、优化与运维实战
  • 阿里云数据库运维实战手册
  • 搭建电商项目架构连接MySQL

    • 推荐镜像

    更多
  • mysql
    • 下一篇
    2025云栖大会，阿里云百炼邀请您的参与和见证