ORM规约变更经典案例---mysql军规

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
全局流量管理 GTM,标准版 1个月
简介:   先介绍一下《MySQL数据库开发的三十六条军规》,这里只介绍核心的,具体内容大家可以自行百度,这是从底层开发人员到管理者必须知道规范。出自58赶集。写在前面的话:  总是在灾难发生后,才想起容灾的主要性;  总是在吃过亏后,才记得有人提醒过。

先介绍一下《MySQL数据库开发的三十六条军规》,这里只介绍核心的,具体内容大家可以自行百度,这是从底层开发人员到管理者必须知道规范。出自58赶集。

写在前面的话:

 总是在灾难发生后,才想起容灾的主要性;

 总是在吃过亏后,才记得有人提醒过。


核心军规:

     不在数据库做计算,CPU计算务必移至业务层;

     控制单表数据量,单表记录控制在千万级;

     控制列数量,字段数控制在20以内;

     平衡范式与冗余,为提高效率可以牺牲范式设计,冗余数据;

     拒绝3B(big),大SQL、大数据、大批量

  介绍两个例子。这个适合用STAR法则。STAR法则是情境(situation)、任务(task)、行动(action)、结论(result)四项的缩写。STAR法则是一种常常被面试官使用的工具。一般常说的开放性的问题,就是设立一个场景怎样解决问题基本用的是这种工具。

 

案例1:


以下是我们组发生的一个真实例子,具体操作和调研是由我两个同事实施的。


情境:


  核心交易目前在进行代码重构,数据模型的重构是其中重要的一个环节。一天我们同事在进行DDL(Data Defination Lauguage)的变更,由于两个字段比较相近,但是其中一个是原有字段不可为空,另外一个是新增字段,允许为空,结果空字段被赋值给了非空字段,DDL执行导致大量异常。DDL变更回滚后日志恢复正常。


任务:


  从java程序到连接mysql数据库用到了atlas、mybatis、数据库驱动到达mysql数据。而字段的映射是mybatis这样的ORM(Object Ralational Mapping)框架来处理的,我们的任务就是分析mybatis的源码和配置,找到问题的根源和以后要注意的事项。

 

行动:


  下载mybatis源码进行调试、分析。当前生产环境中,Mybatis版本是3.2.8.


  在使用mybatis时,有时可以不定义resultMap,直接在<select>语句上指定resultType。此时涉及到Mybatis的结果集自动映射。Mybatis的自动映射。Mybatis的自动映射默认开启。分析源码理解mybatis结果自动映射原理:


  1. mybatis自动映射预处理流程:


1112728-20180219194440616-1159301287.png



 2.自动映射流程(applyAutomaticMappings方法)


1112728-20180219195108894-783525886.png



 就是说applyAutomaticMappings要用到两个配置参数:mapUnderscoreToCamelCase和callSettersOnNulls。


  mapUnderscoreToCamelCase:是否开启驼峰命名。开启后会对大小写、下划线均不敏感。


     callSettersOnNulls:是否在该字段值为null时将结果同时反射set赋值方法进行赋值。


  3. 自动驼峰命名规则测试实验


实体属性 字段名 是否自动驼峰命名 是否可以赋值
deviceId device_id true 赋值给deviceId
deviceId device_id false 没有赋值给deviceId

traceno

traceNo

traceno true 赋值给traceNo

traceno

traceNo

trace_no false 都没有进行赋值

traceno

traceNo

trace_no true 赋值给traceNo

 

 

结论:


  在映射时会先把没有在resultMap中定义字段映射的字段按照名称相同的方式自动映射到返回类型的对应属性上。自动映射会忽略下划线和大小写。


  Mybatis settings配置项说明应该仔细研读。


  字段定义各个字段之间的区分要尽可能的大,严禁使用只有大小写和下划线不同的两个字段。

 

  我们现在在做分享会和读书会,我的想法是这些学习活动要尽量贴近项目,做有深度的学习。代码是随便找个人培训一下就可以写的,但是写出代码的效率和可维护性等代码质量的要求决定了大公司对初级程序员要求的门槛。而对所有技术研究的深度决定了突发问题的解决能力,对后续的建设提出的指导和建议。

 

案例2:


  《逆流而上》里介绍的一个案例。


情境:


  在某次项目发布阶段(数据库使用了分库分表),因为业务需要新增表字段,从SQL的代码逻辑来看,使用了select *,新增字段应该是兼容的,但在做线上数据库DDL操作后,立即出现了日志错误数飙升报警。当回滚还未执行,日志错误就已经自动恢复。


任务:


  从问题的现象来看,这个问题只有在变更过程中才出现,不太像是结果集映射问题,如果是映射问题,不执行回滚时无法自动恢复的。DBA反馈,可能是TDDL(Taobao Dustributed Data Layer分布式数据访问引擎)层对Select * 的解析逻辑引起DDL变更的不兼容。我们的任务就是确认问题发生的真正原因和对以后的指导意义。


行动(分析过程):


  1. TDDL在执行的时候,碰到select *,会从数据库表中解决出对应的全部字段:取第一个库的第一个表进行解析,解析之后,会缓存结果。替换*,然后在吧解析后的SQL语句交到目标数据库执行。


  2. 在第一个库变更后,TDDL拿到最新的字段列表,后续一段时间内的查询,都直接用带有新增字段的SQL语句提交到数据库执行;由于有部分数据库还没执行变更,没有新的字段,导致数据库执行出错,无法查询数据。


结论:


  对于此问题是分库分表中,持久层框架无对select *的兼容逻辑导致。


  但是使用select *的弊端不限于此,比如select * 查询非必需字段,会造成资源浪费甚至影响服务器性能;增加SQL的解析成本;表结构变更可能会引起字段映射问题;不会使用覆盖索引,不利于查询的性能优化等。


  《阿里巴巴编程规约》中对于ORM规范,有明确一条强制规约:在表查询中,一律不要使用*作为查询的字段列表,需要哪些字段必须明确写明。


  很多人问过我学习方法的问题,我觉得把这些基本规约和军规仔细研读,在平时的工作中多总结实践,也可以算作一个初级或者中级程序员的亮点了。技术追求体现在解决不了的问题追究到底,了解不了的问题研究到底。项目中问题不是天天有,但是这些理论怎样和实际结合确是天天要面对的问题。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
60 3
|
3月前
|
SQL 关系型数据库 MySQL
案例剖析:MySQL唯一索引并发插入导致死锁!
案例剖析:MySQL唯一索引并发插入导致死锁!
250 0
案例剖析:MySQL唯一索引并发插入导致死锁!
|
4月前
|
关系型数据库 MySQL 数据库
ORM对mysql数据库中数据进行操作报错解决
ORM对mysql数据库中数据进行操作报错解决
103 2
|
3月前
|
SQL 关系型数据库 MySQL
案例剖析,MySQL共享锁引发的死锁问题!
案例剖析,MySQL共享锁引发的死锁问题!
|
3月前
|
消息中间件 关系型数据库 MySQL
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
大数据-117 - Flink DataStream Sink 案例:写出到MySQL、写出到Kafka
240 0
|
15天前
|
存储 关系型数据库 MySQL
10个案例告诉你mysql不使用子查询的原因
大家好,我是V哥。上周与朋友讨论数据库子查询问题,深受启发。为此,我整理了10个案例,详细说明如何通过优化子查询提升MySQL性能。主要问题包括性能瓶颈、索引失效、查询优化器复杂度及数据传输开销等。解决方案涵盖使用EXISTS、JOIN、IN操作符、窗口函数、临时表及索引优化等。希望通过这些案例,帮助大家在实际开发中选择更高效的查询方式,提升系统性能。关注V哥,一起探讨技术,欢迎点赞支持!
105 5
|
29天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
3月前
|
关系型数据库 MySQL 数据库
一个 MySQL 数据库死锁的案例和解决方案
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
215 3
|
3月前
|
存储 关系型数据库 MySQL
基于案例分析 MySQL 权限认证中的具体优先原则
【10月更文挑战第26天】本文通过具体案例分析了MySQL权限认证中的优先原则,包括全局权限、数据库级别权限和表级别权限的设置与优先级。全局权限优先于数据库级别权限,后者又优先于表级别权限。在权限冲突时,更严格的权限将被优先执行,确保数据库的安全性与资源合理分配。
|
4月前
|
监控 关系型数据库 MySQL
zabbix agent集成percona监控MySQL的插件实战案例
这篇文章是关于如何使用Percona监控插件集成Zabbix agent来监控MySQL的实战案例。
94 2
zabbix agent集成percona监控MySQL的插件实战案例

推荐镜像

更多