MyBatis版本升级导致OffsetDateTime入参解析异常问题复盘

简介: 最近有一个数据统计服务需要升级SpringBoot的版本,由1.5.x.RELEASE直接升级到2.3.0.RELEASE,考虑到没有用到SpringBoot的内建SPI,升级过程算是顺利。但是出于代码洁癖和版本洁癖,看到项目中依赖的MyBatis的版本是3.4.5,相比当时的最新版本3.5.5大有落后,于是顺便把它升级到3.5.5。升级完毕之后,执行所有现存的集成测试,发现有部分OffsetDateTime类型入参的查询方法出现异常,于是进行源码层面的DEBUG找到最终的问题并且解决。

背景



最近有一个数据统计服务需要升级SpringBoot的版本,由1.5.x.RELEASE直接升级到2.3.0.RELEASE,考虑到没有用到SpringBoot的内建SPI,升级过程算是顺利。但是出于代码洁癖和版本洁癖,看到项目中依赖的MyBatis的版本是3.4.5,相比当时的最新版本3.5.5大有落后,于是顺便把它升级到3.5.5。升级完毕之后,执行所有现存的集成测试,发现有部分OffsetDateTime类型入参的查询方法出现异常,于是进行源码层面的DEBUG找到最终的问题并且解决。


微信截图_20220513162947.png


问题复现



项目中有一个查询方法类似下面的演示例子:


public interface OrderMapper {
    List<Order> selectByCreateTime(@Param("startCreateTime") OffsetDateTime startCreateTime,
                                   @Param("endCreateTime") OffsetDateTime endCreateTime);
}
复制代码


对应的XML文件中的SQL代码段如下:


<select id="selectByCreateTime" resultMap="BaseResultMap">
    SELECT *
    FROM t_order
    WHERE deleted = 0 
        AND create_time <![CDATA[>=]]> #{startCreateTime}
        AND create_time <![CDATA[<=]]> #{e ndCreateTime}
</select>
复制代码


上面的OrderMapper#selectByCreateTime()方法在MyBatis版本为3.4.5的前提下执行没有任何异常,当MyBatis版本升级为3.5.5后再次执行,在SQL执行日志输出正确的前提下返回了一个空集合,具体的内容如下:


查询订单列表:[]
复制代码


虽然上帝视角是确认了入参解析有问题,但是基于第一次发生异常的日志,其实定位不到具体发生问题的位置,当时条件反射认为有几处地方会出现这类异常(SQL比较简单,可以排除人为写错SQL占位符的情况):


  1. MyBatis解析OffsetDateTime类型方法参数的方法有版本兼容问题。
  2. MySQL驱动包解析OffsetDateTime类型的参数有版本兼容问题。
  3. 前面两种情况混合相互影响导致的,其实这里也可以理解为同一种情况,因为MyBatis归根到底是对MySQL驱动包进行了封装。


当时项目中使用的mysql-connector-java版本为8.0.18,并未升级为当前的最新版本8.0.21,所以当时也有怀疑是低版本MySQL驱动包没有兼容解析OffsetDateTime类型的参数。


简析MyBatis的执行流程



MyBatis的源码并不复杂,如果省去分析它的配置和映射文件解析模块,一个查询SQL(SelectList)的执行流程大致如下:


微信截图_20220513163011.png


当然,因为问题出现在参数解析部分,只需要关注StatementHandler的处理逻辑即可。StatementHandler的父类BaseStatementHandler构造函数中,初始化了ParameterHandler和ResultSetHandler实例,提交到SimpleExecutor中的doQuery()方法中执行,使用了占位符参数的查询会经由doQuery()方法中的prepareStatement()方法然后调用PreparedStatementHandler#parameterize(),最终委托到DefaultParameterHandler#setParameters()方法进行参数设置,这个setParameters()方法会用到ParameterMapping和TypeHandler。


微信截图_20220513163018.png


如果用到了内建的TypeHandler或者自定义的TypeHandler实现,同时出现了参数解析异常,那么很大几率异常就是从DefaultParameterHandler#setParameters()方法中出现,这样就能顺藤摸瓜找到出现异常的TypeHandler。


参数解析异常的根本原因



本文前面提到的解析OffsetDateTime类型异常,实际上执行查询的时候代码会步入OffsetDateTimeTypeHandler,这里对比一下3.4.5和3.5.5版本中MyBatis对应的OffsetDateTimeTypeHandler实现:


发现了主要区别如下:


  • 3.4.5版本中,会把OffsetDateTime参数类型转换为Timestamp类型,再委托到PreparedStatement#setTimestamp()进行参数设置。


微信截图_20220513163026.png


  • 3.5.5版本中,直接调用PreparedStatement#setObject()进行参数设置。


微信截图_20220513163033.png


PreparedStatement#setTimestamp()是很早期的产物,这个方法是没有任何问题的,3.4.5版本MyBatis把OffsetDateTime类型兼容为Timestamp类型处理。那么基本可以确定问题出现在PreparedStatement#setObject()方法上,对于MySQL8.x的驱动,PreparedStatement选用的实现类是com.mysql.cj.jdbc.ClientPreparedStatement,通过层层DEBUG最终到达AbstractQueryBindings#setObject()方法:


微信截图_20220513163041.png


由于驱动中没有任何解析OffsetDateTime类型的片段,所以最终会使用AbstractQueryBindings#setSerializableObject()方法(也就是else分支的代码)兜底,直接转化为一个byte[]传输到MySQL服务端,问题就出在这里,直接把OffsetDateTime类型序列化疑似在MySQL服务端拿到的不是预期的参数,导致查询条件出现失效(这里笔者没有花时间去阅读MySQL的协议,也没有花大量时间去抓包,所以这里还只是猜测)。然而,这个问题在2020-7-12最新发布的mysql:mysql-connector-java:8.0.21依然没有解决。但是看到这里又出现一个疑惑,MyBatis的开发者应该不可能在这种关键而不复杂的问题上出现纰漏,于是花时间去看看这里的代码提交记录:


微信截图_20220513163050.png


这是Raupach在2017-08-22的一个提交,提交的message是:测试OffsetDateTimeHandler保留了UTC的偏移量。单元测试类OffsetDateTimeTypeHandlerTest也只是验证了TypeHandler#setParameter()和PreparedStatement#setObject()参数传递的正确性,并没有做集成测试去跟踪所有类型数据库的传参问题,估计就是这一步疏忽了,但是这个应该不属于MyBatis的问题,毕竟它只是对数据库驱动包的封装。其中集成测试TimestampWithTimezoneTypeHandlerTest使用了内存数据库,这里可以猜测是HSQLDB驱动完善了日期时间的参数解析。


微信截图_20220513163058.png


同样的问题在h2数据库中不会出现,于是稍微DEBUG了一下h2数据库驱动进行参数设置的源码,最终定位到org.h2.value.DataType(驱动包的版本为com.h2database:h2:1.4.200)的第1333行有对应JSR310.OFFSET_DATE_TIME的解析逻辑,所以h2数据库驱动可以支持所有JSR310引入的参数类型的参数值设置。下面的截图是h2数据库驱动中PreparedStatement#setObject()的解析实现(见org.h2.jdbc.JdbcPreparedStatement和DataType#convertToValue()的源码):


微信截图_20220513163105.png


这里可见,h2的驱动真的对JDK8+新增的所有日期时间类型都做了解析:


微信截图_20220513163113.png


针对问题的解决方案



如果选用了MySQL,这个参数解析异常的问题截至mysql:mysql-connector-java:8.0.21只有一种解决方案:要把OffsetDateTime类型兼容为Timestamp类型进行参数设置。其实对于所有非LocalXX的日期时间类型都需要进行兼容,兼容表格如下:


序号 类型 兼容类型 调用方法
1 OffsetDateTime Timestamp PreparedStatement#setTimestamp()
2 ZonedDateTime Timestamp PreparedStatement#setTimestamp()
3 OffsetDate java.sql.Date PreparedStatement#setDate()
4 OffsetTime java.sql.Time PreparedStatement#setTime()


以OffsetDateTime为例,只需要参考或者直接使用3.4.5版本中的MyBatis的OffsetDateTimeTypeHandler,然后通过配置直接覆盖内置实现即可。


// 假设全类名为club.throwable.OffsetDateTimeTypeHandler
public class OffsetDateTimeTypeHandler extends BaseTypeHandler<OffsetDateTime> {
  @Override
  public void setNonNullParameter(PreparedStatement ps, int i, OffsetDateTime parameter, JdbcType jdbcType)
          throws SQLException {
    ps.setTimestamp(i, Timestamp.from(parameter.toInstant()));
  }
  @Override
  public OffsetDateTime getNullableResult(ResultSet rs, String columnName) throws SQLException {
    Timestamp timestamp = rs.getTimestamp(columnName);
    return getOffsetDateTime(timestamp);
  }
  @Override
  public OffsetDateTime getNullableResult(ResultSet rs, int columnIndex) throws SQLException {
    Timestamp timestamp = rs.getTimestamp(columnIndex);
    return getOffsetDateTime(timestamp);
  }
  @Override
  public OffsetDateTime getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {
    Timestamp timestamp = cs.getTimestamp(columnIndex);
    return getOffsetDateTime(timestamp);
  }
  private static OffsetDateTime getOffsetDateTime(Timestamp timestamp) {
    if (timestamp != null) {
      // 这里可以考虑自定义系统的时区,例如ZoneId.of("Asia/Shanghai")
      return OffsetDateTime.ofInstant(timestamp.toInstant(), ZoneId.systemDefault());
    }
    return null;
  }
}
复制代码


配置文件中进行TypeHandler配置覆盖,下面是类路径下配置文件mybatis-config.xml的示例:


<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        <!--下划线转驼峰-->
        <setting name="mapUnderscoreToCamelCase" value="true"/>
        <!--未知列映射忽略-->
        <setting name="autoMappingUnknownColumnBehavior" value="NONE"/>
    </settings>
    <typeHandlers>
        <!--覆盖内置OffsetDateTimeTypeHandler-->
        <typeHandler handler="club.throwable.OffsetDateTimeTypeHandler"/>
    </typeHandlers>
</configuration>
复制代码


其他类型解析异常都可以参照此思路进行兼容。


小结



升级基础框架版本需要谨慎。另外,文中提到的解决方案只是笔者目前通过问题分析和定位得到的一种相对合理的解决方案,也可能有更优解。


本文的demo项目仓库:


(本文完 c-2-d e-a-20200802 前段时间搬家带宽一直出问题,断更了接近一周)

相关文章
|
Java 数据库连接 API
Java 对象模型现代化实践 基于 Spring Boot 与 MyBatis Plus 的实现方案深度解析
本文介绍了基于Spring Boot与MyBatis-Plus的Java对象模型现代化实践方案。采用Spring Boot 3.1.2作为基础框架,结合MyBatis-Plus 3.5.3.1进行数据访问层实现,使用Lombok简化PO对象,MapStruct处理对象转换。文章详细讲解了数据库设计、PO对象实现、DAO层构建、业务逻辑封装以及DTO/VO转换等核心环节,提供了一个完整的现代化Java对象模型实现案例。通过分层设计和对象转换,实现了业务逻辑与数据访问的解耦,提高了代码的可维护性和扩展性。
629 1
|
SQL 存储 Java
Mybatis源码解析:详述初始化过程
以上就是MyBatis的初始化过程,这个过程主要包括SqlSessionFactory的创建、配置文件的解析和加载、映射文件的加载、SqlSession的创建、SQL的执行和SqlSession的关闭。这个过程涉及到了MyBatis的核心类和接口,包括SqlSessionFactory、SqlSessionFactoryBuilder、XMLConfigBuilder、XMLMapperBuilder、Configuration、SqlSession和Executor等。通过这个过程,我们可以看出MyBatis的灵活性和强大性,它可以很好地支持定制化SQL、存储过程以及高级映射,同时也避免了几
365 20
|
SQL Java 数据库连接
Spring、SpringMVC 与 MyBatis 核心知识点解析
我梳理的这些内容,涵盖了 Spring、SpringMVC 和 MyBatis 的核心知识点。 在 Spring 中,我了解到 IOC 是控制反转,把对象控制权交容器;DI 是依赖注入,有三种实现方式。Bean 有五种作用域,单例 bean 的线程安全问题及自动装配方式也清晰了。事务基于数据库和 AOP,有失效场景和七种传播行为。AOP 是面向切面编程,动态代理有 JDK 和 CGLIB 两种。 SpringMVC 的 11 步执行流程我烂熟于心,还有那些常用注解的用法。 MyBatis 里,#{} 和 ${} 的区别很关键,获取主键、处理字段与属性名不匹配的方法也掌握了。多表查询、动态
500 0
|
Java 关系型数据库 数据库连接
Javaweb之Mybatis入门程序的详细解析
本文详细介绍了一个MyBatis入门程序的创建过程,从环境准备、Maven项目创建、MyBatis配置、实体类和Mapper接口的定义,到工具类和测试类的编写。通过这个示例,读者可以了解MyBatis的基本使用方法,并在实际项目中应用这些知识。
448 11
|
数据可视化 项目管理
个人和团队都好用的年度复盘工具:看板与KPT方法解析
本文带你了解高效方法KPT复盘法(Keep、Problem、Try),结合看板工具,帮助你理清头绪,快速完成年度复盘。
1846 7
个人和团队都好用的年度复盘工具:看板与KPT方法解析
|
监控 数据可视化 数据挖掘
直播电商复盘全解析:如何通过工具提升团队效率
直播电商作为新兴商业模式,正改变传统零售格局。其成功不仅依赖主播表现和产品吸引力,更需团队高效协作与分工优化。复盘是提升执行力的关键环节,通过总结经验、发现问题、优化流程,结合在线工具如板栗看板,可提升复盘效率。明确团队角色、建立沟通机制、制定优化方案,确保数据驱动决策,从而在竞争中保持领先。
|
SQL Java 数据库连接
canal-starter 监听解析 storeValue 不一样,同样的sql 一个在mybatis执行 一个在数据库操作,导致解析不出正确对象
canal-starter 监听解析 storeValue 不一样,同样的sql 一个在mybatis执行 一个在数据库操作,导致解析不出正确对象
|
网络安全 Docker 容器
【Bug修复】秒杀服务器异常,轻松恢复网站访问--从防火墙到Docker服务的全面解析
【Bug修复】秒杀服务器异常,轻松恢复网站访问--从防火墙到Docker服务的全面解析
823 0
|
Java 数据库连接 数据库
Spring boot 使用mybatis generator 自动生成代码插件
本文介绍了在Spring Boot项目中使用MyBatis Generator插件自动生成代码的详细步骤。首先创建一个新的Spring Boot项目,接着引入MyBatis Generator插件并配置`pom.xml`文件。然后删除默认的`application.properties`文件,创建`application.yml`进行相关配置,如设置Mapper路径和实体类包名。重点在于配置`generatorConfig.xml`文件,包括数据库驱动、连接信息、生成模型、映射文件及DAO的包名和位置。最后通过IDE配置运行插件生成代码,并在主类添加`@MapperScan`注解完成整合
1844 1
Spring boot 使用mybatis generator 自动生成代码插件
|
前端开发 Java 数据库连接
Java后端开发-使用springboot进行Mybatis连接数据库步骤
本文介绍了使用Java和IDEA进行数据库操作的详细步骤,涵盖从数据库准备到测试类编写及运行的全过程。主要内容包括: 1. **数据库准备**:创建数据库和表。 2. **查询数据库**:验证数据库是否可用。 3. **IDEA代码配置**:构建实体类并配置数据库连接。 4. **测试类编写**:编写并运行测试类以确保一切正常。
1032 2

推荐镜像

更多
  • DNS