一个 go-sql-driver 的离奇 bug

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云解析 DNS,旗舰版 1个月
简介: 对于 Go CURD Boy 来说,相信 `github.com/go-sql-driver/mysql` 这个库都不会陌生。基本上 Go 的 CURD 都离不开这个特别重要的库。我们在开发 Seata-go 时也使用了这个库。不过最近在使用 go-sql-driver/mysql 查询 MySQL 的时候,就出现一个很有意思的 bug, 觉得有必要分享出来,以防止后来者再次踩坑。

图片

文|郝洪范

京东技术专家

Seata-go 项目共同发起人

微服务底层技术的探索与研究。

本文 3482 字 阅读 7 分钟

对于 Go CURD Boy 来说,相信  github.com/go-sql-driver/mysql 这个库都不会陌生。基本上 Go 的 CURD 都离不开这个特别重要的库。我们在开发 Seata-go 时也使用了这个库。不过最近在使用 go-sql-driver/mysql 查询 MySQL 的时候,就出现一个很有意思的 bug, 觉得有必要分享出来,以防止后来者再次踩坑。

PART. 1 问题详述

为了说明问题,这里不详述 Seata-go 的相关代码,用一个单独的 demo 把问题详细描述清楚。

1.1 环境准备

在一个 MySQL 实例上准备如下环境:

CREATE TABLE `Test1` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE
CURRENT_TIMESTAMP,  
-PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=101 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

从这个 SQL 语句中可以看出来, create_time 是 timestamp 类型,这里要特别留意 timestamp 这个类型。

现在插入一条数据,然后查看刚插入的数据的值。

insert into Test1 values (1, '2022-01-01 00:00:00')

查看下 MySQL 当前的时区。请记好相关值,草蛇灰线,伏笔于此。

 show VARIABLES like '%time_zone%';

查询结果:

图片

接下来使用 MySQL unix_timestamp 查看 create_time 的时间戳:

SELECT unix_timestamp(create_time) from Test1 where id = 1;

查询结果:

图片

1.2 测试程序

有如下 demo 程序,示例使用 go-sql-driver 读取 create_time 的值:

package main

import ( 
"database/sql" 
"fmt" 
"time"

    _ "github.com/go-sql-driver/mysql"
    )
    
func main() {
var user = "user" 
var pwd = "password" 
var dbName = "dbname"

  dsn := fmt.Sprintf("%s:%s@tcp(localhost:3306)/%stimeout=100s&parseTime=true&interpolateParams=true", user, pwd, dbName)  
  db, err := sql.Open("mysql", dsn)
  if err != nil { 
  panic(err) 
  } 
  
  defer db.Close()
  rows, err := db.Query("select create_time 
  from Test1 limit 1") 
  if err != nil {  
  panic(err)  
  }  
  
  for rows.Next() {  
  t := time.Time{}   
  rows.Scan(&t)  
  fmt.Println(t)   
  fmt.Println(t.Unix())  }}

我们运行个程序会输出下面的结果:

2022-01-01 00:00:00 +0000 UTC1640995200

1.3 问题详述

发现问题所在了吗?有图如下,把结果放在一块,可以详细说明问题。

图片

图中红色箭头指向的两个结果,用 go-sql-driver 读取的结果和在 MySQL 中用 unix_timestamp 获取的结果明显是不一样的。

PART. 2 问题探案

1.3 小节中最后示图可以看出,数据库中 create_time  的值 2022-01-01 00:00:00 是东八区的时间,也就是北京时间,这个时间对应的时间戳就是 1640966400 。但是 go-sql-driver 示例程序读出来的却是 1640995200 , 这是什么值?这是 0 时区的 2022-01-01 00:00:00

对问题的直白描述就是:MySQL 的 create_time 是 2022-01-01 00:00:00 +008 ,而读取到的是 2022-01-01 00:00:00 +000 ,他俩压根就不是一个值。

基本能看出来 bug 是如何发生的了。那就需要剖析下 go-sql-driver 源码,追查问题的根源。

2.1 go-sq-driver 源码分析

这里就不粘贴 "github.com/go-sql-driver/mysql" 的详细源码了,只贴关键的路径。

image.png

Debug 的时候详细关注调用路径中红色的两个方块的内存中的值。

图片

// https://github.com/go-sql-driver/mysql/blob/master/packets.go#L788-
L798
func (rows *textRows) readRow(dest []driver.Value) error {

  // ... 
  
  // Parse time field  
  switch rows.rs.columns[i].fieldType
  { 
  case fieldTypeTimestamp, 
  fieldTypeDateTime,  
  fieldTypeDate,  
  fieldTypeNewDate:   
  if dest[i], err = parseDateTime(dest[i].([]byte), mc.cfg.Loc);
  err != nil {      return err    }  }}
func parseDateTime(b []byte, loc *time.Location) (time.Time, error) {  const base = "0000-00-00 00:00:00.000000"  switch len(b) {  case 10, 19, 21, 22, 23, 24, 25, 26: // up to "YYYY-MM-DD HH:MM:SS.MMMMMM"
    year, err := parseByteYear(b)
    month := time.Month(m)
    day, err := parseByte2Digits(b[8], b[9])
    hour, err := parseByte2Digits(b[11], b[12])
    min, err := parseByte2Digits(b[14], b[15])
    sec, err := parseByte2Digits(b[17], b[18])
    // https://github.com/go-sql-driver/mysql/blob/master/utils.go#L166-L168    if len(b) == 19 {      return time.Date(year, month, day, hour, min, sec, 0, loc), nil    }  }}

从这里基本上就能明白,go-sql-driver 把数据库读出来的 create_time timestamp 值当做一个字符串,然后按照 MySQL timestamp 的标准格式 "0000-00-00 00:00:00.000000" 去解析,分别得到 year, month, day, hour, min, sec。最后依赖传入 time.Location 值,调用 Go 系统库 time.Date() 再去生成对应的值。

这里表面看起来没有问题,其实这里严重依赖了传入的 time.Location。这个 time.Location 是如何得到的呢?进一步阅读源码,可以明显的看出来,是通过解析传入的 DSN 的 Loc 获取。

其中关键代码是:https://github.com/go-sql-driver/mysql/blob/master/dsn.go#L467-L474

图片

如果传入的 DSN 串不带 Loc 时,Loc 就是默认的 UTC 时区。

图片

2.2 抽丝剥茧

回头看开头的程序,初始化 go-sql-driver 的 DSN 是 user:password@tcp(localhost:3306)/dbname?timeout=100s&parseTime=true&interpolateParams=true,该 DSN 里面并不包含 Loc 信息,go-sql-driver 用使用了默认的 UTC 时区。然后解析从 MySQL 中获取的 timestamp 字段了,也就用默认的 UTC 时区去生成 Date,结果也就错了。

因此,问题的主要原因是:go-sql-driver 并没有按照数据库的时区去解析 timestamp 字段,而且依赖了开发者生成的 DSN 传入的 Loc。当开发者传入的 Loc 和数据库的 time_Zone 不匹配的时候,所有的 timestamp 字段都会解析错误。

有些人可能有疑问,如果 go-sql-driver 为什么不直接使用 MySQL 的时区去解析 timestamp 呢?

我们已经提了一个 issue,商讨更好的解决方案:https://github.com/go-sql-driver/mysql/issues/1379

PART. 3 最后结论

在 MySQL 中读写 timestamp 类型数据时,有如下注意事项:

  1. 默认约定:写入 MySQL 时间时,把当前时区的时间转换为 UTC + 00:00(世界标准时区)的值,读取后在前端展示时再次进行转换;
  2. 如果不愿意使用默认约定,在现阶段使用 go-sql-driver 的时候,一定要特别注意,需要在 DSN 字符串加上 "loc=true&time_zone=*" , 和数据的时区保持一致,不然的话就会导致 timestamp 字段解析错误。

| 参考文档 |

《The date, datetime, and timestamp Types》 

https://dev.mysql.com/doc/refman/8.0/en/datetime.html

《MySQL 的 timestamp 会存在时区问题?》

https://juejin.cn/post/7007044908250824741

《Feature request: Fetch connection time_zone automatically》

https://github.com/go-sql-driver/mysql/issues/1379

社区讨论群

细节处见真章,

Seata-go 社区认认真真做开源,

做对用户负责任的高质量的项目。

了解更多...

Seata Star 一下✨:
https://github.com/seata/seata-go

本周推荐阅读

Seata AT 模式代码级详解

蚂蚁集团境外站点 Seata 实践与探索

Seata 多语言体系建设

Seata-php 半年规划

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
SQL IDE 关系型数据库
记录一次SQL中的bug的修复过程
记录一次SQL中的bug的修复过程
76 0
|
4月前
|
编译器 Go
Go中遇到的bug
【7月更文挑战第4天】
47 7
|
5月前
|
存储 SQL 关系型数据库
【BUG记录】Cause: java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xA6' for column 'name' at row 1
在MySQL中遇到`Incorrect string value`错误通常是因为尝试插入的字符串包含不被数据库字符集支持的字符,如表情符号。错误根源是MySQL默认的utf8不支持4字节的UTF-8字符(如Emoji)。
326 1
|
消息中间件 安全 Go
动态订阅时 rocketmq-client-go 代码有map并发bug
动态订阅时 rocketmq-client-go 代码有map并发bug
65 2
|
SQL 前端开发 Java
JSP缺陷问题(bug)管理系统myeclipse开发sql数据库BS模式java编程MVC结构
JSP 缺陷问题(bug)管理系统是一套完善的web设计系统,对理解JSP java编程开发语言有帮助,系统具有完整的源代码和数据库采用 serlvet dao bean MVC模式进行开发,系统主要采用B/S模式开发。
51 0
|
Cloud Native Go 开发者
那些年,我们追过的Go BUG
那些年,我们追过的Go BUG
111 0
|
安全 编译器 Go
读<一例 Go 编译器代码优化 bug 定位和修复解析>
读<一例 Go 编译器代码优化 bug 定位和修复解析>
104 0
|
SQL 前端开发 安全
一个SQL错误的问题让我找到了公司框架中三个bug
本文是对之前开发中遇到的问题的一个总结,文章其实早就写好,但是觉得自己写得不够深入,就让文章一直躺在草稿箱里。昨天突然想起来了,就将文章重新修改了一下,还是发出来吧!
|
存储 Go
我又写“bug”了,关于go切片的探究
我又写“bug”了,关于go切片的探究
72 0
|
SQL JavaScript 程序员
编程中有没有遇到被自己蠢哭的BUG;想学go,有未来吗;如何保持持续学习的热情 |极客观点
编程中有没有遇到被自己蠢哭的BUG;想学go,有未来吗;如何保持持续学习的热情 |极客观点
103 0