一 写在前面
本系列文章基于 5.7.12 版本讲述MySQL的新特性。从安装,文件结构,SQL ,优化 ,运维层面 复制,GITD等几个方面展开介绍 5.7 的新特性和功能。同时也建议大家跟踪官方blog和官方文档,以尽快知悉其新的变化。本文将重点介绍新版本对JSON格式的支持。
5.1 支持JSON
从MySQL 5.7.8 开始,MySQL支持原生的JSON格式,即有独立的json类型,用于存放 json格式的数据。JSON 格式的数据并不是以string格式存储于数据库而是以内部的binary 格式,以便于快速的定位到json 格式中值。
在插入和更新操作时MySQL会对JSON 类型做校验,已检查数据是否符合json格式,如果不符合则报错。同时5.7.8 版本提供了四种JSON相关的函数,从而不用遍历全部数据。
a 创建: JSON_ARRAY(), JSON_MERGE(), JSON_OBJECT()
b 修改: JSON_APPEND(), JSON_ARRAY_APPEND(), JSON_ARRAY_INSERT(), JSON_INSERT(), JSON_QUOTE(), JSON_REMOVE(), JSON_REPLACE(), JSON_SET(), and JSON_UNQUOTE()
c 查询: JSON_CONTAINS(), JSON_CONTAINS_PATH(), JSON_EXTRACT(), JSON_KEYS(),JSON_SEARCH().
d 属性: JSON_DEPTH(), JSON_LENGTH(), JSON_TYPE() JSON_VALID().
我们通过简单的例子来对json有一定的认识。
创建
初始化
修改
删除
查看 json的key
其他函数的用法请感兴趣的读者朋友自行参考《
官方文档》
MySQL 5.7 版本提供的json格式以及对应的操作函数极丰富了MySQL的存储格式,可以在一定程度上和Mongodb和pg竞争,对于经常使用MySQL varchar 存储json的业务是一个福音。同时再强调一下对于OLTP业务的表结构设计 尽可能的避免大字段存储。一来是减少不必要的查询带来的IO,带宽,内存方面的影响 二来是 避免因为表大小太大导致的ddl 时间成本增加系统风险。
5.2 sys schema
MySQL 5.7 版本新增了sys 数据库,该库通过视图的形式把information_schema 和performance_schema结合起来,查询出更加令人容易理解的数据,帮助DBA快速获取数据库系统的各种纬度的元数据信息,帮助DBA和开发快速定位性能瓶颈。详细的信息请参考《 官方文档》,这里给两个例子能直观的了解sys 功能的强大。
参考文章
[1] 《 MySQL 5.7 官方文档 》
[2] 《 MySQL 5.7 初探 》
[3] 《 MySQL 5.7新特性之一 》
[4] 《 MySQL 5.7新特性之二 》
[5] 《 MySQL 5.7新特性之三 》
[6] 《 MySQL 5.7新特性之四》
本系列文章基于 5.7.12 版本讲述MySQL的新特性。从安装,文件结构,SQL ,优化 ,运维层面 复制,GITD等几个方面展开介绍 5.7 的新特性和功能。同时也建议大家跟踪官方blog和官方文档,以尽快知悉其新的变化。本文将重点介绍新版本对JSON格式的支持。
5.1 支持JSON
从MySQL 5.7.8 开始,MySQL支持原生的JSON格式,即有独立的json类型,用于存放 json格式的数据。JSON 格式的数据并不是以string格式存储于数据库而是以内部的binary 格式,以便于快速的定位到json 格式中值。
在插入和更新操作时MySQL会对JSON 类型做校验,已检查数据是否符合json格式,如果不符合则报错。同时5.7.8 版本提供了四种JSON相关的函数,从而不用遍历全部数据。
a 创建: JSON_ARRAY(), JSON_MERGE(), JSON_OBJECT()
b 修改: JSON_APPEND(), JSON_ARRAY_APPEND(), JSON_ARRAY_INSERT(), JSON_INSERT(), JSON_QUOTE(), JSON_REMOVE(), JSON_REPLACE(), JSON_SET(), and JSON_UNQUOTE()
c 查询: JSON_CONTAINS(), JSON_CONTAINS_PATH(), JSON_EXTRACT(), JSON_KEYS(),JSON_SEARCH().
d 属性: JSON_DEPTH(), JSON_LENGTH(), JSON_TYPE() JSON_VALID().
我们通过简单的例子来对json有一定的认识。
创建
- mysql> SELECT JSON_ARRAY('id', 1, 'name', 'dba@youzan');
- +-------------------------------------------+
- | JSON_ARRAY('id', 1, 'name', 'dba@youzan') |
- +-------------------------------------------+
- | ["id", 1, "name", "dba@youzan"] |
- +-------------------------------------------+
- 1 row in set (0.00 sec)
-
- mysql> SELECT JSON_OBJECT('id', 1, 'name', 'dba@youzan');
- +--------------------------------------------+
- | JSON_OBJECT('id', 1, 'name', 'dba@youzan') |
- +--------------------------------------------+
- | {"id": 1, "name": "dba@youzan"} |
- +--------------------------------------------+
- 1 row in set (0.00 sec)
- create table json_test (
- id int(11) PRIMARY KEY NOT NULL auto_increment,
- data json
- ) engine=innodb default charset=utf8;
- insert into json_test values (1,'{ "DBA": [ { "firstName": "yi", "lastName":"yang", "email": "dba@youzan.com" }],
- "SA": [{ "firstName": "you", "lastName": "zan", "email": "sa@youzan.com" }],
- "PE": [{ "firstName": "xiao", "lastName": "xiao", "email": "pe@youzan.com" }] }')
- mysql> select * from json_test \G
- *************************** 1. row ***************************
- id: 1
- data: {"PE": [{"email": "pe@youzan.com", "lastName": "xiao", "firstName": "xiao"}], "SA": [{"email": "sa@youzan.com", "lastName": "zan", "firstName": "you"}], "DBA": [{"email": "dba@youzan.com", "lastName": "yang", "firstName": "yi"}]}
- 1 row in set (0.00 sec)
- mysql> update json_test set data=json_array_append(data,'$.DBA','{"email": "dba@youzan.com", "lastName": "yang", "firstName": "qilong"}') where id=1;
- Query OK, 1 row affected (0.01 sec)
- Rows matched: 1 Changed: 1 Warnings: 0
- mysql> select * from json_test \G
- *************************** 1. row ***************************
- id: 1
- data: {"PE": [{"email": "pe@youzan.com", "lastName": "xiao", "firstName": "xiao"}], "SA": [{"email": "sa@youzan.com", "lastName": "zan", "firstName": "you"}], "DBA": [{"email": "dba@youzan.com", "lastName": "yang", "firstName": "yi"}, "{\"email\": \"dba@youzan.com\", \"lastName\": \"yang\", \"firstName\": \"qilong\"}"]}
- 1 row in set (0.00 sec)
- mysql> update json_test set data=json_remove(data,'$.DBA[1]') where id=1;
- Query OK, 1 row affected (0.01 sec)
- Rows matched: 1 Changed: 1 Warnings: 0
- mysql> select * from json_test \G
- *************************** 1. row ***************************
- id: 1
- data: {"PE": [{"email": "pe@youzan.com", "lastName": "xiao", "firstName": "xiao"}], "SA": [{"email": "sa@youzan.com", "lastName": "zan", "firstName": "you"}], "DBA": [{"email": "dba@youzan.com", "lastName": "yang", "firstName": "yi"}]}
- 1 row in set (0.00 sec)
- mysql> SELECT id,json_keys(data) as "keys" FROM json_test;
- +----+---------------------+
- | id | keys |
- +----+---------------------+
- | 1 | ["PE", "SA", "DBA"] |
- +----+---------------------+
- 1 row in set (0.00 sec)
- 查看DBA对应的值
- mysql> SELECT id,json_extract(data,'$.DBA[0]') from json_test;
- +----+--------------------------------------------------------------------+
- | id | json_extract(data,'$.DBA[0]') |
- +----+--------------------------------------------------------------------+
- | 1 | {"email": "dba@youzan.com", "lastName": "yang", "firstName": "yi"} |
- +----+--------------------------------------------------------------------+
- 1 row in set (0.00 sec)
MySQL 5.7 版本提供的json格式以及对应的操作函数极丰富了MySQL的存储格式,可以在一定程度上和Mongodb和pg竞争,对于经常使用MySQL varchar 存储json的业务是一个福音。同时再强调一下对于OLTP业务的表结构设计 尽可能的避免大字段存储。一来是减少不必要的查询带来的IO,带宽,内存方面的影响 二来是 避免因为表大小太大导致的ddl 时间成本增加系统风险。
5.2 sys schema
MySQL 5.7 版本新增了sys 数据库,该库通过视图的形式把information_schema 和performance_schema结合起来,查询出更加令人容易理解的数据,帮助DBA快速获取数据库系统的各种纬度的元数据信息,帮助DBA和开发快速定位性能瓶颈。详细的信息请参考《 官方文档》,这里给两个例子能直观的了解sys 功能的强大。
- mysql> select * from sys.schema_table_statistics limit 2\G
- *************************** 1. row ***************************
- table_schema: yang
- table_name: json_test
- total_latency: 1.81 ms
- rows_fetched: 21
- fetch_latency: 1.45 ms
- rows_inserted: 2
- insert_latency: 192.67 us
- rows_updated: 2
- update_latency: 166.94 us
- rows_deleted: 0
- delete_latency: 0 ps
- io_read_requests: 54
- io_read: 4.21 KiB
- io_read_latency: 289.37 us
- io_write_requests: 43
- io_write: 388.53 KiB
- io_write_latency: 703.51 us
- io_misc_requests: 75
- io_misc_latency: 40.02 ms
- ##直接查看未使用过的索引 ,方便吗?
- mysql> SELECT * FROM schema_unused_indexes;
- +---------------+-------------+------------+
- | object_schema | object_name | index_name |
- +---------------+-------------+------------+
- | yang | t | idx_a |
- | yang | yy | idx_nm |
- +---------------+-------------+------------+
- 2 rows in set (0.00 sec)
[1] 《 MySQL 5.7 官方文档 》
[2] 《 MySQL 5.7 初探 》
[3] 《 MySQL 5.7新特性之一 》
[4] 《 MySQL 5.7新特性之二 》
[5] 《 MySQL 5.7新特性之三 》
[6] 《 MySQL 5.7新特性之四》