MySQL 5.7新特性

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 如题,新特性,个人整理,不喜勿喷~~

    关于MySQL5.7,现在据说也是蛮火的,此文主要参照官方文档整理的,时日有些长了,最新的特性可能没采集进来,各位看客朋友们随意就好~~勿喷

新的特性

1、安全性增强

1)mysql.user表。plugin字段要求非空;新增时间戳字段保存密码最后被修改时间;不再使用password字段,使用authentication_string替代

2)安装与服务。全新的安装方式mysqld --initialize;安装完毕后只创建一个本地root账户,即root@'localhost';无匿名账户;安装不创建test库;SSL支持

3)新增选项super_read_only,锁定超级管理员的写操作

4)提供新的命令行选项--disabled-storage-engines,禁用存储引擎列表,防止用户使用任意特定的存储引擎

5)建议的行为:设置参数secure_file_priv的值,并修改该路径的权限为仅mysql所有

 

2、基本特性

1)sql_mode参数。

默认启用STRICT_TRANS_TABLES

推荐sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER

2)Online ALTER TABLE改进

在线ALTER TABLE语句现在支持RENAME INDEX字句(非主键),并且实现过程不需要table-copy操作。本特性适用于所有的存储引擎

3)JSON支持。

使用MySQL的最新的JSON功能,现在服务器可以高效存储,检索和查找 JSON 数据

4)分区表支持HANDLE语句与ICP(Index condition pushdown)特性*

5)ALTER TABLE ... EXCHANGE PARTITION 语句新增WITHOUT VALIDATION子句,即不进行分区校验

6)新增字符集GB18030

7)SYS Schema

    5.7新增的系统库,包含系统运行的大量性能视图,更简单易用,对于DBA进行性能诊断十分有帮助。这是我之前写过的一篇文章,简单介绍Sys schema的作用https://yq.aliyun.com/articles/36106?spm=5176.8091938.0.0.NECYfV

 

3、InnoDB增强特性

 

1)varchar字段可以通过in-place ALTER TABLE操作增加字段长度,但上限是255Bytes(减少长度需要table copy)

2)优化了对临时表的DDL操作(CREATE TABLE, DROP TABLE, TRUNCATE TABLE以及ALTER TABLE),提升临时表的DDL操作性能

3)新增系统表INNODB_TEMP_TABLE_INFO,提供当前实例中所有正在被使用的临时表信息,该系统表在第一次select执行时被创建(之前版本的临时表信息记录在系统表空间)

4)支持空间数据类型以及空间索引(5.6使用binary Blob Data替代)

5)独立的临时表空间。存储所有非压缩的innodb临时表,每次服务启动时重建,通过新增的参数innodb_temp_data_file_path指定临时数据文件路径

6)新增一类日志Temporary Table Undo Log,为保留的32个回滚段,用于记录临时表极其相关对象的修改

7)innodb buffer pool dump/load功能增强。新增参数innodb_buffer_pool_dump_pct,支持仅dump每个缓冲池中仅最热的 N% 页;load操作改进,减少了对用户活动的破坏性,减少IO资源占用。innodb_buffer_pool_dump_at_shutdown,innodb_buffer_pool_load_at_startup参数默认开启。

8)新增full-text解析器插件。是全文搜索更加灵活与优化

9)page cleaner线程不再只有一个,通过新增的innodb_page_cleaners参数来指定page cleaner线程的数量

10)支持分区表的三种Online DDL操作:OPTIMIZE TABLE,ALTER TABLE ... FORCE,ALTER TABLE ... ENGINE=INNODB。

11)当系统表空间建立在Fusion-io设备上时,双写机制将自动禁用(多余)

12)支持分区表的Transportable Tablespaces功能

13)支持动态调整innodb_buffer_pool_size大小,且不会消耗太高的代价。新增配置参数innodb_buffer_pool_chunk_size用来设置chunk的大小,以及新增状态参数Innodb_buffer_pool_resize_status用来监视buffer pool的resize过程

14)完善Bulk load特性,提升索引创建和重建的速度。新增配置参数innodb_fill_factor,定义在使用Bulk load方法创建索引时index page的使用百分比,预留的空间作为索引的增长空间

15)新增redo log日志记录类型MLOG_FILE_NAME,用于标识表空间,简化表空间的崩溃恢复过程

16)截断undo特性。通过新增的配置选项innodb_undo_log_truncate启用,并由参数innodb_max_undo_log_size指定截断阈值,当undo log超过阈值时截断已回收的undo log,防止磁盘空间紧张

17)默认ROW_FORMAT=DYNAMIC,引入了一个新的全局变量innodb_default_row_format,用于指定默认的 ROW_FORMAT

18)增加本地分区支持,减少整体资源的消耗

19)新增CREATE TABLESPACE语句。创建的通用表空间可让用户自由的选择表和表空间之间的映射

20)默认打开innodb_file_per_table参数

 

4、优化器

5.7中重写了大部分解析器,优化器和成本模型,重构SELECTSETinsert/replaceDELETEUPDATE语句的解析。

  1. in查询优化。MySQL 5.7的in查询能够使用到index rang scan方式
  2. UNION ALL查询的优化。尽量避免UNION ALL语句创建临时表,并提高了响应速度
  3. filesort优化。通过压进排序缓冲区多个元组,使filesort执行的更快更充分地利用排序缓冲区,减少磁盘排序
  4. ONLY_FULL_GROUP_BY SQL模块改进
  5. 新增了更多的HINTS,并提供新的HINTS语法
  6. EXPLAIN FOR CONNECTION。能获取一个指定会话中正在执行的SQL语句的执行计划,而不需要找到SQL语句
  7. 增强JSON EXPLAIN输出

 

5、复制优化

1)dump线程增强。5.7重写了dump线程,减少了锁争用并提高了master的吞吐量

2)支持多源复制。即多主一从的模式

3)支持在线修改replication filter(需要停掉SQL线程)。以下是测试情况,


mysql> CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB=(newtest);
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first
mysql> CHANGE REPLICATION FILTER REPLICATE_DO_DB=(newtest);
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first
mysql> STOP SLAVE SQL_THREAD;
Query OK, 0 rows affected (0.11 sec)

mysql> CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB=(newtest);
Query OK, 0 rows affected (0.00 sec)

4)实现真正的并行复制。不同于5.6的基于schema的多线程复制,而是MASTER上同时提交的binlog在SLAVE端也可以同时被apply

5)在线change master。进行change master to操作不需要先stop slave,但从库IO线程与SQL线程的状态决定该语句能使用的参数

6)SHOW SLAVE STATUS 与 STOP SLAVE 并行运行时不阻塞

7)半同步复制增强

8)支持在线开启GTID;新增将GTIDs存储进表中的选项

 

6、工具与客户端

1)Innochecksum。增加了新的选项,并扩展了功能

2)Mysql客户端。审计,可使用Syslog记录用户交互命令日志,通过新增的选项--syslog开启;现在Crtl+C操作不会退出客户端

3)测试组件。现在测试组件默认的存储引擎是innodb了

4)mysqlbinlog。读取row模式的二进制日志时,能够通过--rewrite-db选项修改数据库名;SSL选项支持,可通过远程的安全客户端连接读取binlog

5)新的工具mysqlpump。mysqldump的扩展,支持并行导出和压缩选项;默认启用延迟索引创建,no drop等特性。但是此版本中默认设置不支持--single-transaction选项(需关闭并行)


    mysqlpump的并行导出功能的架构为:队列+线程,允许有多个队列,每个队列下有多个线程,而一个队列可以绑定1个或者多个数据库。但是,对于每张表的导出只能是单个线程的, 这和mydumper工具是不一样的 ,因为mydumper支持一张表多个线程以chunk的方式批量导出,这在主键是随机的情况下,导出速度还能有提升。



移除的特性

1、不再支持4.1之前的密码认证模式mysql_old_password认证插件被移除,同时与之相关的选项与函数不再被支持,不支持--skip-secure-auth选项

2、不再支持YEAR(2)数据类型。升级最新版本之前转换为YEAR(4)类型

3、移除部分参数。innodb_mirrored_log_groups,storage_engine(使用新的default_storage_engine替代),thread_concurrency,timed_mutexes,innodb_use_sys_malloc,innodb_additional_mem_pool_size等

4、alter tables 语句不再支持ignore子句

5、移除insert delay特性,但保留该语法。与之相关的选项或特性被移除,如mysqldump的--delayed-insert选项

6、移除mysql_upgrade的几个选项--basedir, --datadir, --tmpdir

7、移除SHOW ENGINE INNODB MUTEX,现在可以通过查询performance_schema中的相关视图获取信息

8、取消对选项前缀的支持,现在需要完整的选项名

9、移除innodb Monitor特性。添加两个动态参数innodb_status_output、innodb_status_output_locks,相关信息现在被包含在INFORMATION_SCHEMA

10、移除一些工具。msql2mysql, mysql_convert_table_format, mysql_find_rows, mysql_fix_extensions, mysql_setpermission, mysql_waitpid, mysql_zap, mysqlaccess,  mysqlbug, mysqlhotcopy


    前后整理总结有些时差,也采集的不是很全,有新的发现或见解可以在本文评论。或者,找我面谈,面谈。。



相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
11天前
|
存储 关系型数据库 MySQL
MySQL 8.0特性-自增变量的持久化
【11月更文挑战第8天】在 MySQL 8.0 之前,自增变量(`AUTO_INCREMENT`)的行为在服务器重启后可能会发生变化,导致意外结果。MySQL 8.0 引入了自增变量的持久化特性,将其信息存储在数据字典中,确保重启后的一致性。这提高了开发和管理的稳定性,减少了主键冲突和数据不一致的风险。默认情况下,MySQL 8.0 启用了这一特性,但在升级时需注意行为变化。
|
2月前
|
JSON 关系型数据库 MySQL
MySQL 8.0 新特性
MySQL 8.0 新特性
148 10
MySQL 8.0 新特性
|
2月前
|
存储 Oracle 关系型数据库
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
从基本特性、技术选型、字段类型、事务提交方式、SQL语句、分页方法等方面对比Oracle和MySQL的区别。
525 18
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
|
1月前
|
SQL 安全 关系型数据库
MySQL8.2有哪些新特性?
【10月更文挑战第3天】MySQL8.2有哪些新特性?
38 2
|
3月前
|
算法 关系型数据库 MySQL
一天五道Java面试题----第七天(mysql索引结构,各自的优劣--------->事务的基本特性和隔离级别)
这篇文章是关于MySQL的面试题总结,包括索引结构的优劣、索引设计原则、MySQL锁的类型、执行计划的解读以及事务的基本特性和隔离级别。
|
3月前
|
SQL 算法 关系型数据库
(二十)MySQL特性篇:2022年的我们,必须要懂的那些数据库新技术!
 MySQL数据库从1995年诞生至今,已经过去了二十多个年头了,到2022.04.26日为止,MySQL8.0.29正式发行了GA版本,在此之前版本也发生了多次迭代,发行了大大小小N多个版本,其中每个版本中都有各自的新特性,所有版本的特性加起来,用一本书的篇幅也无法完全阐述清楚,因此本章主要会挑重点特性来讲,具体各版本的特性可参考MySQL官网的开发手册。
154 1
|
5月前
|
关系型数据库 MySQL 测试技术
深入探索MySQL 8:隐藏索引与降序索引的新特性
深入探索MySQL 8:隐藏索引与降序索引的新特性
|
5月前
|
关系型数据库 MySQL 数据库
MySQL 8.0 新特性之不可见主键
【6月更文挑战第9天】MySQL 8.0 引入了不可见主键特性,提供更灵活的数据库管理方式。不可见主键能减少业务逻辑干扰,提高数据安全性和隐私,同时在某些场景下更适用。示例展示了如何创建和使用不可见主键,但需要注意它可能带来的理解和调试难题。此特性增加了设计和管理数据库的选项,适用于对数据隐私有高要求的场景。随着技术发展,不断学习和探索新特性将提升数据库性能和功能。
80 9
|
5月前
|
SQL JSON 关系型数据库
MySQL 8.0新特性?
【6月更文挑战第14天】MySQL 8.0新特性?
50 1
|
5月前
|
SQL 安全 关系型数据库
MySQL数据库——事务-简介、事务操作、四大特性、并发事务问题、事务隔离级别
MySQL数据库——事务-简介、事务操作、四大特性、并发事务问题、事务隔离级别
85 1
下一篇
无影云桌面