MySQL 5.7新特性

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL DuckDB 分析主实例,集群系列 8核16GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 如题,新特性,个人整理,不喜勿喷~~

    关于MySQL5.7,现在据说也是蛮火的,此文主要参照官方文档整理的,时日有些长了,最新的特性可能没采集进来,各位看客朋友们随意就好~~勿喷

新的特性

1、安全性增强

1)mysql.user表。plugin字段要求非空;新增时间戳字段保存密码最后被修改时间;不再使用password字段,使用authentication_string替代

2)安装与服务。全新的安装方式mysqld --initialize;安装完毕后只创建一个本地root账户,即root@'localhost';无匿名账户;安装不创建test库;SSL支持

3)新增选项super_read_only,锁定超级管理员的写操作

4)提供新的命令行选项--disabled-storage-engines,禁用存储引擎列表,防止用户使用任意特定的存储引擎

5)建议的行为:设置参数secure_file_priv的值,并修改该路径的权限为仅mysql所有

 

2、基本特性

1)sql_mode参数。

默认启用STRICT_TRANS_TABLES

推荐sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER

2)Online ALTER TABLE改进

在线ALTER TABLE语句现在支持RENAME INDEX字句(非主键),并且实现过程不需要table-copy操作。本特性适用于所有的存储引擎

3)JSON支持。

使用MySQL的最新的JSON功能,现在服务器可以高效存储,检索和查找 JSON 数据

4)分区表支持HANDLE语句与ICP(Index condition pushdown)特性*

5)ALTER TABLE ... EXCHANGE PARTITION 语句新增WITHOUT VALIDATION子句,即不进行分区校验

6)新增字符集GB18030

7)SYS Schema

    5.7新增的系统库,包含系统运行的大量性能视图,更简单易用,对于DBA进行性能诊断十分有帮助。这是我之前写过的一篇文章,简单介绍Sys schema的作用https://yq.aliyun.com/articles/36106?spm=5176.8091938.0.0.NECYfV

 

3、InnoDB增强特性

 

1)varchar字段可以通过in-place ALTER TABLE操作增加字段长度,但上限是255Bytes(减少长度需要table copy)

2)优化了对临时表的DDL操作(CREATE TABLE, DROP TABLE, TRUNCATE TABLE以及ALTER TABLE),提升临时表的DDL操作性能

3)新增系统表INNODB_TEMP_TABLE_INFO,提供当前实例中所有正在被使用的临时表信息,该系统表在第一次select执行时被创建(之前版本的临时表信息记录在系统表空间)

4)支持空间数据类型以及空间索引(5.6使用binary Blob Data替代)

5)独立的临时表空间。存储所有非压缩的innodb临时表,每次服务启动时重建,通过新增的参数innodb_temp_data_file_path指定临时数据文件路径

6)新增一类日志Temporary Table Undo Log,为保留的32个回滚段,用于记录临时表极其相关对象的修改

7)innodb buffer pool dump/load功能增强。新增参数innodb_buffer_pool_dump_pct,支持仅dump每个缓冲池中仅最热的 N% 页;load操作改进,减少了对用户活动的破坏性,减少IO资源占用。innodb_buffer_pool_dump_at_shutdown,innodb_buffer_pool_load_at_startup参数默认开启。

8)新增full-text解析器插件。是全文搜索更加灵活与优化

9)page cleaner线程不再只有一个,通过新增的innodb_page_cleaners参数来指定page cleaner线程的数量

10)支持分区表的三种Online DDL操作:OPTIMIZE TABLE,ALTER TABLE ... FORCE,ALTER TABLE ... ENGINE=INNODB。

11)当系统表空间建立在Fusion-io设备上时,双写机制将自动禁用(多余)

12)支持分区表的Transportable Tablespaces功能

13)支持动态调整innodb_buffer_pool_size大小,且不会消耗太高的代价。新增配置参数innodb_buffer_pool_chunk_size用来设置chunk的大小,以及新增状态参数Innodb_buffer_pool_resize_status用来监视buffer pool的resize过程

14)完善Bulk load特性,提升索引创建和重建的速度。新增配置参数innodb_fill_factor,定义在使用Bulk load方法创建索引时index page的使用百分比,预留的空间作为索引的增长空间

15)新增redo log日志记录类型MLOG_FILE_NAME,用于标识表空间,简化表空间的崩溃恢复过程

16)截断undo特性。通过新增的配置选项innodb_undo_log_truncate启用,并由参数innodb_max_undo_log_size指定截断阈值,当undo log超过阈值时截断已回收的undo log,防止磁盘空间紧张

17)默认ROW_FORMAT=DYNAMIC,引入了一个新的全局变量innodb_default_row_format,用于指定默认的 ROW_FORMAT

18)增加本地分区支持,减少整体资源的消耗

19)新增CREATE TABLESPACE语句。创建的通用表空间可让用户自由的选择表和表空间之间的映射

20)默认打开innodb_file_per_table参数

 

4、优化器

5.7中重写了大部分解析器,优化器和成本模型,重构SELECTSETinsert/replaceDELETEUPDATE语句的解析。

  1. in查询优化。MySQL 5.7的in查询能够使用到index rang scan方式
  2. UNION ALL查询的优化。尽量避免UNION ALL语句创建临时表,并提高了响应速度
  3. filesort优化。通过压进排序缓冲区多个元组,使filesort执行的更快更充分地利用排序缓冲区,减少磁盘排序
  4. ONLY_FULL_GROUP_BY SQL模块改进
  5. 新增了更多的HINTS,并提供新的HINTS语法
  6. EXPLAIN FOR CONNECTION。能获取一个指定会话中正在执行的SQL语句的执行计划,而不需要找到SQL语句
  7. 增强JSON EXPLAIN输出

 

5、复制优化

1)dump线程增强。5.7重写了dump线程,减少了锁争用并提高了master的吞吐量

2)支持多源复制。即多主一从的模式

3)支持在线修改replication filter(需要停掉SQL线程)。以下是测试情况,


mysql> CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB=(newtest);
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first
mysql> CHANGE REPLICATION FILTER REPLICATE_DO_DB=(newtest);
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first
mysql> STOP SLAVE SQL_THREAD;
Query OK, 0 rows affected (0.11 sec)

mysql> CHANGE REPLICATION FILTER REPLICATE_IGNORE_DB=(newtest);
Query OK, 0 rows affected (0.00 sec)

4)实现真正的并行复制。不同于5.6的基于schema的多线程复制,而是MASTER上同时提交的binlog在SLAVE端也可以同时被apply

5)在线change master。进行change master to操作不需要先stop slave,但从库IO线程与SQL线程的状态决定该语句能使用的参数

6)SHOW SLAVE STATUS 与 STOP SLAVE 并行运行时不阻塞

7)半同步复制增强

8)支持在线开启GTID;新增将GTIDs存储进表中的选项

 

6、工具与客户端

1)Innochecksum。增加了新的选项,并扩展了功能

2)Mysql客户端。审计,可使用Syslog记录用户交互命令日志,通过新增的选项--syslog开启;现在Crtl+C操作不会退出客户端

3)测试组件。现在测试组件默认的存储引擎是innodb了

4)mysqlbinlog。读取row模式的二进制日志时,能够通过--rewrite-db选项修改数据库名;SSL选项支持,可通过远程的安全客户端连接读取binlog

5)新的工具mysqlpump。mysqldump的扩展,支持并行导出和压缩选项;默认启用延迟索引创建,no drop等特性。但是此版本中默认设置不支持--single-transaction选项(需关闭并行)


    mysqlpump的并行导出功能的架构为:队列+线程,允许有多个队列,每个队列下有多个线程,而一个队列可以绑定1个或者多个数据库。但是,对于每张表的导出只能是单个线程的, 这和mydumper工具是不一样的 ,因为mydumper支持一张表多个线程以chunk的方式批量导出,这在主键是随机的情况下,导出速度还能有提升。



移除的特性

1、不再支持4.1之前的密码认证模式mysql_old_password认证插件被移除,同时与之相关的选项与函数不再被支持,不支持--skip-secure-auth选项

2、不再支持YEAR(2)数据类型。升级最新版本之前转换为YEAR(4)类型

3、移除部分参数。innodb_mirrored_log_groups,storage_engine(使用新的default_storage_engine替代),thread_concurrency,timed_mutexes,innodb_use_sys_malloc,innodb_additional_mem_pool_size等

4、alter tables 语句不再支持ignore子句

5、移除insert delay特性,但保留该语法。与之相关的选项或特性被移除,如mysqldump的--delayed-insert选项

6、移除mysql_upgrade的几个选项--basedir, --datadir, --tmpdir

7、移除SHOW ENGINE INNODB MUTEX,现在可以通过查询performance_schema中的相关视图获取信息

8、取消对选项前缀的支持,现在需要完整的选项名

9、移除innodb Monitor特性。添加两个动态参数innodb_status_output、innodb_status_output_locks,相关信息现在被包含在INFORMATION_SCHEMA

10、移除一些工具。msql2mysql, mysql_convert_table_format, mysql_find_rows, mysql_fix_extensions, mysql_setpermission, mysql_waitpid, mysql_zap, mysqlaccess,  mysqlbug, mysqlhotcopy


    前后整理总结有些时差,也采集的不是很全,有新的发现或见解可以在本文评论。或者,找我面谈,面谈。。



相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
3月前
|
SQL 监控 关系型数据库
MySQL事务处理:ACID特性与实战应用
本文深入解析了MySQL事务处理机制及ACID特性,通过银行转账、批量操作等实际案例展示了事务的应用技巧,并提供了性能优化方案。内容涵盖事务操作、一致性保障、并发控制、持久性机制、分布式事务及最佳实践,助力开发者构建高可靠数据库系统。
|
3月前
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
147 15
|
3月前
|
关系型数据库 MySQL 数据库
MySql事务以及事务的四大特性
事务是数据库操作的基本单元,具有ACID四大特性:原子性、一致性、隔离性、持久性。它确保数据的正确性与完整性。并发事务可能引发脏读、不可重复读、幻读等问题,数据库通过不同隔离级别(如读未提交、读已提交、可重复读、串行化)加以解决。MySQL默认使用可重复读级别。高隔离级别虽能更好处理并发问题,但会降低性能。
166 0
|
12月前
|
SQL 安全 关系型数据库
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
事务是MySQL中一组不可分割的操作集合,确保所有操作要么全部成功,要么全部失败。本文利用SQL演示并总结了事务操作、事务四大特性、并发事务问题、事务隔离级别。
4936 56
【MySQL基础篇】事务(事务操作、事务四大特性、并发事务问题、事务隔离级别)
|
关系型数据库 MySQL
mysql事务特性
原子性:一个事务内的操作统一成功或失败 一致性:事务前后的数据总量不变 隔离性:事务与事务之间相互不影响 持久性:事务一旦提交发生的改变不可逆
|
存储 Oracle 关系型数据库
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
从基本特性、技术选型、字段类型、事务提交方式、SQL语句、分页方法等方面对比Oracle和MySQL的区别。
2279 18
Oracle和MySQL有哪些区别?从基本特性、技术选型、字段类型、事务、语句等角度详细对比Oracle和MySQL
|
JSON 关系型数据库 MySQL
MySQL 8.0 新特性
MySQL 8.0 新特性
441 10
MySQL 8.0 新特性
|
存储 关系型数据库 MySQL
MySQL 8.0特性-自增变量的持久化
【11月更文挑战第8天】在 MySQL 8.0 之前,自增变量(`AUTO_INCREMENT`)的行为在服务器重启后可能会发生变化,导致意外结果。MySQL 8.0 引入了自增变量的持久化特性,将其信息存储在数据字典中,确保重启后的一致性。这提高了开发和管理的稳定性,减少了主键冲突和数据不一致的风险。默认情况下,MySQL 8.0 启用了这一特性,但在升级时需注意行为变化。
269 1
|
SQL 安全 关系型数据库
MySQL8.2有哪些新特性?
【10月更文挑战第3天】MySQL8.2有哪些新特性?
356 2
|
算法 关系型数据库 MySQL
一天五道Java面试题----第七天(mysql索引结构,各自的优劣--------->事务的基本特性和隔离级别)
这篇文章是关于MySQL的面试题总结,包括索引结构的优劣、索引设计原则、MySQL锁的类型、执行计划的解读以及事务的基本特性和隔离级别。