What is new? 阿里云 RDS for MySQL 8.0 上线 独家技术解读

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 原作者: 阿里云高级技术专家 冷香MySQL 8.0 简介 MySQL 5.7 到 8.0,Oracle 官方跳跃了 Major Version 版本号,随之而来的就是在 MySQL 8.0 上做了许多重大更新,在往企业级数据库的路上大步前行,全新 Data Dictionary 设计,支持 Atomic DDL,全新的版本升级策略,安全和账号管理加强,InnoDB 功能增强等,目前小版本已经 release 到 8.0.16,新的功能仍然在持续推出。

原作者: 阿里云高级技术专家 冷香

MySQL 8.0 简介

  MySQL 5.7 到 8.0,Oracle 官方跳跃了 Major Version 版本号,随之而来的就是在 MySQL 8.0 上做了许多重大更新,在往企业级数据库的路上大步前行,全新 Data Dictionary 设计,支持 Atomic DDL,全新的版本升级策略,安全和账号管理加强,InnoDB 功能增强等,目前小版本已经 release 到 8.0.16,新的功能仍然在持续推出。

RDS MySQL 8.0 产品是阿里云推出的 MySQL 系列云产品之一,使用完全兼容 MySQL 8.0 的阿里云 AliSQL 8.0 分支,除了官方在 MySQL 8.0 推出的全新功能外,AliSQL 沉淀了许多在 Alibaba 集团电商业务和云上几十万客户在使用 MySQL 过程中遇到的问题和需求,以此来加固AliSQL, 提升 AliSQL 的性能和稳定性。

下面分别对 MySQL 8.0 和 AliSQL 8.0 相关的版本和功能做简短的介绍:

MySQL 8.0 版本更新

  1. 数据字典
    MySQL 8.0 摒弃了 Server Layer 定义的 FRM 文件和其它非事务表,使用了一组 InnoDB 表来保存数据字典,支持事务特性。
  2. Atomic DDL
    在 Data Dictionary 支持事务特性的基础上,8.0 增加了一个 DDL log 字典表,用来协调在 DDL 过程中,对数据字典,文件系统 和 事务系统的修改,做到原子性。
  1. 升级
    从 8.0.16 开始,对于系统表的修改,抛弃了 mysql_upgrade工具,使用在系统重启的时候,进行升级。
  2. 安全和账号管理
    账号方面,从 8.0 开始,支持 role 对权限进行便捷管理,以及新增多个系统权限,分别对应新增了 ROLE_EDGES,GLOBAL_GRANTS 两个系统表;mysql schema 下的涉及权限和用户相关的表更改成 InnoDB 引擎,支持事务特性,保证了账号管理语句的原子性。

认证方面,caching_sha2_password 作为默认的认证 plugin,以提升安全,但要注意并不能和 8.0 之前的client进行兼容。

链路加密,如果编译了OpenSSL 1.1.1 及以上,MySQL 8.0 SSL 将支持到 TLSv1.3 版本。

系统账号,在 8.0.16 新增 SYSTEM_USER 权限,用于区分 系统账号还是普通账户,可以对用户进行分类管理。

  1. Auto increment 持久化
    在 InnoDB 引擎中,新增了一个引擎私有的系统表 innodb_dynamic_metadata,自增值就保存在这个表里,在对每张表进行修改 auto increment 值的时候,都使用 redo log 进行保护,在做 checkpoint 的时候,持久化到这个系统表中,保证下次重启后,auto increment 能够从持久化中恢复出来,并且不受事务上下文回滚而影响。
  1. 死锁检测
    在高并发的情况下,InnoDB 引擎中对于事务锁的死锁检测,将是影响性能 scale 的重要因素,8.0 后提供了一个参数 innodb_deadlock_detect,用来打开或者关闭引擎的死锁检测,在业务能够明确相关风险的情况下,关闭死锁检测,能大幅提升并发能力。
  2. 临时表
    在 InnoDB 引擎中,用户创建的临时表将统一到 ibtmp 文件的临时表空间中; 对于系统运行过程中产生内存临时表,8.0后启用了新的 TempTable 引擎,支持 blob 字段,功能上优于 memory engine。
  3. Lock
    SELECT ... FOR SHARE 和 SELECT ... FOR UPDATE 新增了 NOWAIT 和 SKIP LOCKED 语法,减少长时间和非必要的阻塞。
  4. Instant add column
    InnoDB 解决了长期困扰 DBA 的加字段要 copy 整张表数据的问题。现在可以快速的增加字段,只修改数据字典,而不用修改表中的记录本身。
  5. 并行查询
    InnoDB 目前支持在 clustered index 上进行并行查询,提供 innodb_parallel_read_threads 参数控制session内的并行度。
  6. Redo优化
    Redo的写入一直是 InnoDB 高并发情况下的瓶颈,8.0 开始:

1)用户线程可以并发的copy redo 日志到 log buffer中

2)用户线程可以以更松散的方式把 dirty block 加入到脏块链表中

3)独立的写线程完成 redo 的持久化

  1. Json加强
    在Json上,8.0 增加了更多的功能性,详见 MySQL 8.0 的 document。
  2. Partial update on lob
    InnoDB 继续优化 partial update on lob data,对于仅仅修改很少字节的 lob 字段,能够大幅减少 undo data,并提升效率。
  3. 优化器和对象相关
    1)支持 invisible index,方便用户和 DBA 调试 statement。

2)descending indexes,提升降序扫描的效率。

3)Common table expressions,支持 with 语法完成。

4)Window functions,增加大量窗口函数

5)Regular expression,重新设计了正则表达式的支持。

AliSQL 8.0 功能介绍
除了 MySQL 8.0 官方的特性以外,AliSQL 8.0 在新功能,性能提升,稳定性保证,可诊断性上做了大量的改进:

  1. 诊断
    Top SQL:

AliSQL 在 statement 级别上,增加了新的性能诊断指标,方便更快更准确的量化 SQL 的开销:

Include three categories:
      1) CPU:   Elapsed time, CPU time
      2) LOCK:  Server MDL lock time, Storage transaction lock time.
                Mutex conflict(only for debug mode)
                RWLOCK conflict(demonstrate the block/index->lock conflict)
      3) IO:    DATA File read and time
                DATA File write and time
                Log File write and time
                Logical read, Physical read, Physical async read.

效果如下所示:

image

表和索引统计
新增表和索引级别的统计:

image

image

InnoDB IO 统计
image

  1. Sequence
    AliSQL 8.0 增加对 Sequence 对象的支持,方便和高效的获取单调唯一值:
SYNTAX:

      CREATE SEQUENCE SYNTAX:

      CREATE SEQUENCE [IF NOT EXISTS] schema.seq
         [START WITH <constant>]
         [MINVALUE <constant>]
         [MAXVALUE <constant>]
         [INCREMENT BY <constant>]
         [CACHE <constant> | NOCACHE]
         [CYCLE | NOCYCLE]
        ;

      SHOW SYNTAX:
        SHOW CREATE SEQUENCE schema.seq;

      QUERY SYNTAX:
        SELECT [nextval | currval | *] FROM seq;
        SELECT nextval(seq),currval(seq);
        SELECT seq.currval, seq.nextval from dual;
  1. 大文件异步删除
    InnoDB 大文件删除带来稳定性开销,所以 AliSQL 8.0 提供了异步删数据文件的机制:

参数设置:

INNODB_DATA_FILE_PURGE: Whether enable the async purge strategy
   INNODB_DATA_FILE_PURGE_IMMEDIATE: Unlink data file rather than truncate
   INNODB_DATA_FILE_PURGE_ALL_AT_SHUTDOWN: Cleanup all when normal shutdown
   INNODB_DATA_FILE_PURGE_DIR: Temporary file directory
   INNODB_DATA_FILE_PURGE_INTERVAL: Purge time interval (by milliseconds)
   INNODB_DATA_FILE_PURGE_MAX_SIZE: Purge max size every time (by MB)
   INNODB_PRINT_DATA_FILE_PURGE_PROCESS: Print the process of file purge worker

展示临时文件列表:

mysql> select * from innodb_purge_files;
    +--------+---------------------+---------------+---------------+------------------------+--------------+
    | log_id | start_time          | original_path | original_size | temporary_path         | current_size |
    +--------+---------------------+---------------+---------------+------------------------+--------------+
    |     36 | 2019-05-14 23:06:38 | ./test/t.ibd  |      37748736 | purge/#FP_1557846107_1 |     20971520 |
    +--------+---------------------+---------------+---------------+-----------------------+--------------+
  1. 隐含主键
    AliSQL 针对用户没有建 PK 的表,默认添加一个隐含主键,以加速 slave 端的 SQL apply。

查看方法:

mysql> set show_ipk_info=on;
Query OK, 0 rows affected (0.00 sec)

mysql> show create table t\G
*************************** 1. row ***************************
       Table: t
Create Table: CREATE TABLE `t` (
  `id` int(11) DEFAULT NULL,
  `__#alibaba_rds_row_id#__` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'Implicit Primary Key by RDS',
  KEY `__#alibaba_rds_row_id#__` (`__#alibaba_rds_row_id#__`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)
  1. 事务超时
    AliSQL 新增 kill_idle_transaction_timeout 参数,以便对超时的事务连接进行 kill,防止事务长时间未提交带来的系统风险。
  2. Rotate slow log
    AliSQL 8.0 针对 slow log 收集过程中,对用户实例的影响,以及truncate带来的阻塞可能,提供了rotate slow log table的功能,影响更小,更快捷,并保证零数据丢失的收集方式。
set session rotate_log_table = on;
flush slow logs;

mysql> show variables like '%rotate_log_table%';
      +----------------------------+---------------------------------+
      | Variable_name              | Value                           |
      +----------------------------+---------------------------------+
      | rotate_log_table           | ON                              |
      | rotate_log_table_last_name | ./mysql/slow_log_1556373907.CSV |
      +----------------------------+---------------------------------+
  1. 审计日志
    AliSQL 8.0 重新设计的 audit log 模块,提供了四种刷新策略,分别是:
ASYNCHRONOUS:     Log asynchronously. Wait for space in the output buffer

      PERFORMANCE:       Log asynchronously. Drop requests for which there is

                                        insufficient space in the output buffer

      SEMISYNCHRONOUS: Log synchronously. Permit caching by the operating system

      SYNCHRONOUS:     Log synchronously. Call sync() after each request

提供适合不同业务模式的 audit log 配置供用户选择。

  1. 安全特性
    AliSQL 针对 SSL 链路,静态编译了OpenSSL 1.0 版本,目前支持到 TLSv1.2 版本。
  2. 优化
    AliSQL 针对 semi sync 和 MDL 进行了性能优化,提升了 semi sync 的性能,大幅减少了 MDL 锁阻塞的可能性。
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
2月前
|
存储 SQL 关系型数据库
RDS DuckDB技术解析一:当 MySQL遇见列式存储引擎
RDS MySQL DuckDB分析实例以​列式存储与向量化计算​为核心,实现​复杂分析查询性能百倍跃升​,为企业在海量数据规模场景下提供​实时分析能力​,加速企业数据驱动型决策效能。​​
|
10天前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
16天前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
1月前
|
关系型数据库 MySQL 数据库
云时代MySQL:RDS与自建数据库的抉择
在云计算时代,选择合适的数据库部署方案至关重要。本文深入对比了AWS RDS与自建MySQL的优劣,帮助您在控制权、运维成本和业务敏捷性之间找到最佳平衡点。内容涵盖核心概念、功能特性、成本模型、安全性、性能优化、高可用方案及迁移策略,为您提供全面的决策参考。
|
1月前
|
安全 关系型数据库 MySQL
MySQL安全最佳实践:保护你的数据库
本文深入探讨了MySQL数据库的安全防护体系,涵盖认证安全、访问控制、网络安全、数据加密、审计监控、备份恢复、操作系统安全、应急响应等多个方面。通过具体配置示例,为企业提供了一套全面的安全实践方案,帮助强化数据库安全,防止数据泄露和未授权访问,保障企业数据资产安全。
|
16天前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
53 3
|
22天前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
2月前
|
存储 运维 关系型数据库
从MySQL到云数据库,数据库迁移真的有必要吗?
本文探讨了企业在业务增长背景下,是否应从 MySQL 迁移至云数据库的决策问题。分析了 MySQL 的优势与瓶颈,对比了云数据库在存储计算分离、自动化运维、多负载支持等方面的优势,并提出判断迁移必要性的五个关键问题及实施路径,帮助企业理性决策并落地迁移方案。
|
9天前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
10天前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。

热门文章

最新文章

推荐镜像

更多