AliSQL 20170716版本发布 Invisible Indexes 功能和 SELECT FROM UPDATE 语法

简介: 在传统的关系数据库中,想要在堆表或者索引组织表中快速的检索到目标数据,添加索引是一个常用的手段,但过多的索引不但增加空间的开销, 还会带来写入性能的衰减,如何降低在线删除索引的风险,Invisible Indexes 提供了一个风险可控的方法。

Abstract

在传统的关系数据库中,想要在堆表或者索引组织表中快速的检索到目标数据,添加索引是一个常用的手段,但过多的索引不但增加空间的开销,
还会带来写入性能的衰减,如何降低在线删除索引的风险,Invisible Indexes 提供了一个风险可控的方法。

在面临一个常见的业务场景,比如更新某行记录,然后查询变更后的记录内容的时候,通常都是UPDATE + SELECT 两条语句来完成,
AliSQL 扩展了语法,提供SELECT...FROM UPDATE语句,在完成update变更的同时,返回整行记录内容,减少一次网络调用。

AliSQL REPO: https://github.com/alibaba/AliSQL
AliSQL Release Notes: https://github.com/alibaba/AliSQL/wiki/Changes-in-AliSQL-5.6.32-(2017-07-16)

1. Invisible Indexes

概要

AliSQL 为 index 增加了两个新的属性,visible/invisible,保存在FRM文件中,这两个属性决定了这个索引是否能够
被优化器使用,索引默认是visible,当变更为invisible的时候,无论是否使用了force index hint,这个索引不再会被优化器使用。
在引擎层面,这个索引属性是透明的,即引擎会继续维护索引记录变更。
注意区分disabled index属性。

语法和使用方法

新增的语法例如:

1. CREATE INDEX:
    
CREATE TABLE t ( a INT, b INT );
CREATE INDEX a_invisible ON t(a) INVISIBLE;
CREATE INDEX b_visible ON t(b) VISIBLE;

2. ALTER TABLE:

ALTER TABLE t ALTER INDEX a INVISIBLE;
ALTER TABLE t1 ALTER INDEX b VISIBLE;


3. SHOW CREATE TABLE:
CREATE TABLE `t` (
  `a` int(11) DEFAULT NULL,
  `b` int(11) DEFAULT NULL,
  KEY `a_invisible` (`a`) /*!50616 INVISIBLE */,
  KEY `b_visible` (`b`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1



4. SHOW INDEXES;
mysql> SHOW INDEXES FROM t;
+-------+------------+-------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+
| Table | Non_unique | Key_name    | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment | Visible |
+-------+------------+-------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+
| t     |          1 | a_invisible |            1 | a           | A         |           0 |     NULL | NULL   | YES  | BTREE      |         |               | NO      |
| t     |          1 | b_visible   |            1 | b           | A         |           0 |     NULL | NULL   | YES  | BTREE      |         |               | YES     |
+-------+------------+-------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+---------+

5. mysql> SELECT * FROM information_schema.statistics WHERE is_visible='NO';
+---------------+--------------+------------+------------+--------------+-------------+--------------+-------------+-----------+-------------+----------+--------+----------+------------+---------+---------------+------------+
| TABLE_CATALOG | TABLE_SCHEMA | TABLE_NAME | NON_UNIQUE | INDEX_SCHEMA | INDEX_NAME  | SEQ_IN_INDEX | COLUMN_NAME | COLLATION | CARDINALITY | SUB_PART | PACKED | NULLABLE | INDEX_TYPE | COMMENT | INDEX_COMMENT | IS_VISIBLE |
+---------------+--------------+------------+------------+--------------+-------------+--------------+-------------+-----------+-------------+----------+--------+----------+------------+---------+---------------+------------+
| def           | test         | t          |          1 | test         | a_invisible |            1 | a           | A         |           0 |     NULL | NULL   | YES      | BTREE      |         |               | NO         |
+---------------+--------------+------------+------------+--------------+-------------+--------------+-------------+-----------+-------------+----------+--------+----------+------------+---------+---------------+------------+

场景使用

在DBA的日常运维中,为了加速SQL查询响应,随着业务的发展在表中积累了比较多的索引,而随着业务的变更,有部分索引可能已经不再需要,需要做删除处理。
在线删除索引,变成了一个风险极高的操作,如何降低删除索引的风险,主要评估两点:

  1. 需要统计信息展示索引的使用情况
  2. 当删除索引后,出现异常,如何快速的回滚

针对这两个点,AliSQL提供了较完善的方法进行评估:

1. 统计信息
AliSQL提供了一个内存统计表index_statistics,来统计每张表的索引使用统计信息,如下:

mysql> select * from t where b=2;
+------+------+
| a    | b    |
+------+------+
|    1 |    2 |
+------+------+
1 row in set (0.00 sec)

mysql> select * from information_schema.index_statistics;
+--------------+------------+------------+-----------+
| TABLE_SCHEMA | TABLE_NAME | INDEX_NAME | ROWS_READ |
+--------------+------------+------------+-----------+
| test         | t          | b_visible  |         3 |
+--------------+------------+------------+-----------+
1 row in set (0.00 sec)

这表明 t 表中的 b_visible 索引被拿来检索了3条记录, 而t表中的其他index没有被使用过,基于这样的统计信息,
DBA可以评估一段时间,某些索引没有被使用过,就可以相对安全的进行删除。

2. 回滚
当对index进行删除的时候, 可以分两步操作:

先invisible这个索引:

ALTER TABLE t ALTER INDEX a invisible;

完成后,这个索引就不会再被optimizer使用,观察一段使用,确认没有影响后,再进行安全删除:

ALTER TABLE T DROP INDEX a;

在真正的删除之前,如果出现异常,可以快速的回滚:

ALTER TABLE t ALTER INDEX a visible;

所以,通过index statistic 和 index invisible 功能,可以安全对索引进行在线删除。

2. SELECT FROM UPDATE

概要

为了优化在业务中使用 UPDATE + SELECT 两次调用的开销,AliSQL提供了 SELECT...FROM UPDATE 语法,
在一次SQL请求中,完成UPDATE变更和行记录返回。

语法和使用

CREATE TABLE t(a int, b int);
INSERT INTO t values(1, 1);
SELECT * FROM UPDATE t set a=a+1 where a=1;

mysql> SELECT * FROM UPDATE t set a=a+1 where a=1;
+------+------+
| a    | b    |
+------+------+
|    2 |    1 |
+------+------+
1 row in set (0.00 sec)

通过 SELECT...FROM UPDATE 语法,减少一次网络调用,在核心业务集群上,收益是非常可观的。

3. InnoDB Crash

概要

InnoDB在进行表结构变更的时候,如果是online操作,并且变更过程中失败,那么对于数据字典的dirty清理会延迟清理,但master thread在淘汰长时间未使用的Dictionary Object 的时候,因为对象未清理干净,导致实例crash。
详细的bug复现过程和修复方法,可以参考:http://mysql.taobao.org/monthly/2017/06/05/

MySQL官方的BUG跟踪:https://bugs.mysql.com/bug.php?id=86607
MariaDB的BUG跟踪:https://jira.mariadb.org/browse/MDEV-13051

4. Semisync优化

概要

Semisync的 ACK receiver 线程使用了 select() 系统库调用来监听slave线程,但由于 select() 方法存在多种限制,
所以,使用 poll() 替换原来的监听方法。

其他

除了AliSQL外,你还可以看看云数据库 MySQL 版

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
存储 数据采集 监控
数据标准码表的3种创建方式
码表(Lookup表)由可枚举数据组成,用于存储名称与编码的映射关系,适用于属性值约束和质量监控。本文介绍在Dataphin创建码表的三种方式:1) 引用内置模板库,如行政区划、度量单位等标准码表;2) 从已有维表逆向生成码表,实现数据资产复用;3) 自定义创建,支持在线编辑或本地导入。通过这些方式,用户可高效管理码表,提升数据标准化水平,并将其应用于数据标准和质量规则中,确保数据一致性和合规性。
763 3
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
6981 52
|
4天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
5天前
|
云安全 人工智能 安全
|
17天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5444 65
|
11天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2744 7
|
4天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
9天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1784 1
|
1天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1110 0