Mysql学习之--Mysql存储引擎

MYSQL存储引擎介绍

MYSQL数据库简介

       通常意义上，数据库也就是数据的集合，具体到计算机上数据库可以是存储器上一些文件的集合或者一些内存数据的集合。

       我们通常说的MySql数据库，sql server数据库等等其实是数据库管理系统，它们可以存储数据，并提供查询和更新数据库中的数据的功能等等。根据数据库如何存储数据和如何操作数据的实现机制不同，这些数据库之间即有区别又有共同点。

       MySql数据库是开放源代码的关系型数据库。目前，它可以提供的功能有：支持sql语言、子查询、存储过程、触发器、视图、索引、事务、锁、外键约束和影像复制等。在后期，我们会详细讲解这些功能。

       同Oracle 和SQL Server等大型数据库系统一样，MySql也是客户/服务器系统并且是单进程多线程架构的数据库。

       MySql区别于其它数据库系统的一个重要特点是支持插入式存储引擎。

什么是存储引擎

      存储引擎说白了就是如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型）。

     在Oracle 和SQL Server等数据库中只有一种存储引擎，所有数据存储管理机制都是一样的。而MySql数据库提供了多种存储引擎。用户可以根据不同的需求为数据表选择不同的存储引擎，用户也可以根据自己的需要编写自己的存储引擎。

MYSQL有哪些存储引擎

1、MyISAM：

       这种引擎是mysql最早提供的。这种引擎又可以分为静态MyISAM、动态MyISAM 和压缩MyISAM三种：

       静态MyISAM：如果数据表中的各数据列的长度都是预先固定好的，服务器将自动选择这种表类型。因为数据表中每一条记录所占用的空间都是一样的，所以这种表存取和更新的效率非常高。当数据受损时，恢复工作也比较容易做。

        动态MyISAM：如果数据表中出现varchar、xxxtext或xxxBLOB字段时，服务器将自动选择这种表类型。相对于静态MyISAM，这种表存储空间比较小，但由于每条记录的长度不一，所以多次修改数据后，数据表中的数据就可能离散的存储在内存中，进而导致执行效率下降。同时，内存中也可能会出现很多碎片。因此，这种类型的表要经常用optimize table 命令或优化工具来进行碎片整理。

         压缩MyISAM：以上说到的两种类型的表都可以用myisamchk工具压缩。这种类型的表进一步减小了占用的存储，但是这种表压缩之后不能再被修改。另外，因为是压缩数据，所以这种表在读取的时候要先时行解压缩。

       但是，不管是何种MyISAM表，目前它都不支持事务，行级锁和外键约束的功能。

2、 MyISAM Merge引擎：

         这种类型是MyISAM类型的一种变种。合并表是将几个相同的MyISAM表合并为一个虚表。常应用于日志和数据仓库。

3 、InnoDB：

        InnoDB表类型可以看作是对MyISAM的进一步更新产品，它提供了事务、行级锁机制和外键约束的功能。

4、 memory(heap)：

         这种类型的数据表只存在于内存中。它使用散列索引，所以数据的存取速度非常快。因为是存在于内存中，所以这种类型常应用于临时表中。

5 、archive：

         这种类型只支持select 和 insert语句，而且不支持索引。常应用于日志记录和聚合分析方面。

        当然MySql支持的表类型不止上面几种。

各种存储引擎特性比较：

        在实际工作中，选择一个合适的存储引擎是一个很复杂的问题。每种存储引擎都有各自的优势，不能笼统的说谁比谁更好。下面将详解不同环境经常用到的存储引擎和针对各个存储引擎的特点进行对比，给出不同的选择建议。

InnoDB存储引擎：

        InnoDB是Mysql数据库的一种存储引擎。InnoDB给Mysql的表提供了 事务、回滚、崩溃修复能力、多版本并发控制的事务安全、间隙锁（可以有效的防止幻读的出现）、支持辅助索引、聚簇索引、自适应hash索引、支持热备、行级锁。还有InnoDB是Mysql上唯一一个提供了外键约束的引擎。

         InnoDB存储引擎中，创建的表的表结构是单独存储的并且存储在.frm文件中。数据和索引存储在一起的并且存储在表空间中。但是默认情况下mysql会将数据库的所有InnoDB表存储在一个表空间中的。其实这种方式管理起来非常的不方便而且还不支持高级功能所以建议每个表存储为一个表空间实现方式为：使用服务器变量innodb_file_per_table = 1。

        如果需要频繁的进行更新、删除操作的数据库也可选择InnoDB存储引擎。因为该存储引擎可以实现事务提交和回滚。

MyISAM存储引擎：

       MyISAM存储引擎是Mysql中常见的存储引擎，MyISAM存储引擎是基于ISAM存储引擎发展起来的。MyISAM支持全文索引、压缩存放、空间索引（空间函数）、表级锁、延迟更新索引键。但是MyISAM不支持事务、行级锁、更无法忍受的是崩溃后不能保证完全恢复（只能手动修复）。

       MyISAM存储引擎的表存储成3个文件。文件的名字和表的名字相同。扩展名包含frm、MYD、MYI。其中frm为扩展名的文件存储表的结构；MYD为扩展名的文件存储数据，其是MYData的缩写；MYI为扩展名的文件存储索引，其为MYIndex的缩写。

       MyISAM存储引擎的插入数据很快，空间和内存使用比较低。如果表主要是用于插入新记录和读出记录，那么选择MyISAM存储引擎能够实现处理的高效率。如果应用的完整性、并发性要求很低，也可以选择MyISAM存储引擎。

ARCHIVE：

       ARCHIVE，见名之意可看出是归档，所以归档之后很多的高级功能就不再支持了仅支持插入（insert）和查询（select）两种功能， ARCHIVE存储引擎之前还不支持索引（在Mysql5.5以后开始支持索引了），但是它拥有很好的压缩机制。通常用于做仓库使用。

       ARCHIVE存储引擎适用于存储日志信息或其他按时间序列实现的数据采集类的应用场景中。

CSV：

       CSV是将数据文件保存为CSV格式的的文件的，可以方便的导入到其他数据库中去（例如：excel表格，SQLserver等 等），由此需要在数据库间自由共享数据时才偶尔建议使用此存储引擎。并且它也不支持索引；个人认为仅适用于数据交换。

BLACKHOME：

        BLACKHOME叫做黑洞，也就是说没有存储机制，任何数据都会被丢弃，但是会记录二进制日志。一般在Mysql复制（中继服务器）中经常用到，这个在Mysql复制博客中将详细介绍，敬请关注。

FEDERATED：

        FEDERATED可以实现跨服务器整理表，简单说就是它可以访问远程服务器上数据的存储引擎，所以说它不再本地创建数据只会自动的建立一个连接到其他服务器上链接，有点类似于代理的功能，默认都是禁用的。

MEMORY存储引擎：

         MEMORY存储引擎是Mysql中的一类特殊的存储引擎。其使用存储在内存中的内存来创建表，而且所有数据保存在内存中。数据安全性很低，但是查找和插入速度很快。如果内存出现异常就会影响到数据的完整性，如果重启或关机，表中的所有数据就会丢失，因此基于MEMORY存储引擎的表的生命周期很短，一般都是一次性的。适用于某些特殊场景像查找和映射，缓存周期性的聚合数据等等。

MRG_MYISAM:

        MRG_MYISAM存储引擎是合并MyISAM表的，就是将多个MyISAM合并为一个（在用户看来是一个进行工作，其实是多个底层物理文件在运行工作）。

扩展一些第三方存储引擎

（1）、OLTP类：

      XtraDB：InnoDB的改进版

      PBXT：支持复制，外键约束，而且支持在固态存储（SSD硬盘）上快速存取数据，是一个不错的支持事务的存储引擎，但是此存在的bug已不再修复，被弃用。

     TokuDB：图库数据库，在存储海量数据的方面有着mysql无法比拟的优势，也有mysql版的，其最大优势支持分形树索引结构，这个结构导致它和缓存无关也就直接导致了就算索引在数据库文件中放不下也不会影响性能。一般只适用于大量插入数据的分析型场景。(注释：这里的图不是照片等，而是复杂数据连接的数据结构。)

（2）、列式存储引擎

      列式数据库：此种数据库最适合存储大数据，在数据检索上也很好但是在一定程度上需要反关系存储，因此可能无法满足我们关系型数据库范式的概念所以被称为Nosql。

     下面介绍几个列式存储引擎（都有两个版本：社区版、商业版）：

Infobright：适合于数十TB的大环境中、支持数据压缩，默认情况下mysql不支持列式存储功能需要定制。使用者众多，名气很高。

       MonetDB：首先，它的存储模型是对数据从垂直方向进行切分；其次，MonetDB是第一个利用CPU缓存对数据的查询进行优化的数据库系统；此外，MonetDB会自动管理和协调索引机制，优化查询效率。目前使用者不是很多。

     InfiniDB：InfiniDB Community Edition （社区版）提供一个可伸缩的分析型数据库引擎，主要为数据仓库、商业智能、以及对实时性要求不严格的应用而开发。基于 MySQL 搭建。包括对查询、事务处理以及大数据量加载的支持。目前使用者不是很多。

    LucidDB：是唯一一款专注于数据仓库和商务智能的开源RDBMS，它使用了列存储架构，支持位图索引，哈希连接/聚合和页面级多版本，大部分数据库最初都注重事务处理能力，而分析功能都是后来才加上去的。相反，LucidDB中的所有组件从一开始就是为满足灵活的需求，高性能数据集成和大规模数据查询而设计的，此外，其架构设计彻底从用户出发，操作简单。目前使用者不是很多。

（3）、社区存储引擎（了解）：

Aria：Maria的下一代版本。

Groona：可以精确的实现全文索引引擎，可以替代MyISAM在索引上的特性。

QQGraph：支持图操作，由Open query研发

Sphinx：外在的服务器能够在Mysql基础上为Mysql构建一个高效的全文索引，通过C++研发，Mysql支持一个社区引擎叫SphinxSE，就是让Sphinx直接支持Mysql接口，在MariaDB5.5.32上被编译支持了。

Spider：支持分片，每一个独立的分片可以实现独立的查询。

VPForMySQL：支持垂直分区，支持更大级别的数据操作更大级别的数据存储。

选择标准：

1、是否需要支持事务？

2、是否需要使用热备？

3、崩溃恢复：能否接受崩溃？

个人建议：

• 存储日志或按时间增长的数据：MyISAM、ARCHIVE

• 论坛应用：InnoDB

• 电商订单：InnoDB

• 数据量大：Infobright、NoSQL、Sphinx

主要存储引擎对比:

MySql中关于存储引擎的操作

1、查看数据库可以支持的存储引擎

用show engines; 命令可以显示当前数据库支持的存储引擎情况

2 、查看表的结构等信息的若干命令

要查看表的定义结构等信息可以使用以下几种命令：

3  、设置或修改表的存储引擎

3.1 创建数据库表时设置存储存储引擎的基本语法是：

例如,假设要创建一个名为user的表,此表包括id,用户名username和性别sex三个字段，并且要设置表类型为merge。则可用如下的方式创建此数据表，

3.2 修改存储引擎，可以用命令Alter table tableName engine =engineName

假如，若需要将表user的存储引擎修改为archive类型，则可使用命令alter table user engine=archive。

然而，你在以这种方式修改表格类型的时候需要非常仔细，因为对不支持同样的索引、字段类型或者表大小的一个类型进行修改可能使你丢失数据。如果你指定一个在你的当前的数据库中不存在的一个存储引擎，那么就会创建一个MyISAM(默认的)类型的表.

前段时间在看《High Performance MySQL》，看到存储引擎这个地方感到很多细节比较陌生，所以总结小记一些
为了适应各种不同的运行环境，MYSQL提供了多种不同的存储引擎（Storage Engine ）,在应用程序开发这个层面上，开发者可以根据不同的需求选择适合的Storage Engine 方案，更为灵活的是，你可以根据每张表将要存储数据的特点，选择不同的Storage Engine,也就是说，在一个MYSQL数据库中，可以混合使用多种不同的StorageEngine
首先小瞥一下MySQL的体系结构，在最高抽象层度下，可以用Garlan & Shaw的分层结构体系来表示（左）
其中应用层为所有RDBMS用户提供用户接口，逻辑层包括了所有核心功能的实现，物理层则负责将数据存储在硬件设备上。

图中右侧更为具体的描述了逻辑层的组成，查询处理子系统、事务管理子系统、恢复管理子系统和存储管理子系统共同组成了MySQL的逻辑层。相信Storage Engine的位置是在Storage Management处，既Storage Engine属于StorageManagement子系统的一部分
为了让思路更清晰一些，下面给出一幅比较全面的体系结构图（或更确切的说是流程图，只是忽略了反馈）

上面三幅图来自于一篇非官方（不保证百分百的正确）的MySQL体系结构的报告，与《High Performance MySQL》一书中给出的MySQL大体结构（下图,基本对应于Logic Layer，从第一幅图右侧可以看出MySQL logic layer同样遵从分层体系结构）还是比较吻合的。

 
连接上图中第二层和第三层之间的接口是并不针对任何存储引擎的单一API,大概由20个基本的类似“启动事务，返回结果集”等函数组成。存储引擎并不处理SQL，相互之间也不通信，它们的任务只是简单的响应高层传来的请求。

存储引擎各自的一些特点
      上面提到的四种存储引擎都有各自适用的环境，这取决于它们独有的一些特征。主要体现在性能、事务、并发控制、参照完整性、缓存、 故障恢复，备份及回存等几个方面
       目前比较普及的存储引擎是MyISAM和InnoDB.而MyISAM又是绝大部分Web应用的首选。MyISAM与InnoDB的主要的不同点在于性能和事务控制上。
        MyISAM是早期ISAM(Indexed Sequential Access Method,我现在用的MySQL5.0已经不支持ISAM了）的扩展实现，ISAM被设计为适合处理读频率远大于写频率这样一种情况，因此ISAM以及后来的MyISAM都没有考虑对事物的支持，排除了TPM，不需要事务记录，ISAM的查询效率相当可观，而且内存占用很少。MyISAM在继承了这类优点的同时，与时俱进的提供了大量实用的新特性和相关工具。例如考虑到并发控制，提供了表级锁，虽然MyISAM本身不支持容错，但可以通过myisamchk进行故障恢复。而且由于MyISAM是每张表使用各自独立的存储文件（MYD数据文件和MYI索引文件），使得备份及恢复十分方便（拷贝覆盖即可），而且还支持在线恢复。
所以如果你的应用是不需要事务，处理的只是基本的CRUD操作，那么MyISAM是不二选择

        InnoDB被设计成适用于高并发读写的情况.使用MVCC(Multi-Version Concurrency Control)以及行级锁来提供遵从ACID的事务支持。InnoDB支持外键参照完整性，具备故障恢复能力。另外 InnoDB的性能其实还是不错的，特别是在处理大数据量的情况下,用官方的话说就是： InnoDB的CPU效率是其他基于磁盘的关系数据库存储引擎所不能比的。不过InnoDB的备份恢复要麻烦一点，除非你使用了4.1以后版本提供的Mulit-tablespace支持，因为InnoDB和MyISAM不同，他的数据文件并不是独立对应于每张表的。而是使用的共享表空间，简单的拷贝覆盖方法对他不适用，必须在停掉MYSQL后对进行数据恢复。使用Per-Table Tablespacesd，使其每张表对应一个独立的表空间文件，则情况要简单很多。
        一般来说，如果需要事务支持，并且有较高的并发读写频率，InnoDB是不错的选择。要是并发读写频率不高的话，其实可以考虑BDB,但由于在MySQL5.1及其以后版本中，将不再提供BDB支持。这个选项也就没有了至于Heap和BDB（Berkeley DB），相对来说，普及率不如前两种，但在有些情况下，还是挺适用的
        Heap存储引擎就是将数据存储在内存中，由于没有磁盘I/O的等待，速度极快。但由于是内存存储引擎，所做的任何修改在服务器重启后都将消失。
        Heap挺适合做测试的时候使用
        BDB是MySQL第一款事务安全的存储引擎。在Berkeley DB database library的基础上建立，同样是事务安全的，但BDB的普及率显然不及InnoDB，因为大多数在MySQL中寻找支持事务的存储引擎的同时也在找支持MVCC或是行级锁定存储引擎，而BDB只支持Page-level Lock。

附上一张《High Performance MySQL》 中的各存储引擎的特性表

       Attribute                       MyISAM       Heap                  BDB                      InnoDB