存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。
在老码农眼中，存储仿佛是这个样子的。
从计算机结构出发
存储是计算机的一部分，在冯诺伊曼体系结构中，有一个重要的单元即存储器，它连接了输入／输出，以及控制器和运算器，处于核心纽带的位置。
存储的介质主要包括内存（DRAM）、固态硬盘（SSD）、机械硬盘（HDD）、非易失性存储器（NVM），以及磁带等。
| 特性/介质 | DRAM | SSD | HDD | NVM |
|---|---|---|---|---|
| 非易失性 | 否 | 是 | 是 | 是 |
| 使用寿命 | 长 | 短 | 较长 | 长 |
| 随机读 | 非常快 | 快 | 慢 | 非常快 |
| 随机写 | 非常快 | 较快 | 慢 | 非常快 |
| 顺序读 | 非常快 | 快 | 较快 | 非常快 |
| 顺序写 | 非常快 | 快 | 较快 | 非常快 |
一般意义上的存储，多指磁盘。
与存储中的数据交互是通过IO实现的，IO的性能直接影响着系统的性能，甚至我们往往把应用分为IO密集型和CPU密集型等等。
从IO的访问方式来看，可以分为阻塞／非阻塞，同步／异步。在Linux，提供了5种IO模型：
- 阻塞I/O（blocking I/O）
- 非阻塞I/O （nonblocking I/O）
- I/O复用(select 和poll) （I/O multiplexing）
- 信号驱动I/O （signal driven I/O (SIGIO)）
- 异步I/O （asynchronous I/O (the POSIX aio_functions)）
从性能上看，异步 IO 的性能无疑是最好的。
对IO进行抽象，分为逻辑IO和物理IO两类，分为磁盘，卷和文件系统三层。做一个简单的比喻，磁盘象空地，卷如同小区，而文件系统就是小区里的楼房和房间。卷位于操作系统和硬盘之间，屏蔽了底层硬盘组合的复杂性，使得多块硬盘在操作系统来看就像一块硬盘。镜像，快照，磁盘的动态扩展，都可以通过卷来实现。而文件系统最主要的目标就是对磁盘空间的管理。
对程序员而言，我们所面对的一般是文件系统，通过文件系统感知存储中的数据。
提高存储的可靠性—— 磁盘阵列
一旦硬盘故障，面临的很可能就是数据的丢失，将演变成一场灾难。对很多的企业应用而言，直接提高存储可靠性的方式是通过磁盘阵列——RAID。
RAID是Redundant Arrays of Independent Disks的缩写，是把相同的数据存储在多个硬盘的不同的地方。通过把数据放在多个硬盘上，输入输出操作能以平衡的方式交叠，改良性能，也延长了平均故障间隔时间（MTBF），储存冗余数据也增加了容错， 从而提高了存储的可靠性。
常见的RAID类型如下：
| RAID 等级 | RAID0 | RAID1 | RAID5 | RAID6 | RAID10 |
|---|---|---|---|---|---|
| 别名 | 条带 | 镜像 | 分布奇偶校验条带 | 双重奇偶校验条带 | 镜像加条 |
| 带容错性 | 无 | 有 | 有 | 有 | 有 |
| 冗余类型 | 无 | 有 | 有 | 有 | 有 |
| 热备盘 | 无 | 有 | 有 | 有 | 有 |
| 读性能 | 高 | 低 | 高 | 高 | 高 |
| 随机写性能 | 高 | 低 | 一般 | 低 | 一般 |
| 连续写性能 | 高 | 低 | 低 | 低 | 一般 |
| 需要磁盘数 | n≥1 | 2n (n≥1) | n≥3 | n≥4 | 2n(n≥2)≥4 |
| 可用容量 | 全部 | 50% | (n-1)/n | (n-2)/n | 50% |
RAID 的两个关键目标是提高数据可靠性和 I/O 性能。实际上， 可以把RAID 看作成一种虚拟化技术，它对多个物理磁盘虚拟成一个大容量的逻辑驱动器。
提高存储的容量——存储网络
尽管磁盘阵列也在一定程度上提高了存储的容量， 但是难以满足人们对存储容量的需求。为了解决存储空间的问题， 采用分而治之的方式，通过DAS将硬盘独立为存储空间。 DAS（Direct Attached Storage—直接连接存储）是指将存储设备通过SCSI接口或光纤通道等直接连接到一台主机上。DAS 就是一组磁盘的集合体，数据读取和写入等也都是由主机来控制。 然而，DAS 没法实现多主机共享磁盘空间的问题。
为了解决共享的问题，于是有了 SAN （ Storage Area Network）————存储网络。SAN 网络由于不会直接跟磁盘交互，而是解决数据存取的问题，使用的协议比 DAS 的层面要高。对于存储网络而言，对带宽的要求非常高，因此 SAN 网络下，光纤成为连接的基础。光纤上的协议比以太网协议更简洁，性能也更高。
从数据层面来看，存储空间的共享可以体现为文件的共享。NAS（Network Attached Storage）是将存储设备通过标准的以太网，连接到一组主机上，N是组件级的存储方法，能够解决迅速增加存储容量的需求。也就是说，NAS从文件系统层面解决存储的扩容问题。
NAS和SAN本质的不同在文件管理系统的不同。在 SAN中，文件管理系统分别在每一个应用服务器上；而NAS是每个应用服务器通过网络共享协议（如NFS等）使用同一个文件管理系统。NAS的出发点是在应用、用户和文件以及它们共享的数据上；而SAN的出发点在磁盘以及联接它们的基础设施架构。
三者之间的关系如下图所示：
一般存储系统的应用
存储是我们软件产品和服务的必备环节，常见的存储系统应用有：
- 配置数据服务：只读访问
- 缓存系统：有／无持久化
- 文件系统：目录/POSIX
- 对象系统：Blob/KV
- 表格系统：Column/SQL
- 数据库系统：满足ACID
- 备份系统：冷存储/延迟读
- ......
在使用存储系统的时候，我们可能需要关注的指标：
- 存储成本
- 功能： 读／写／列索引／条件查询／事务／权限。。
- 性能：读写的 吞吐／IOPS／延时／负载均衡。。。
- 可用性
- 可靠性
- 可扩展性
- 一致性
存储引擎是存储系统中国年的发动机，直接决定存储系统的性能和功能，实现了存储系统的增／删／改／查。 常见的存储引擎有：哈希存储引擎，B树存储引擎（磁盘索引节省内存）和 LSM树存储引擎（随机写转为顺序写）。
分布式存储系统应用——云服务
分布式存储系统一般采用可扩展的系统结构，利用多台存储服务器分担存储负载，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，而且易于扩展。
分布式存储的应用场景一般分为三种:
- 对象存储: 也就是通常的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，
- 块存储: 通常以QEMU Driver或者Kernel Module的方式存在，需要实现Linux的Block Device接口或者QEMU提供的Block Driver接口，如AWS的EBS，青云的云硬盘，百度云的云磁盘等等
- 文件存储: 支持POSIX的接口，提供了并行化的能力，如Ceph的CephFS，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口算成此类。
一般地，对象存储通常以大文件为主，要求足够的IO带宽。块存储:即能应付大文件读写，也能处理好小文件读写，块存储要求的延迟是最低的。文件存储需要考虑目录、文件属性等等的支持，对并行化的支持难度较大，通过具体实现来定义接口，可能会容易一点。
实现一个分布式存储系统，通常会涉及到元数据，分区，复制，容错等诸多方面。分布式设计采用主从、全分布式或者是兼而有之， 底层的存储可以依赖本地文件系统的接口，或者实现一个简单的物理块管理，但都不是相对容易的事。
幸运的是，分布式存储系统已经成为了云服务的基础能力，尤其是对象存储，如七牛、S3、OSS、BOS 等等， 已经是标配了。有了面向云服务的存储， 使我们更多聚焦在业务本身，各种存储带来的烦恼会逐渐随风而逝么？！
