Linux 磁盘管理之磁盘理论篇

本文涉及的产品
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
简介: Linux 磁盘管理之磁盘理论篇
Time: 2020-05-25
Auth: 若尘

Linux 磁盘管理之磁盘理论篇

磁盘简介


  • 作用: 用来存放数据(二进制方式来管理数据)
  • 分类

    • 机械硬盘
    • 固态硬盘
  • 机械硬盘组成

    • 盘片: 上面布满磁性颗粒,保存写入数据
    • 主轴: 带动盘片转动,转到磁头的下方
    • 读/写磁头: 负责数据的读写
    • 磁头臂: 带动磁头,将磁头移动到指定位置
    • 控制电路: 控制硬盘的速度,磁头臂的移动等等
  • 机械磁盘的属性

    • 磁道: 盘片围绕在主轴周围的同心环,编号由外至内从0累加
    • 扇区: 磁道上被分成的更小的单位,也是磁盘中保存数据最小的存储单元,一般大小为512k,也有更大的扇区4K
    • 柱面: 在同一个磁盘中,所有盘片相同位置编号的磁道形成的一个圆柱
  • 机械磁盘工作方式

    • 主轴带动盘片做圆周运动,磁头臂带动磁头直径运动

磁盘

机械硬盘

常用总线协议/磁盘类型

SCSI协议


  • SCSI(Small Computer System Interface,小型计算机系统接口)最初是一种为了小型机研制的接口技术,用于主机与外部设备之间的连接(最多可以连接16个设备)
  • SCSI 协议是主机与存储磁盘通信的基本协议
  • DAS 使用SCSI 协议实现主机服务器与存储设备的互连

并行SCSI 的演变
  • (1981年)最初由 Shugart Associates、 NCR开发,名字为SASI
  • ANSI 承认其为工业标准
  • SCSI 的版本

    • SCSI-1

      • 定义了线缆长度,信号特征,命令和传输模式
      • 使用8 位窄总线,最大传输率为 5MB/s
    • SCSI-2

      • 定义了通用命令集(Common Command Set, 简称CCS)
      • 提高了性能,可靠性,新增了一些特性
    • SCSI-3

      • SCSI最新版本
      • 由多个相关的标准组成,不再是一个大文件
SCSI-3 架构

SCSI-3架构

  • SCSI命令协议(应用层)

    • 各类型设备通用的主要命令
  • 传输层协议

    • 设备间互连和信息共享的标准规则,scsi-3、fc等等
  • 物理层互连

    • 接口细节: 比如电信号传输方法和数据传输模式
SCSI 协议模型
  • 主机到存储磁盘间的通信由启动器发起,由目标器接收和处理

SCSI模型

SCSI 协议寻址
  • 总线号: 区分不同的SCSI 总线
  • 设备ID: 区分SCSI 总线上不同的设备
  • 逻辑单元号: 区分SCSI 设备中的子设备

ATA 和 SATA

  • 高级技术附件(Advanced Technology Attachment)是上世纪90 年代桌面机标准

    • 采用可编程IO 技术,速度和智能性不高
  • SATA(Serial Advanced Technology Attachment)是ATA 技术的升级版本,曾是桌面电脑ATA 接口硬盘的主要替代技术

    • 容量大,价格便宜,在企业级服务器和存储系统中曾广泛的被使用
    • 现在多被更加智能的NL-SAS 接口的硬盘替代

Serial Attached SCSI(串行 SCSI 协议)

  • 在企业级存储系统中,SAS(Serial Attached SCSI)接口已经取代并行连接SCSI 和 SATA 接口
  • 特点

    • 采用点对点连接方式
    • 高带宽(300M/s,600M/s)
    • 效率高
    • 支持热插拔

I/O(Input/Ouput)操作

  • 单个IO

    • 操作系统内核发出一个读IO命令,当控制磁盘的控制器接到这个指令后,控制器会给磁盘发送一个读数据的指令,并同时将要读取数据块的地址传送给磁盘,然后硬盘读取数据传送给控制器,并由控制器返回给操作系统,完成一个IO操作
  • 读写IO

    • 写磁盘为写IO,读数据为读IO
  • 随机访问(Random Access) 与连续访问(Sequential Access): 由当此IO 给出的扇区地址与上次IO 结束的扇区地址相差得是否较大决定
  • 顺序IO模式(Queue Mode)/并发IO模式(Burst Mode): 由磁盘组一次能执行的IO 命令个数决定
  • 完整的IO操作

    • 当控制器对硬盘发出一个IO操作指令的时候,磁盘的磁头臂带动读写磁头离开着陆区,然后移动到要操作初始数据块所在的磁道正上方,此过程为寻道,消耗的时间为寻道时间
    • 磁头等到盘片旋转到初始数据块所在扇区的正上方,此时才能进行数据的读取,这个过程称之为旋转时间
    • 然后读取相应数据,直到完成这次IO所操作的全部数据,这个过程所花费的时间称之为数据传送时间

寻道时间

  • 全程寻道时间: 磁头横跨整个磁盘的宽度所用的时间(着陆区 --> 最外层0磁道)
  • 平均寻道时间: 一般为全程寻道时间的1/3
  • 道间寻道时间: 磁头在相邻磁道之间所用的时间

旋转时延

  • 决定于主轴的转动速度
  • 平均旋转动延迟: 完全旋转用时的一半
5400 rpm的磁盘平均旋转时延: 5.5ms
15000 rpm的磁盘的平均旋转时延: 2.0ms

数据传输时延

  • 数据传输时延决定于数据传输速度,即单位时间内传输的数据量
  • 内部传输速度: 数据从盘片扇区上传送到硬盘上的内部缓存的速度
  • 外部传输速度: 接口的标称速度

IOPS

  • IOPS是IO系统每秒所执行IO操作的次数,是一个重要的用来衡量系统IO能力的参数,对于单个磁盘,计算其完成一次IO所需要的时间来推算其IOPS

    • IOTime = 寻道时间 + 60s/转速/2 + IOChunkSize/传输速度
    • IOPS = 1/IOTime = 1 / (寻道时间 + 60s/转速/2 + IOChunkSize/传输速度)

单个IO大小 | 寻道时间(ms) | 旋转延迟(ms) | c传输时延(ms) | IO服务时间(ms) | IOPS

4K | 5 | 2 | 4K/40MB = 0.1 | 7.1 | 140
8K | 5 | 2 | 8K/40MB = 0.2 | 7.2 | 139
16K | 5 | 2 | 16K/40MB = 0.4 | 7.4 | 135
32K | 5 | 2 | 32K/40MB = 0.8 | 7.8 | 128

  • 当单次IO越小的时候,单次IO所耗费的时间也越少,相应的IOPS也就越大

带宽(Throughput)

  • 带宽是指磁盘在实际使用的时候从磁盘系统总线上流过的数据量,也称为磁盘的实际传输速率

    • 带宽 = IOPS * IO大小

利用率和响应时间

利用率和响应时间

固态硬盘

  • 价格逐渐下降,容量越来越大,固态硬盘(SSD)变得越来越流行
  • SSD原理

    • 使用flash 技术存储信息
    • 内部没有机械结构

      • 耗电量更小
      • 散热小
      • 噪音小
  • 基于SSD的使用频率,其使用寿命有限
  • SSD的3中主要的类型

    • SLC(Single Level Cell): 单层式存储单元
    • MLC(Multi Level Cell): 多层式存储单元
    • TLC(Triple Levle Cell): 三层式存储单元

SLC-MLC-TLC

SLC-MLC-TLC

  • 在SLC 中,每个存储单元(cell)只存1bit数据: 0或1
  • 在MLC 中,每个存储单元(cell)可存2bit数据: 00, 01, 10, 11
  • 在TLC 中,每个存储单元(cell)可存3bit数据: 000, 001, 010, 011, 100, 101, 110, 111

固态硬盘的磨损

  • 对SSD 盘的可靠性影响最大的其抗磨损能力,即其cell能被擦写的次数
  • 企业级的SCL、MLC和TLC 在抗磨损方面的区别明显

类型 | 容量 | 可擦写次数 | 单位容量价格

SLC | 小 | 约100,000 | 高
eMLC(企业级别) | 中等 | 约30,000 | 中等
cMLC(消费者) | 中等 | 5000~10,000 | 低
TLC | 大 | 500~1,000 | 很低

固态硬盘结构

固态硬盘结构

  • 无高速旋转部件,性能高、功耗低
  • 多通道并发,通道内Flash颗粒复用时许
  • 支持TCQ/NCQ,一次响应多个IO请求
  • 典型响应时间低于0.1ms

SDD 性能优势

  • 响应时间短

    • 机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率收到严重制约
  • 读写效率高

    • 机械硬盘在进行随机读写曹祖时,磁头不停的移动,导致读写效率低下
    • 而SSD 通过内部控制器计算出数据的存放位置,直接进行存取操作,故效率高

SSD 功耗优势

SSD功耗优势

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
1月前
|
Linux Shell C语言
【Shell 命令集合 磁盘维护 】Linux 分区管理的工具 sfdisk命令使用教程
【Shell 命令集合 磁盘维护 】Linux 分区管理的工具 sfdisk命令使用教程
30 1
|
1月前
|
存储 Shell Linux
【Shell 命令集合 磁盘维护 】Linux 管理硬盘分区 mpartition命令使用教程
【Shell 命令集合 磁盘维护 】Linux 管理硬盘分区 mpartition命令使用教程
37 1
|
1月前
|
存储 Shell Linux
【Shell 命令集合 磁盘维护 】Linux mkfs.ext2 命令使用教程
【Shell 命令集合 磁盘维护 】Linux mkfs.ext2 命令使用教程
38 1
|
1月前
|
存储 Shell Linux
【Shell 命令集合 磁盘维护 】Linux 创建DOS文件系统 mkdosfs命令使用指南
【Shell 命令集合 磁盘维护 】Linux 创建DOS文件系统 mkdosfs命令使用指南
31 2
|
1月前
|
存储 算法 Shell
【Shell 命令集合 磁盘维护 】Linux 创建启动磁盘 mkbootdisk命令使用教程
【Shell 命令集合 磁盘维护 】Linux 创建启动磁盘 mkbootdisk命令使用教程
29 1
|
1月前
|
存储 安全 Shell
【Shell 命令集合 磁盘维护 】Linux mformat 命令使用教程
【Shell 命令集合 磁盘维护 】Linux mformat 命令使用教程
28 0
|
1月前
|
Shell Linux API
【Shell 命令集合 磁盘维护 】Linux 查找指定目录下的所有符号链接文件 symlinks 命令使用教程
【Shell 命令集合 磁盘维护 】Linux 查找指定目录下的所有符号链接文件 symlinks 命令使用教程
33 1
|
1月前
|
Shell Linux C语言
【Shell 命令集合 磁盘维护 】Linux 创建一个初始化内存盘 mkinitrd命令使用教程
【Shell 命令集合 磁盘维护 】Linux 创建一个初始化内存盘 mkinitrd命令使用教程
36 0
|
1月前
|
存储 Shell Linux
【Shell 命令集合 磁盘维护 】Linux 创建Minix文件系统 mkfs.minix 命令使用教程
【Shell 命令集合 磁盘维护 】Linux 创建Minix文件系统 mkfs.minix 命令使用教程
34 0
|
1月前
|
存储 Shell Linux
【Shell 命令集合 磁盘维护 】Linux 建立ext2文件系统 mke2fs命令使用教程
【Shell 命令集合 磁盘维护 】Linux 建立ext2文件系统 mke2fs命令使用教程
33 2