Device Mapper
1.用于生成一个逻辑设备到物理设备的映射平台
2.支持将多个存储设备组合成一个虚拟设备
3.使用Device Mapper的应用程序：
LVM2
Multipathing
4.管理mapper设备：create，remove
5.利用mapping tables生成设备文件
6.可在线调整
7.通过block设备生成DM设备
8.支持堆积（如：raid10）
9.DM模块是可动态加载的模块：（device-mapper.rpm安装包后会自动加载该模块）
DM－multipath的功能：
1.故障的切换和恢复
2.IO流量的负载均衡
3.磁盘的虚拟化
DM Table
1.通过DM table来生成逻辑设备
2.描述了物理设备到逻辑设备的每一个扇区映射的关系
3.DM Table的行格式
1.逻辑设备的起始扇区
2.逻辑设备的扇区数（size）
3.创建逻辑设备的类型
4.创建逻辑设备的参数
mapping table实例：
1. 0 1024 linear /dev/sda 204 1024 512 linear /dev/sdb 766 1536 128 linear /dev/sdc 0
#将逻辑设备0~1023扇区、1024~1535扇区以及1536~1663三个地址范围分别以线形映射的方式映射到/dev/sda设备第204号扇区、/dev/sdb设备第766号扇区和/dev/sdc设备的第0号扇区开始的区域
2. 0 2048 striped 2 64 /dev/sda 1024 /dev/sdb 0
#将逻辑设备从0号扇区开始的，长度为2048个扇区的段以条带的方式映射的到/dev/sda设备的第1024号扇区以及/dev/sdb设备的第0号扇区开始的区域。同时告诉内核这个条带类型的target driver存在2个条带设备与逻辑设备做映射，并且条带的大小是64个扇区，使得驱动可以该值来拆分跨设备的IO请求。
3. 0 4711 mirror core 2 64 nosync 2 /dev/sda 2048 /dev/sdb 1024
#将逻辑设备从0号扇区开始的，长度为4711个扇区的段以镜像的方式映射到/dev/sda设备的第2048个扇区以及/dev/sdb设备的第1024号扇区开始的区域。
dmsetup
1.dmsetup用于创建、管理、查询DM设备的工具
2.支持stdin获取参数来创建Mapping table信息#建议利用stdin方式使用dmsetup创建mapping table信息
e.g. #dmsetup create mydevice map_table
3.实例：将/dev/sda和/dev/sdb两个设备以线性的方式组成逻辑设备/dev/mapper/combined
[root@node1 ~]#vim createmapdev.sh
#!/bin/bash
size1=$(blockdev --getsize $1)
size2=$(blockdev --getsize $2)
echo -e "0 $size1 linear $1 0\n$size1 $size2 linear $2 0" | dmsetup create combined
[root@node1 ~]#./createmapdev.sh /dev/sda /dev/sdb
[root@node1 ~]#ls -ls /dev/mapper/combined
0 brw-rw---- 1 root disk 252, 2 10-28 11:36 /dev/mapper/combined
#blockdev --getsize /dev/sda 计算/dev/sda的所有扇区数
[root@node1 home]# mkfs -t ext3 /dev/mapper/combined
[root@node1 home]# mount /dev/mapper/combined /mnt
[root@node1 home]# df -h /mnt
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/combined 19G 173M 18G 1% /mnt
Mapping Targets
1. linear：线性，连续写入
2. striped：条带化,分段写入，raid0
3. error：定义“out-of-bounds"屏蔽区域，坏道等
4. snapshot： -copy-on-write device：COW写实复制设备
5. snapshot-origin-device：起始卷
6. zero：零设备，可模拟大容量设备
7. multipath：多路径，多条路由到设备
Mapping Target - linare
1. dm-linare 驱动
2. 将多个物理设备组成一个连续的逻辑设备
3.参数：
物理设备路径
offset：偏移量
4.实例
0 20000 linear /dev/sda 0
20000 60000 linear /dev/sdb 0
#将设备/dev/sda从0扇区开始的20000个扇区作为线性逻辑设备的从0开始的20000个扇区
#将设备/dev/sdb从0扇区开始的60000个扇区作为线性逻辑设备的从20000开始的60000个扇区
#线性逻辑设备的总大小为80000个扇区（1扇区＝512byte）
[root@node1 ~]# echo -e "0 20000 linear /dev/sda 0\n20000 60000 linear /dev/sdb 0" | dmsetup create combined
[root@node1 ~]# ls /dev/mapper/combined
/dev/mapper/combined
[root@node1 ~]# mkfs -t ext3 /dev/mapper/combined
[root@node1 ~]# mount /dev/mapper/combined /mnt
[root@node1 ~]# df -h /mnt
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/combined 38M 4.5M 32M 13% /mnt #combined大小：80000*512/1024/1024=39M
Mapping Target - striped
1. dm-stripe driver
2. 通过多个指定设备轮询分段写入的方式组建逻辑设备
3. 参数：
参与条带化的物理设备数量
chunk size
设备路径
offset：偏移量
4.实例
0 1024 striped 2 256 /dev/sda 0 /dev/sdb 0
#0 1024：新建逻辑设备从0扇区开始1024个扇区，扇区数必须是chunksize的倍数。
#striped 2 ：条带化，设备数量为2
#256：chunk size
#/dev/sda 0 /dev/sdb 0：从两物理设备的第0个扇区开始
注：所有操作必须写入到开启脚本，否则重启失效。
Mapping Target - error
1. I/O设备中出现访问错误，如坏道
2. 在逻辑设备中定义该错误部分为error避免访问该部分。
3.实例
0 80 linear /dev/sda 0
80 100 error
180 200 linear /dev/sdb 0
#从第80扇区开始100个扇区为error区，该区将不会被访问，其坏道应该在/dev/sda上。
Mapping Target - snapshot-origin
1. dm-snapshot driver
2. dm mapping源卷
3. 所有未改变的数据将直接读取源卷
4. 与snapshot连接在一起工作
5. 写数据时，修改的源卷数据会保存在snapshot的COW（copy on write写实复制）设备上。
6. Example:
0 1000 snapshot-origin /dev/sda
#将/dev/sda创建成源卷设备即逻辑卷设备
Mapping Target - snapshot
1. dm－snapshot driver
2. 与snapshot-origin连接在一起工作
3. snapshot创建的时候，仅拷贝原始卷里数据的元数据(meta-data)，并不会有数据的物理拷贝
4. 写操作时，snapshot跟踪原始卷块的改变，这个时候原始卷上将要改变的数据在改变之前被拷贝到snapshot预留的空间里即COW中。
5. 读操作时，直接定向到原始卷上
6. 创建snapshot时会创建三个设备snap、cow、real
7. Example：
0 1000 snapshot /dev/sda1 /dev/vg0/realdev P 16
#/devsda1：源设备
#0 10000：从0开始1000个扇区
#/dev/vg0/realdev用于做/dev/sda1的快照
#P：下次启动该设备持续有效，N：重启无效
LVM2 Snapshots
1. LVM2快照时会使用四个DM－Device
<name>-real ：源卷设备，即真实设备
snapshot-origin：拷贝原始卷里数据的元数据(meta-data)
snapshot：The COW device改变的数据
<name>：包含<name>-real和COW的最终被修改后的设备
2.Example：
[root@node1 lvm]#lvcreate -L 512M -n lv00 vg01
[root@node1 lvm]#lvcreate -L 100M -n lvsnap --snapshot /dev/vg01/lv00
[root@node1 lvm]# ll /dev/mapper/ | grep vg01
brw-rw---- 1 root disk 252, 2 11-02 14:14 vg01-lv00
brw-rw---- 1 root disk 252, 4 11-02 14:15 vg01-lv00-real
brw-rw---- 1 root disk 252, 3 11-02 14:15 vg01-lvsnap
brw-rw---- 1 root disk 252, 5 11-02 14:15 vg01-lvsnap-cow
[root@node1 lvm]# dmsetup table | grep vg01 | sort
vg01-lv00: 0 1048576 snapshot-origin 252:4
vg01-lv00-real: 0 1048576 linear 8:0 384
vg01-lvsnap: 0 1048576 snapshot 252:4 252:5 P 8
vg01-lvsnap-cow: 0 106496 linear 8:0 1048960
[root@node1 lvm]# dmsetup ls --tree
vg01-lvsnap (252:3)
├─vg01-lvsnap-cow (252:5)
│ └─ (8:0)
└─vg01-lv00-real (252:4)
└─ (8:0)
vg01-lv00 (252:2)
└─vg01-lv00-real (252:4)
└─ (8:0)
LVM－snapshot实例：
[root@node1 /]# lvcreate -L 512M -n lv00 vg01
Logical volume "lv00" created
[root@node1 /]# mkfs -t ext3 /dev/mapper/vg01-lv00
[root@node1 /]# mount /dev/mapper/vg01-lv00 /mnt/lvm
[root@node1 /]# cp -a /etc/ /mnt/lvm/
[root@node1 lvm]# dd if=/dev/zero of=test bs=1M count=100M
[root@node1 lvm]# lvcreate -L 50M -s -n lvsnap /dev/vg01/lv00
Rounding up size to full physical extent 52.00 MB
Logical volume "lvsnap" created
[root@node1 mnt]# lvdisplay /dev/vg01/lvsnap
--- Logical volume ---
LV Name /dev/vg01/lvsnap
VG Name vg01
LV UUID 6ZgZDl-tASI-f7pD-m96h-OpUl-ANJe-gotSe0
LV Write Access read/write
LV snapshot status active destination for /dev/vg01/lv00
LV Status available
# open 1
LV Size 512.00 MB
Current LE 128
COW-table size 52.00 MB
COW-table LE 13
Allocated to snapshot 0.05%
Snapshot chunk size 4.00 KB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
[root@node1 lvm]# mount /dev/vg01/lvsnap /mnt/snap/
[root@node1 lvm]# ls /dev/mapper/
vg01-lv00 vg01-lv00-real vg01-lvsnap vg01-lvsnap-cow
[root@node1 mnt]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/VolGroup00-LogVol00
37G 2.7G 33G 8% /
/dev/vda1 99M 15M 79M 16% /boot
tmpfs 252M 0 252M 0% /dev/shm
/dev/mapper/vg01-lv00 496M 195M 276M 42% /mnt/lvm
/dev/mapper/vg01-lvsnap 496M 195M 276M 42% /mnt/snap #显示snap和原数据一样
[root@node1 lvm]# dd if=/dev/zero of=/mnt/lvm/test1 bs=1M count=10
[root@node1 mnt]# lvdisplay /dev/vg01/lvsnap
--- Logical volume ---
LV Name /dev/vg01/lvsnap
VG Name vg01
LV UUID 6ZgZDl-tASI-f7pD-m96h-OpUl-ANJe-gotSe0
LV Write Access read/write
LV snapshot status active destination for /dev/vg01/lv00
LV Status available
# open 1
LV Size 512.00 MB
Current LE 128
COW-table size 52.00 MB
COW-table LE 13
Allocated to snapshot 19.69% #使用率增加了
Snapshot chunk size 4.00 KB
Segments 1
Allocation inherit
Read ahead sectors auto
- currently set to 256
Block device 252:3
[root@node1 lvm]# ls /mnt/lvm
etc lost+found test test1
[root@node1 lvm]# ls /mnt/snap/
etc lost+found test
[root@node1 mnt]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/VolGroup00-LogVol00
37G 2.7G 33G 8% /
/dev/vda1 99M 15M 79M 16% /boot
tmpfs 252M 0 252M 0% /dev/shm
/dev/mapper/vg01-lv00 496M 205M 266M 44% /mnt/lvm
/dev/mapper/vg01-lvsnap 496M 195M 276M 42% /mnt/snap #快照未改变，改变的数据到cow中了，即创建snapshot时创建的50M空间里
#snapshot的大小并不需要和原始卷一样大，其大小仅仅只需要考虑两个方面：从shapshot创建到释放这段时间内，估计块的改变量有多大;数据更新的频率。一旦 snapshot的空间记录满了原始卷块变换的信息，那么这个snapshot立刻被释放，从而无法使用，从而导致这个snapshot无效。所以，非常重要的一点，一定要在snapshot的生命周期里，做完你需要做得事情。当然，如果你的snapshot大小和原始卷一样大，甚至还要大，那它的寿命就是“与天齐寿”了
Mapping Taget － zero
1. dm-zero driver
2. 同/dev/zero一样，但是一个block设备
3. 用于创建虚拟大容量设备，多用于测试。
4. 无法往其写入数据，其中无真实数据，读时返还zero数据。
5. Example：
[root@node1 lvm]# export Hugsize=$[100 *(2**40)/512]
[root@node1 lvm]# echo $Hugsize
214748364800
[root@node1 lvm]# echo "0 $Hugsize zero" | dmsetup create zerodev
[root@node1 lvm]# fdisk -l /dev/mapper/zerodev
Disk /dev/mapper/zerodev: 109951.1 GB, 109951162777600 bytes
255 heads, 63 sectors/track, 13367467 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Mapper Multipath
1. 提供冗余：一条或多条路径连接到相同物理存储设备
2. 监控每条路径并自动切换故障路径
3. 自动恢复并传递应用程序
4. dm-multipath创建的设备名(e.g.：/dev/dm-2)
5. dm-multipath支持GFS文件系统
6. dm-multipath是线路冗余，不是磁盘冗余
dm multipath components
1. Multipath priority groups多路径优先级：
优先级不一样则冗余优，先级高的工作，低的备份
优先级一样则提供负载均衡，同时工作
2. dm-multipath kernel module内核模块
3. multipath命令：查询和配置多路径设备
4. multipathd daemon：监控多路径进程或附件
5. kpartx：创建dm设备
Multipath Priority Groups
1. 到存储设备的路径可以定义优先级组
2. 优先级组范围：0－1024
3. 默认只有一个优先级组在工作
4. active/active路径属于相同的优先级组，负载均衡模式（默认状态）
5. active/passive路径属于不同的优先级组，优先级组高的工作，优先级组低备份
Mapping Target－multipath
1. dm-multipath driver
2. 参数：
优先级组的分段
3. 第一个优先级组的参数
3.1. 优先级组对应的I/O
3.2. 优先级组对应的路径数量
3.3. 列出路径的优先级
Setup Multipathing Fc Storage
1. 安装device-mapper-multipath RPM包
2. 配置/etc/multipath.conf
3. modprobe dm_multipath
4. modprobe dm-round-robin
5. chkconfig multipathd on
6. service multipathd start
7. multipath -l
Multipath Configuration
/etc/multipath.conf Sections:
1. defaults - multipath tools default settings
2. blacklist -list of specific device names to not consider for multipathing
3. blacklist_exceptions - list of multipathing candidates that would otherwise be blacklisted
4. multipaths - list of multipath characteristic settings
5. devices - list of per storage controller settings
6. Allows regular expression description syntax
7. Only specify sections that are needed
多路径配置实例
1. target配置
IP：ifcfg-eth0 192.168.32.219
ifcfg-eth0:1 192.168.32.220
[root@target ~]# service tgtd start
[root@target ~]#tgtadm --lld iscsi --mode target --op new --tid 1 -T iqn.2011-10.target:dsk1
[root@target ~]#tgtadm --lld iscsi --mode logicalunit --op new --tid 1 --lun 1 --backing-store=/dev/VolGroup00/lv06
[root@target ~]#tgtadm --lld iscsi --mode target --op bind --tid=1 --initiator-address=ALL
2. node1配置
[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.32.220
192.168.32.220:3260,1 iqn.2011-10.target:dsk1
[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.32.219
192.168.32.219:3260,1 iqn.2011-10.target:dsk1
[root@node1 ~]# iscsiadm -m node -T iqn.2011-10.target:dsk1 -p 192.168.32.220 -l
Logging in to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.220,3260]
Login to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.220,3260]: successful
[root@node1 ~]# iscsiadm -m node -T iqn.2011-10.target:dsk1 -p 192.168.32.219 -l
Logging in to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.219,3260]
Login to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.219,3260]: successful
[root@node1 ~]# fdisk -l
Disk /dev/sdb: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
Disk /dev/sdd: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
[root@node1 ~]# yum install device-mapper-multipath
[root@node1 ~]# vim /etc/rc.d/multipath.conf
#blacklist { #注销blacklist
# devnode "*"
#}
defaults {
udev_dir /dev
polling_interval 10
selector "round-robin 0" #轮询，优先级都为0
path_grouping_policy failover
getuid_callout "/sbin/scsi_id -g -u -s /block/%n"
prio_callout /bin/true
path_checker readsector0
rr_min_io 100
max_fds 8192
rr_weight priorities
failback immediate
no_path_retry fail
user_friendly_names yes
}
#通常特有厂商有其特有的配置，该配置是redhat的默认配置
[root@node1 ~]#chkconfig multipathd on
[root@node1 ~]#service multipathd start
[root@node1 ~]# fdisk -l
Disk /dev/sdb: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
Disk /dev/sdd: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
Disk /dev/dm-7: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
#出现多路径设备/dev/dm-7,其实/dev/sdb、/dev/sdd、/dev/dm-7是一个设备
[root@node1 ~]# mkfs.ext3 /dev/dm-7
[root@node1 ~]# mount /dev/dm-7 /mnt/path/
[root@node1 ~]# cp /etc/passwd /mnt/path/.
[root@node1 ~]# multipath -ll #查询多路径状态
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
\_ 22:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 23:0:0:1 sdd 8:48 [active][ready]
3.测试
[root@target ~]# ifdown eth0:1 #断开路径192.168.32.219
[root@node1 ~]# multipath -ll
sdd: checker msg is "readsector0 checker reports path is down"
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
\_ 22:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 23:0:0:1 sdd 8:48 [active][faulty] #该路径处于故障状态
[root@target ~]# ifup eth0:1
[root@node1 ~]# multipath -ll
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
\_ 22:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=0][enabled]
\_ 23:0:0:1 sdd 8:48 [active][ready] #该路径恢复正常状态
本文转自netsword 51CTO博客，原文链接:http://blog.51cto.com/netsword/765039
