oVirt支持NFS, GlusterFS, FC, iSCSI等存储方式, 所以对于HOST节点, 在加入oVirt后, 可能出现一点小问题, 某些设备变成了dm设备, 并且用以前的方式无法挂载了.
oVirt这么做的目的应该是配合FC和iSCSI的使用, 因为一般FC和iSCSI都可以用到多路径来获的链路冗余.
无法以原设备名挂载, 原因是vdsmd这个服务依赖multipathd服务.
[root@150 etc]# cd /etc/init.d/
[root@150 init.d]# grep -r multi *|less
vdsmd:NEEDED_SERVICES="multipathd rpcbind ntpd wdmd sanlock network libvirtd
同时oVirt修改的multipath.conf的配置有点问题, 需要修改一下. 在修改这个配置文件前, 我们可以手工将这些DM设备释放掉.
释放掉之后就可以使用了.
如果要重启生效的话, 可以修改一些multipath.conf, 把不需要加入多路径的设备放到黑名单里面.
未释放前, 直接挂载会报错.
[root@150 /]# mount /dev/sdb1 /data01
mount: /dev/sdb1 already mounted or /data01 busy
[root@150 /]# mount /dev/sdd1 /data01
mount: /dev/sdd1 already mounted or /data01 busy
因为这几个设备已经在DM设备了
[root@150 rules.d]# multipath -ll
20050430000000000 dm-1 ATA,OCZ-REVODRIVE3
size=224G features='0' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=1 status=active
| `- 3:0:126:0 sdc 8:32 active ready running
`-+- policy='round-robin 0' prio=1 status=enabled
`- 4:0:126:0 sdd 8:48 active ready running
360026b902fe2ce0018993f2f0c5734b3 dm-0 DELL,PERC 6/i
size=186G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
`- 0:2:1:0 sdb 8:16 active ready running
[root@150 rules.d]# dmsetup ls
20050430000000000 (253:1)
360026b902fe2ce0018993f2f0c5734b3 (253:0)
360026b902fe2ce0018993f2f0c5734b3p1 (253:3)
20050430000000000p1 (253:2)
移除这些DM设备
[root@150 rules.d]# dmsetup remove -f 20050430000000000p1
[root@150 rules.d]# multipath -ll
360026b902fe2ce0018993f2f0c5734b3 dm-0 DELL,PERC 6/i
size=186G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
`- 0:2:1:0 sdb 8:16 active ready running
[root@150 rules.d]# dmsetup remove -f 360026b902fe2ce0018993f2f0c5734b3p1
现在可以加载了.
[root@150 rules.d]# mount /dev/sdb1 /data01
[root@150 rules.d]# mount /dev/sdd1 /data02
[root@150 ~]# e2label /dev/sdb1 sdb1
[root@150 ~]# e2label /dev/sdd1 sdd1
# vi /etc/fstab
LABEL=sdb1 /data01 ext4 defaults,noatime,nodiratime 0 0
LABEL=sdd1 /data02 ext4 defaults,noatime,nodiratime 0 0如果要重启生效的话, 可以修改一些multipath.conf, 把不需要加入多路径的设备放到黑名单里面.
vi /etc/multipath.conf
blacklist {
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z]*"
devnode "^sd[a-d]$"
}
