DAS 直连存储
NAS nfs samba
SAN 存储区域网络
IP SAN
node1 node2
\ /
\ /
交换机
/ \
/ \
192.168.10.2 192.168.10.3
#配置yum
Server VT Cluster ClusterStorage
存储节点配置：
节点3安装一个软件：
yum install scsi-target-utils -y
编辑配置文件
vim /etc/tgt/targets.conf
通讯设备
default-driver iscsi
共享设备
iqn iscsi合格名称
<target iqn.2012-07.com.zhaoyun:node3.target1>
backing-store /dev/sda 共享的设备名
write-cache off 关闭写缓存，如果不关，重启会出错
vendor_id node3 可以理解为，主机地址
product_id storage1 产品型号
initiator-address 192.168.10.1 允许访问的IP地址，访问控制
initiator-address 192.168.10.2
</target>
service tgtd start 启动服务
tgt-admin --show
节点4
同节点3差不多
前端节点配置,客户端
需要支持
yum install iscsi-initiator-utils -y
service iscsi start
发现共享资源信息
iscsiadm -m discovery -t sendtargets -p 192.168.10.3:3260
iscsiadm -m discovery -t sendtargets -p 192.168.10.4:3260
添加资源
iscsiadm -m node -T iqn.信息 -l 登陆 | -u 登出
udev 当系统插入硬件时， kernel先加载设备驱动去识别，
挂载规则，写udev规则
udevinfo -a -p /sys/block/sdb -a 所有信息 -p 路径
从以上值提取信息 ==是匹配 +=是添加
vim /etc/udev/rules.d/80-scsi.rules
第一块
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node3" ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node3"
第二块
SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node4" ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node4"
vgchange -ay vg001
gfs 全局文件系统
如果前端几点使用GFS，前边节点必须是一个集群
安装集群
node1 node2都需要配置
yum install system-config-cluster -y
yum install cman -y
service cman start
clustat
gfs-utils 提供格式化的命令，第二个提供了让内核支持gfs。
yum install gfs-utils kmod-gfs
modprobe gfs2
lsmod |grep gfs
-t 集群名:锁表名 -j 指定日志的格式
格式化gfs文件系统
gfs_mkfs -t iscsi_cluster:tables -p lock_dlm -j 2 /dev/vg001/lv0
挂载gfs文件系统
mount -t gfs2 -o lockproto=lock_dlm /dev/vg001/lv001 /mnt
扩展iscsi空间，扩展存储节点
新加新的存储节点
yum install iscsi-target-utils -y
vim /etc/tgt/targets.conf
<target iqn.2012-07.com.zhaoyun:node5.target1>
backing-store /dev/sdb
write-cache off
vendor_id node5
product_id storage1
initiator-address 192.168.10.1
initiator-address 192.168.10.2
</target>
启动服务
service tgtd start
tgt-admin --show
#####
node1 查看配置
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l 登陆
fdisk -l 发现新设备
vi /etc/udev/80-iscsi.rules
添加规则
start_udev 重启udev
pvcreate /dev/iscsi/node5
vgextend vg001 /dev/iscsi/node5
lvextend -l +900 /dev/vg001/lv001
gfs_grow -v /iscsi/
df -h 磁盘空间扩大
node2通node1一样
iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260
iscsiadm -m node -T iqn. -l
不停业务更新tgt配置文件
tgt-admin --update --force 读取配置文件内容
添加节点node6 ,web节点
cman_tool update /etc/cluster/cluster.conf
编辑配置文件、、
pvscan
vgchange -ay vg001
lvdisplay
yum install gfs2_utils kmod-gfs -y
modeprobe gfs2
mount -t gfs -o lockproto=lock_dlm /dev/vg001/lv001 /iscsi
报日志少，挂载失败
gfs_tool journals /iscsi
gfs2_jadd -j 1 /iscsi
开机自动挂载
vim /etc/fstab
/dev/vg001/lv001 /iscsi gfs2 lockproto=lock_dlm 0 0
yum install lvm2-cluster
lvmconf --enable-cluster 集群虚拟逻辑卷组
chkconfig clvmd on
本文转自zhaoyun00 51CTO博客，原文链接:http://blog.51cto.com/zhaoyun/937034
