前言:
业务生产中大部分服务器RAID控制器使用的LSI产品,例如服务器:DELL、IBM、HP、浪潮、联想、华为。本文主要针对行业主流服务器DELL系列RAID卡管理,借住LSI产品管理软件MegaRAID Storage Manager (以下简称MSM)Support for CacheCade Pro 2.0管理物理磁盘、RAID及CacheCade功能。
一、MSM下载地址
Linux - 4.6 - CC 2.0
www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.33-01_Linux_MSM.zip
Windows - 4.6 - CC 2.0
www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.33-01_Windows_MSM.zip
以上版本不包含命令行工具MegaCli,为支持CacheCade功能需使用以上版本(实际测试中这两个版本都是支持的,lsi官方软件描述不支持),否则请使用以下链接下载且包含命令工具MegaCli-8.02.14-1.i386.rpm
www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/11.06.00-05_Linux_MSM.zip
二、软件安装前提
1. 查看服务器类型,测试环境为DELL R610
# dmidecode -s system-product-name
PowerEdge R610
2. 确认是否使用LSI MegaRAID卡
# dmidecode |grep "RAID"
Description: Integrated RAID Controller
Reference Designation: Integrated RAID
#lspci |grep RAID
03:00.0 RAID bus controller: LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05)
# dmesg |grep "RAID"
scsi0 : LSI SAS based MegaRAID driver
3.支持控制器型号,请看软件包内容文件“8.33-01_Linux_MSM.txt”
内容如下:
Supported Controllers
==================
MegaRAID SAS 9265-8i
MegaRAID SAS 9285-8e
MegaRAID SAS 9240-4i
MegaRAID SAS 9240-8i
MegaRAID SAS 9260-4i
MegaRAID SAS 9260CV-4i
MegaRAID SAS 9260-8i
…………内容略……………
MegaRAID SAS 8480E*
MegaRAID SATA 300-8ELP*
*These older controllers should work but have not been tested.
…………内容略……………
三、安装MegaRAID Storage Manager版本8.33.0100
系统测试环境:RHEL 5.5_64bit
1.软件依赖关系
compat-libstdc++-33-3.2.3-61.x86_64.rpm
libstdc++-4.1.2-48.el5.x86_64.rpm
net-snmp-5.3.2.2-9.el5.x86_64.rpm
net-snmp-utils-5.3.2.2-9.el5.x86_64.rpm
2.安装MSM
# unzip 8.33-01_Linux_MSM.zip
#cd disk
# install.sh
3.根据提示选择即可,我们选择的完整安装
(1) - Complete
This option will install all program features.
4.安装的软件包包括
(1)Lib_Utils (2)Lib_Utils2 (3)MegaRAID_Storage_Manager-8.33-01 (4)sas_snmp-3.17-1119
5.安装RAID卡命令行管理工具MegaCli
# rpm -ivh MegaCli-8.02.14-1.i386.rpm
或者替换安装位置,便于命令行操作
#rpm --relocate /opt/=/usr/sbin/ -i MegaCli-8.02.14-1.i386.rpm
确认MegaCli包的安装位置
# rpm -ql MegaCli
/opt/MegaRAID/MegaCli/MegaCli #32bit安装位置
/opt/MegaRAID/MegaCli/MegaCli64 #64bit安装位置,实验环境为此
四、MegaCli常用命令使用:
提示:先命令释义然后是具体命令内容
1.命令帮助
MegaCli64 -help|-h|?
2.设置适配器属性
这里以开启CopyBack功能为例讲解语法:一般val值0为启用相应功能,此处为Enable Copyback,1为禁用, -a后跟设配器号,一般就一个适配器指定为-a0或者ALL即可,具体参数以帮助说明为准,其他命令语法同此。
AdpSetProp -CopyBackDsbl -val -aN|-a0,1,2|-aALL
查看当前CopyBack状态
MegaCli64 -AdpGetProp -CopyBackDsbl a0
启用适配器0 copyback功能
MegaCli64 -AdpSetProp -CopyBackDsbl -0 -a0
获取当前Cache Flush Interval值默认即为4s
MegaCli64 -AdpGetProp CacheFlushInterval a0
设置Cache Flush Interval,默认即为4s
MegaCli64 -AdpSetProp CacheFlushInterval 4 a0
获取重建比率,默认为30%
MegaCli64 -AdpGetProp RebuildRate a0
设置重建比率为40%
MegaCli64 -AdpSetProp RebuildRate 40 a0
查看设配器当前日期时间
MegaCli64 -AdpGetTime a0
设置适配器时间
MegaCli64 AdpSetTime 20111101 11:33:00 a0
查看适配器BIOS状态
MegaCli64 -AdpBIOS -Dsply a0
查看启动设备
MegaCli64 -AdpBootDrive -Get -a0
设置启动设备
MegaCli64 -AdpBootDrive -Set -physdrv [32:0] -a0
启用|查看|关闭 自动重建状态
MegaCli64 -AdpAutoRbld -Enbl|-Dsbl|-Dsply -aN|-a0,1,2|-aALL
适配器CacheFlush
MegaCli64 -AdpCacheFlush a0
适配器统计
MegaCli64 -adpCount
所有适配器信息,此命令也可看到以上功能参数
2.物理硬盘信息查看
MegaCli64 -PDList -a0
查看第一块物理硬盘信息
MegaCli64 -pdInfo -PhysDrv [32:0] -a0
3.离线硬盘管理
设置物理硬盘在线
MegaCli64 -PDOnline -PhysDrv[32:5] -a0
设置物理硬盘离线
MegaCli64 -PDOffline -PhysDrv[32:5] -a0
4.热备盘管理
设置ID3硬盘为逻辑磁盘组1的独立热备盘
MegaCli64 -PDHSP -Set -Dedicated -Array1 -EnclAffinity -nonRevertible -PhysDrv [32:3] –aALL
MegaCli64 -PDHSP -Set -EnclAffinity -nonRevertible -PhysDrv [32:3] -a0
删除热备盘ID3
MegaCli64 -PDHSP -Rmv -PhysDrv [32:3] –aALL
5.磁盘数据重建管理
管理一个物理磁盘数据重建、显示重建的过程
MegaCli64 -PDRbld -Start|-Stop|-Suspend|-Resume|-ShowProg |-ProgDsply -PhysDrv [32:3] –a0
6.物理硬盘初始化
物理硬盘ID3初始化、显示初始化过程
MegaCli64 -PDClear -Start |-Stop|-Suspend|-Resume|-ShowProg |-ProgDsply -PhysDrv [32:3] -a0
7.Miss状态硬盘管理
MegaCli64 -PdMarkMissing –physdrv [32:3] -aN|-a0,1,2|-aALL
查看状态为miss的物理硬盘
MegaCli64 -PdGetMissing –a0
查看适配器附件信息
MegaCli64 -EncInfo -a0
8、虚拟硬盘管理
查看虚拟磁盘信息, -L后面跟虚拟磁盘ID
MegaCli64 -LDInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL
8.1 缓存策略名词解释:
8.1.1 Write Policy(写入策略)
将高速缓存方法设置为回写或通过写。
WT (Write through) (通过写)高速缓存中,当磁盘子系统已接收到一个事务中的所有数据时,该控制器将数据传输完成信号发送给主机。
WB (Write back) (回写)高速缓存中,当控制器高速缓存已接收到某个事务中的所有数据时,该控制器将数据传输完成信号发送给主机。
Write-through(通过写)高速缓存与Write-back(回写)高速缓存相比具有数据安全的优势,但Write-back(回写)高速缓存比起Write-through(通过写)又有性能上的优势。
8.1.2 Read-ahead(预读)启用逻辑驱动器的SCSI预读功能。
可将此参数设为No-Read-Ahead(非预读)、Read-ahead(预读)或Adaptive(自适应)。 默认设置为Adaptive(自适应)。
NORA (No read ahead) (非预读)指定控制器在当前逻辑驱动器中不使用预读方式。
RA (Read ahead) (预读)指定控制器在当前逻辑驱动器中使用预读方式。
ADRA (Adaptive read ahead) (自适应)指定如果最近两次的磁盘访问出现在连续的扇区内,则控制器开始采用Read-ahead(预读)。 如果所有的读取请求都是随机的,则该算法回复到No-Read-Ahead(非预读),但仍要判断所有的读取请求是否有按顺序操作的可能。
8.1.3 Cache Policy(高速缓存策略)
适合在特定逻辑驱动器上读取。 它并不影响Read ahead(预读)高速缓存。
Cached (高速缓存I/O)指定所有读取数据在高速缓存存储器中缓存。
Direct (直接I/O)指定读取数据不在高速缓存存储器中缓存。 此为默认设置。 它不会代替高速缓存策略设置。数据被同时传送到高速缓存和主机。 如果再次读取同一数据块,则从高速缓存存储器读取。
8.2 虚拟硬盘管理命令
查看cache 策略
MegaCli64 -LDGetProp -Cache -L1 -a0
查看访问策略
MegaCli64 -LDGetProp -Access -L1 -a0
查看虚拟磁盘名字
MegaCli64 -LDGetProp -Name -L1 -a0
查看写策略
MegaCli64 -LDGetProp -DskCache -L1 -a0
设置虚拟磁盘名称
MegaCli64 -LDSetProp -Name vd_test -L1 -a0
设置访问策略
MegaCli64 -LDSetProp -RW -L1 -a0
设置cache策略
MegaCli64 -LDSetProp WB | RA | Direct -L1 -a0
启用disk cache
MegaCli64 -LDSetProp -DisDskCache -L1 -a0
磁盘阵列初始化:
初始化虚拟磁盘
MegaCli64 -LDInit {-Start [-full]}|-Abort -L1 -a0
查看初始化进度、过程
MegaCli64 -LDInit -ShowProg|-ProgDsply –L1 –a0
虚拟磁盘一致性检查
MegaCli -LDCC {-Start [-force]}|-Abort|-Suspend|-Resume|-ShowProg|-ProgDsply -L0 -a0
开始一致性检查
MegaCli64 -LDCC -Start -L1 -a0
后台初始化管理:
语法:
MegaCli -LDBI -Enbl|-Dsbl|-getSetting|-Abort|-Suspend|-Resume|-ShowProg|-ProgDsply -Lx|-L0,1,2|-LALL -aN|-a0,1,2|-aALL
查看后台初始化状态
MegaCli64 -LDBI -getSetting -L0 -a0
启用后台初始化
MegaCli64 -LDBI -Enbl -L0 -a0
查看虚拟磁盘组及所属物理硬盘信息
MegaCli64 -LdPdInfo -a0
查看虚拟磁盘组数量
MegaCli64 -LDGetNum -a0
创建虚拟磁盘:
配置raid1,并指定热备磁盘,此处为独立热备,若删除此raid配置热备盘自动变更为全局热备
MegaCli64 -CfgLdAdd -r1[32:1,32:2] WB RA Direct -Hsp [32:3] ALL-a0
仅配置raid1
MegaCli64 -CfgLdAdd -r1[32:1,32:2] WB RA Direct -a0
删除指定raid配置
MegaCli64 -CfgLdDel -L1 -a0
在线重建磁盘组, 向raid级别为1的虚拟磁盘组ID1添加添加硬盘
MegaCli64 -LDRecon -Start -r1 -Add -Physdrv [32:3] -L1 -a0
从虚拟磁盘组ID1移除硬盘
MegaCli64 -LDRecon -Start -r1 -Rmv -Physdrv [32:3] -L1 -a0
9、Cachecade 管理
创建cachecade
MegaCli64 -CfgCacheCadeAdd -r0 -Physdrv[32:4,32:5] -Name cachecade -a0
查看cachecade配置信息
MegaCli64 -CfgCacheCadeDsply -a0
删除cachecade,注意虚拟磁盘组ID,若使用MegaCli64 -LdPdInfo –aALL需要确认一下
MegaCli64 -CfgCacheCadeDel -L2 -a0
指派cachecade,测试提示不允许,使用格式如下
MegaCli64 -CfgCacheCadeAdd -r0 -Physdrv[32:4,32:5] -Name cachecade -assign –L1 -a0
MegaCli -Cachecade -assign|-remove -Lx|-L0,1,2|-LALL -aN|-a0,1,2|-aALL
10、虚拟磁盘配置管理
清除现有配置
MegaCli64 –CfgClr -a0
查看现有raid配置
MegaCli64 -CfgDsply -a0
保存指定适配器配置参数
MegaCli64 -CfgSave -f raidcfg -a0
恢复raid配置参数
MegaCli64 -CfgRestore -f raidcfg –a0
11、管理Foreign磁盘
扫描foreign状态磁盘
MegaCli64 -CfgForeign -Scan -a0
显示foreign状态磁盘
MegaCli -CfgForeign –Dsply -a0
导入foreign磁盘
MegaCli -CfgForeign –Import -a0
清除foreign信息
MegaCli -CfgForeign –Clear -a0
MegaCli -Version -Cli|-Ctrl|-Driver|-Pd -aN|-a0,1,2|-aALL
MegaCli -Perfmon {-start -interval <val>} | {stop} | {-getresults -f <Filename>} -aN
还有很多命令行请看帮助,至此不仅又要感叹命令行的强大,图形界面可以做到的命令行一样可以做到,命令行可以做到的图形不一定可以做到!
五、下面介绍一下MSM图形界面(使用方法比较简单,不再赘述):
实验环境:
server:rhel5.5_64bit ,安装MSM完整模式
client: win7,安装client模式
5.1启动界面
5.2添加远程被管理sever
5.3登陆远程server,登录帐号密码为远程server的系统用户和密码
5.4 MSM图形界面,界面下部为log信息,当然命令行也有log
5.5 关闭、启动MSM:
/init.d/vivaldiframeworkd stop
/etc/init.d/mrmonitor stop
/init.d/vivaldiframeworkd start
/etc/init.d/mrmonitor start
5.6 卸载MSM:
/usr/local/MegaRAID Storage Manager/uninstaller.sh
LSI MegaRAID Storage Manager阵列管理软件(MSM)远程管理工具Server端使用的端口为3071和5571,若无法连接,需要禁用防火墙或将3071和5571端口打开。
参考资料《MegaRaid SAS Software User Guide》
提示:DELL 11G、12G服务器,可以利用OMSA对服务器操作系统、硬件状态进行查看、管理,包括查看存储的RAID卡、逻辑磁盘、物理磁盘状态以及对RAID的管理、在线扩容等。