前言:

业务生产中大部分服务器RAID控制器使用的LSI产品,例如服务器:DELLIBMHP、浪潮、联想、华为。本文主要针对行业主流服务器DELL系列RAID卡管理,借住LSI产品管理软件MegaRAID Storage Manager (以下简称MSMSupport for CacheCade Pro 2.0管理物理磁盘、RAIDCacheCade功能。

 

一、MSM下载地址

Linux - 4.6 - CC 2.0

www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.33-01_Linux_MSM.zip

Windows - 4.6 - CC 2.0

www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/8.33-01_Windows_MSM.zip

以上版本不包含命令行工具MegaCli,为支持CacheCade功能需使用以上版本(实际测试中这两个版本都是支持的,lsi官方软件描述不支持),否则请使用以下链接下载且包含命令工具MegaCli-8.02.14-1.i386.rpm

Linux - 4.6 - 11M06

www.lsi.com/downloads/Public/MegaRAID%20Common%20Files/11.06.00-05_Linux_MSM.zip

二、软件安装前提

1 查看服务器类型,测试环境为DELL R610

# dmidecode -s system-product-name     

PowerEdge R610

2. 确认是否使用LSI MegaRAID

# dmidecode |grep "RAID"

        Description: Integrated RAID Controller

        Reference Designation: Integrated RAID

 

#lspci |grep RAID

03:00.0 RAID bus controller: LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05)

# dmesg |grep "RAID"

scsi0 : LSI SAS based MegaRAID driver

3.支持控制器型号,请看软件包内容文件“8.33-01_Linux_MSM.txt

内容如下:

Supported Controllers

==================

MegaRAID SAS 9265-8i

MegaRAID SAS 9285-8e

MegaRAID SAS 9240-4i

MegaRAID SAS 9240-8i

MegaRAID SAS 9260-4i

MegaRAID SAS 9260CV-4i

MegaRAID SAS 9260-8i

…………内容略……………

MegaRAID SAS 8480E*

MegaRAID SATA 300-8ELP*

 

*These older controllers should work but have not been tested.

…………内容略……………

 

三、安装MegaRAID Storage Manager版本8.33.0100

系统测试环境:RHEL 5.5_64bit

 

1.软件依赖关系

compat-libstdc++-33-3.2.3-61.x86_64.rpm

libstdc++-4.1.2-48.el5.x86_64.rpm   

net-snmp-5.3.2.2-9.el5.x86_64.rpm

net-snmp-utils-5.3.2.2-9.el5.x86_64.rpm

 

2.安装MSM

# unzip 8.33-01_Linux_MSM.zip

#cd disk

# install.sh

 

3.根据提示选择即可,我们选择的完整安装

(1) - Complete

                  This option will install all program features.

 

4.安装的软件包包括

1Lib_Utils  2Lib_Utils2  3MegaRAID_Storage_Manager-8.33-01        4sas_snmp-3.17-1119

 

5.安装RAID卡命令行管理工具MegaCli

# rpm -ivh MegaCli-8.02.14-1.i386.rpm

或者替换安装位置,便于命令行操作

#rpm --relocate /opt/=/usr/sbin/ -i MegaCli-8.02.14-1.i386.rpm

确认MegaCli包的安装位置

# rpm -ql MegaCli                    

/opt/MegaRAID/MegaCli/MegaCli      #32bit安装位置

/opt/MegaRAID/MegaCli/MegaCli64    #64bit安装位置,实验环境为此

 

四、MegaCli常用命令使用:

提示:先命令释义然后是具体命令内容

1.命令帮助

MegaCli64 -help|-h|?        

2.设置适配器属性

这里以开启CopyBack功能为例讲解语法:一般val0为启用相应功能,此处为Enable Copyback,1为禁用, -a后跟设配器号,一般就一个适配器指定为-a0或者ALL即可,具体参数以帮助说明为准,其他命令语法同此。

AdpSetProp -CopyBackDsbl -val -aN|-a0,1,2|-aALL  

查看当前CopyBack状态

MegaCli64 -AdpGetProp -CopyBackDsbl  a0      

启用适配器0 copyback功能

MegaCli64 -AdpSetProp -CopyBackDsbl -0 -a0   

获取当前Cache Flush Interval值默认即为4s

MegaCli64 -AdpGetProp CacheFlushInterval a0     

设置Cache Flush Interval,默认即为4s

MegaCli64 -AdpSetProp CacheFlushInterval 4  a0  

获取重建比率,默认为30%

MegaCli64  -AdpGetProp  RebuildRate a0 

设置重建比率为40%

MegaCli64  -AdpSetProp  RebuildRate 40 a0    

查看设配器当前日期时间

MegaCli64 -AdpGetTime  a0      

设置适配器时间               

MegaCli64  AdpSetTime 20111101  11:33:00 a0   

查看适配器BIOS状态

MegaCli64 -AdpBIOS   -Dsply  a0        

查看启动设备       

MegaCli64  -AdpBootDrive   -Get -a0          

设置启动设备

MegaCli64  -AdpBootDrive -Set  -physdrv  [32:0]  -a0 

启用|查看|关闭 自动重建状态

MegaCli64 -AdpAutoRbld -Enbl|-Dsbl|-Dsply -aN|-a0,1,2|-aALL

适配器CacheFlush

MegaCli64  -AdpCacheFlush  a0         

适配器统计

MegaCli64  -adpCount      

所有适配器信息,此命令也可看到以上功能参数

MegaCli64  -AdpAllInfo –aALL        

2.物理硬盘信息查看

所有物理硬盘信息列表

MegaCli64  -PDList  -a0

查看第一块物理硬盘信息                       

MegaCli64  -pdInfo  -PhysDrv [32:0]  -a0      

3.离线硬盘管理

设置物理硬盘在线

MegaCli64  -PDOnline  -PhysDrv[32:5] -a0       

设置物理硬盘离线

MegaCli64 -PDOffline -PhysDrv[32:5] -a0         

4.热备盘管理

设置ID3硬盘为逻辑磁盘组1的独立热备盘

MegaCli64 -PDHSP  -Set -Dedicated  -Array1   -EnclAffinity  -nonRevertible  -PhysDrv  [32:3] –aALL                

设置ID3硬盘为全局热备盘

MegaCli64 -PDHSP  -Set  -EnclAffinity  -nonRevertible  -PhysDrv [32:3] -a0                                 

删除热备盘ID3

MegaCli64 -PDHSP  -Rmv -PhysDrv  [32:3] –aALL  

5.磁盘数据重建管理

管理一个物理磁盘数据重建、显示重建的过程

MegaCli64  -PDRbld -Start|-Stop|-Suspend|-Resume|-ShowProg |-ProgDsply   -PhysDrv [32:3] –a0     

6.物理硬盘初始化

物理硬盘ID3初始化、显示初始化过程

MegaCli64 -PDClear -Start |-Stop|-Suspend|-Resume|-ShowProg |-ProgDsply    -PhysDrv [32:3]  -a0     

7Miss状态硬盘管理

标记物理硬盘为miss状态,状态正常的硬盘不支持命令

MegaCli64 -PdMarkMissing –physdrv [32:3] -aN|-a0,1,2|-aALL 

查看状态为miss的物理硬盘

MegaCli64 -PdGetMissing –a0

查看适配器附件信息    

MegaCli64 -EncInfo -a0      

8、虚拟硬盘管理

查看虚拟磁盘信息, -L后面跟虚拟磁盘ID

MegaCli64 -LDInfo -Lx|-L0,1,2|-Lall -aN|-a0,1,2|-aALL   

8.1 缓存策略名词解释:

8.1.1  Write Policy(写入策略) 

将高速缓存方法设置为回写或通过写。 

 

WT  (Write through) (通过写)高速缓存中,当磁盘子系统已接收到一个事务中的所有数据时,该控制器将数据传输完成信号发送给主机。 

WB  (Write back)     (回写)高速缓存中,当控制器高速缓存已接收到某个事务中的所有数据时,该控制器将数据传输完成信号发送给主机。 

Write-through(通过写)高速缓存与Write-back(回写)高速缓存相比具有数据安全的优势,但Write-back(回写)高速缓存比起Write-through(通过写)又有性能上的优势。

 

8.1.2  Read-ahead(预读)启用逻辑驱动器的SCSI预读功能。 

可将此参数设为No-Read-Ahead(非预读)、Read-ahead(预读)或Adaptive(自适应)。 默认设置为Adaptive(自适应)。 

NORA  (No read ahead)   (非预读)指定控制器在当前逻辑驱动器中不使用预读方式。 

RA    (Read ahead)      (预读)指定控制器在当前逻辑驱动器中使用预读方式。 

ADRA  (Adaptive read ahead) (自适应)指定如果最近两次的磁盘访问出现在连续的扇区内,则控制器开始采用Read-ahead(预读)。 如果所有的读取请求都是随机的,则该算法回复到No-Read-Ahead(非预读),但仍要判断所有的读取请求是否有按顺序操作的可能。 

 

8.1.3 Cache Policy(高速缓存策略) 

适合在特定逻辑驱动器上读取。 它并不影响Read ahead(预读)高速缓存。 

Cached   (高速缓存I/O)指定所有读取数据在高速缓存存储器中缓存。 

Direct   (直接I/O)指定读取数据不在高速缓存存储器中缓存。 此为默认设置。 它不会代替高速缓存策略设置。数据被同时传送到高速缓存和主机。 如果再次读取同一数据块,则从高速缓存存储器读取。 

 

8.2 虚拟硬盘管理命令

查看cache 策略

MegaCli64   -LDGetProp  -Cache -L1 -a0

查看访问策略

MegaCli64   -LDGetProp  -Access  -L1 -a0

查看虚拟磁盘名字

MegaCli64   -LDGetProp  -Name   -L1 -a0

查看写策略

MegaCli64   -LDGetProp  -DskCache   -L1 -a0

设置虚拟磁盘名称

MegaCli64 -LDSetProp  -Name  vd_test -L1 -a0

设置访问策略

MegaCli64   -LDSetProp  -RW -L1 -a0

设置cache策略

MegaCli64 -LDSetProp  WB | RA | Direct    -L1 -a0

启用disk cache

MegaCli64   -LDSetProp   -DisDskCache    -L1 -a0

磁盘阵列初始化:

初始化虚拟磁盘

MegaCli64  -LDInit {-Start [-full]}|-Abort  -L1 -a0

查看初始化进度、过程

MegaCli64 -LDInit -ShowProg|-ProgDsply –L1 –a0

虚拟磁盘一致性检查

MegaCli -LDCC {-Start [-force]}|-Abort|-Suspend|-Resume|-ShowProg|-ProgDsply -L0 -a0

开始一致性检查

MegaCli64 -LDCC  -Start -L1 -a0

 

后台初始化管理:

语法:

MegaCli -LDBI -Enbl|-Dsbl|-getSetting|-Abort|-Suspend|-Resume|-ShowProg|-ProgDsply -Lx|-L0,1,2|-LALL -aN|-a0,1,2|-aALL

查看后台初始化状态

MegaCli64 -LDBI -getSetting  -L0 -a0  

启用后台初始化

MegaCli64 -LDBI  -Enbl   -L0 -a0 

查看虚拟磁盘组及所属物理硬盘信息

MegaCli64  -LdPdInfo -a0

查看虚拟磁盘组数量

MegaCli64  -LDGetNum -a0 

 

创建虚拟磁盘:

配置raid1,并指定热备磁盘,此处为独立热备,若删除此raid配置热备盘自动变更为全局热备

MegaCli64   -CfgLdAdd -r1[32:1,32:2]  WB  RA Direct  -Hsp [32:3] ALL-a0

仅配置raid1

MegaCli64   -CfgLdAdd -r1[32:1,32:2]  WB  RA Direct   -a0 

删除指定raid配置

MegaCli64 -CfgLdDel -L1  -a0

在线重建磁盘组raid级别为1的虚拟磁盘组ID1添加添加硬盘

MegaCli64  -LDRecon -Start -r1  -Add -Physdrv [32:3]  -L1 -a0 

从虚拟磁盘组ID1移除硬盘

MegaCli64  -LDRecon -Start -r1  -Rmv -Physdrv [32:3]  -L1 -a0

 

9Cachecade 管理

创建cachecade

MegaCli64  -CfgCacheCadeAdd -r0 -Physdrv[32:4,32:5] -Name cachecade     -a0

查看cachecade配置信息

MegaCli64   -CfgCacheCadeDsply  -a0    

删除cachecade,注意虚拟磁盘组ID,若使用MegaCli64  -LdPdInfo –aALL需要确认一下

MegaCli64 -CfgCacheCadeDel -L2  -a0 

指派cachecade,测试提示不允许,使用格式如下

MegaCli64  -CfgCacheCadeAdd -r0 -Physdrv[32:4,32:5] -Name cachecade  -assign –L1  -a0

 

MegaCli -Cachecade -assign|-remove -Lx|-L0,1,2|-LALL -aN|-a0,1,2|-aALL

10、虚拟磁盘配置管理

清除现有配置

MegaCli64 –CfgClr  -a0   

查看现有raid配置

MegaCli64 -CfgDsply -a0

保存指定适配器配置参数

MegaCli64 -CfgSave -f raidcfg  -a0 

恢复raid配置参数

MegaCli64 -CfgRestore -f raidcfg –a0 

11、管理Foreign磁盘

扫描foreign状态磁盘

MegaCli64  -CfgForeign -Scan  -a0

显示foreign状态磁盘     

MegaCli -CfgForeign –Dsply     -a0     

导入foreign磁盘

MegaCli -CfgForeign –Import    -a0      

清除foreign信息

MegaCli -CfgForeign –Clear      -a0      

 

MegaCli -Version -Cli|-Ctrl|-Driver|-Pd   -aN|-a0,1,2|-aALL

MegaCli -Perfmon {-start -interval <val>} | {stop} | {-getresults -f <Filename>} -aN

还有很多命令行请看帮助,至此不仅又要感叹命令行的强大,图形界面可以做到的命令行一样可以做到,命令行可以做到的图形不一定可以做到!

 

五、下面介绍一下MSM图形界面(使用方法比较简单,不再赘述):

实验环境:

serverrhel5.5_64bit ,安装MSM完整模式

client: win7,安装client模式

5.1启动界面

 

5.2添加远程被管理sever

 

5.3登陆远程server,登录帐号密码为远程server的系统用户和密码

5.4 MSM图形界面,界面下部为log信息,当然命令行也有log

5.5 关闭、启动MSM:

/init.d/vivaldiframeworkd stop

/etc/init.d/mrmonitor stop

 

/init.d/vivaldiframeworkd start

/etc/init.d/mrmonitor start

5.6 卸载MSM:

/usr/local/MegaRAID Storage Manager/uninstaller.sh 

LSI MegaRAID Storage Manager阵列管理软件(MSM)远程管理工具Server端使用的端口为30715571,若无法连接,需要禁用防火墙或将30715571端口打开。

参考资料《MegaRaid SAS Software User Guide

 

提示:DELL 11G12G服务器,可以利用OMSA对服务器操作系统、硬件状态进行查看、管理,包括查看存储的RAID卡、逻辑磁盘、物理磁盘状态以及对RAID的管理、在线扩容等。