硬件：HP ProLiant BL685c G7 两笼刀片机
ILO版本：ILO3
目的：通过IPMI软件调用HP ILO3相关功能
原因：配置RHCS存储集群需要使用HP ILO设备作为fence设备
科普：IPMI 介绍 http://zh.wikipedia.org/wiki/IPMI
问题描述：
建议你也是遇到这样的问题再来看这篇文章，因为如果你不是在自己很郁闷得遇到这些问题，而看到这篇文章的话，我觉得气氛是不对的，因为这个问题在我整个项目中起着很大的作用，而这个问题困扰了我好几天，简直就是崩溃。
简单描述一下我为何写这篇文章，我现在的项目是CloudStack + KVM的实施项目，客户提供了30TB的FC SAN 存储，关于存储的挂载以及RHEL识别这些设备的问题已经成功解决，本文暂时不详细阐述，这些问题会在整个项目结束之后进行相应的总结。
现在我准备好了:
1. 30TB的SAN存储，30个1TB的LUN
2. 15片安装了 QEMU/KVM的RHEL6U3操作系统,并且成功识别30个新设备（30TB未格式化的"盘"）
CloudStack 跟 KVM的集合，在进行主存储创建的时候，需要选择如下协议：
NFS协议：使用最简单，但是有单点故障
CLVM： LVM的Cluster版本，是红帽RHCS套件中的组件，之前接触过，也比较好用,界面如下：
剩下的两个就接触不多了，RBD是什么分布式块设备，这个我之前没有搞过，也不去介绍了，反正就是分布式存储相关的东东，大概解释一下ShareMountPoint吧
ShareMountPoint文档说的是所有的KVM节点都将共享存储格式化成OCFS2文件系统,当然GFS2估计也是没有问题的，然后每个节点都将格式化之后的设备都挂载到同一个名称的目录下面，然后选择这个协议，填写相关信息，如：
3. 我现在需要做的就是将 所有的KVM主机（也就是RHEL6U3主机）加入到一个 RHCS存储中，然后添加fence设备，最终将CLVM提供给CloudStack进行纳管。
现在问题出在fence设备上面了，玩过RHCS的朋友知道我这边说的fence设备是用来对故障节点进行关机或者重启相关操作，将故障节点从集群中剔除，使得其他节点照样正常工作，否则，每个节点都会去不断检测集群状态，集群中其他节点的状态，产生所谓的“脑裂”状态，本人测试，故障节点不能被成功fence掉【重启或者关机，一般来说会重启】，在其他节点上面执行lvs跟pvs，会被锁定，一直不能执行成功，同时负载会变得超级大，通过uptime查看，load average会持续飚，远远大于3了。
所以现在回到我们最初的讨论上面，需要一个fence节点，RHCS集群可以使用HP的 ILO设备作为fence节点，其他正常节点通过连接故障节点的ILO设备将故障节点进行重启，将其从集群中剔除，待其重启成功，再重新加入集群。
怎么通过RHCS添加节点，fence设备在本文不作相关说明，本文现在去KVM主机上面安装用于支持ILO设备相关操作的软件IPMI，我们再次将ILO设备理解成IPMI协议的一种实现方式，因为ILO是属于HP的设备，DELL等其他服务器有其他的实现方式。
1. 检查主机是否有相关IPMI硬件支持
|
1
2
3
4
5
6
7
8
|
[root@fence01 ~]
# dmidecode |grep -C 6 IPMI |tail -n 7
IPMI Device Information
Interface Type: KCS (Keyboard Control Style)
Specification Version: 2.0
I2C Slave Address: 0x10
NV Storage Device: Not Present
Base Address: 0x0000000000000CA2 (I
/O
)
Register Spacing: Successive Byte Boundaries
|
2.安装软件支持
OpenIPMI-2.0.16-12.el6.x86_64.rpm
OpenIPMI-devel-2.0.16-12.el6.x86_64.rpm
OpenIPMI-libs-2.0.16-12.el6.x86_64.rpm
ipmitool-1.8.11-13.el6.x86_64.rpm
以上三个需要去下载，最后面一个ipmitool-1.8.11-13.el6.x86_64.rpm是RHEL6U3系统自带的。
全部安装完成之后，启动服务
|
1
2
|
[root@SJC42KVM01 ~]
# service ipmi start ; service ipmievd start
[root@SJC42KVM01 ~]
# chkconfig ipmi on ; chkconfig ipmievd on
|
3. 检查是否安装启动成功
本地检测：
|
1
2
3
4
|
[root@fence01 ~]
# for i in `seq 1 14` \
do
ipmitool lan print $i 2>
/dev/null
|
grep
-q ^Set &&
echo
\
Channel $i;
done
//
查看有效channel
Channel 2
|
|
1
2
3
4
5
6
7
8
9
10
11
12
|
[root@fence01 ~]
# ipmitool lan print 2 //查看ilo相关配置
Set
in
Progress : Set Complete
Auth Type Support :
IP Address Source : DHCP Address
IP Address : 10.197.202.43
Subnet Mask : 255.255.255.0
MAC Address : 38:ea:a7:a1:fd:76
BMC ARP Control : ARP Responses Enabled, Gratuitous ARP Disabled
Default Gateway IP : 10.197.202.254
802.1q VLAN ID : Disabled
802.1q VLAN Priority : 0
Cipher Suite Priv Max : Not Available
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
[root@fence01 ~]
# ipmitool channel info 2
Channel 0x2 info:
Channel Medium Type : 802.3 LAN
Channel Protocol Type : IPMB-1.0
Session Support : session-based
Active Session Count : 63
Protocol Vendor ID : 7154
Volatile(active) Settings
Alerting : disabled
Per-message Auth : disabled
User Level Auth : enabled
Access Mode : always available
Non-Volatile Settings
Alerting : disabled
Per-message Auth : disabled
User Level Auth : enabled
Access Mode : always available
|
远程检测：
|
1
2
|
[root@fence02 ~]
# ipmitool -H 10.197.202.43 -I lanplus -U Administrator -P password power status
Chassis Power is on
|
说明：
从fence02主机上面进行远程命令的执行
-H： 主机的IP地址或者被解析过得主机名
-I : 使用的接口类型
-U： 管理用户名
-P： 管理用户明码
power status: 查看电源状态，可以是power start ,power reset 等操作
必须远程检测成功才能说明是真正的成功，因为故障节点总其他节点给fence的。
这个配置成功之后，在 RHCS中进行fence设备的添加，才能真正起作用，否则，没门！
祝各位好运！
