开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

CloudStack项目相关-- 配置 IPMI

简介:
+关注继续查看

硬件:HP ProLiant BL685c G7 两笼刀片机

ILO版本:ILO3

目的:通过IPMI软件调用HP ILO3相关功能

原因:配置RHCS存储集群需要使用HP ILO设备作为fence设备

科普:IPMI 介绍 http://zh.wikipedia.org/wiki/IPMI

问题描述:

建议你也是遇到这样的问题再来看这篇文章,因为如果你不是在自己很郁闷得遇到这些问题,而看到这篇文章的话,我觉得气氛是不对的,因为这个问题在我整个项目中起着很大的作用,而这个问题困扰了我好几天,简直就是崩溃。

简单描述一下我为何写这篇文章,我现在的项目是CloudStack + KVM的实施项目,客户提供了30TB的FC SAN 存储,关于存储的挂载以及RHEL识别这些设备的问题已经成功解决,本文暂时不详细阐述,这些问题会在整个项目结束之后进行相应的总结。

现在我准备好了:

1. 30TB的SAN存储,30个1TB的LUN

2. 15片安装了 QEMU/KVM的RHEL6U3操作系统,并且成功识别30个新设备(30TB未格式化的"盘")

CloudStack 跟 KVM的集合,在进行主存储创建的时候,需要选择如下协议:

170936192.jpg

NFS协议:使用最简单,但是有单点故障

CLVM: LVM的Cluster版本,是红帽RHCS套件中的组件,之前接触过,也比较好用,界面如下:

172049924.jpg

剩下的两个就接触不多了,RBD是什么分布式块设备,这个我之前没有搞过,也不去介绍了,反正就是分布式存储相关的东东,大概解释一下ShareMountPoint吧

ShareMountPoint文档说的是所有的KVM节点都将共享存储格式化成OCFS2文件系统,当然GFS2估计也是没有问题的,然后每个节点都将格式化之后的设备都挂载到同一个名称的目录下面,然后选择这个协议,填写相关信息,如:

171702152.jpg

3. 我现在需要做的就是将 所有的KVM主机(也就是RHEL6U3主机)加入到一个 RHCS存储中,然后添加fence设备,最终将CLVM提供给CloudStack进行纳管。


现在问题出在fence设备上面了,玩过RHCS的朋友知道我这边说的fence设备是用来对故障节点进行关机或者重启相关操作,将故障节点从集群中剔除,使得其他节点照样正常工作,否则,每个节点都会去不断检测集群状态,集群中其他节点的状态,产生所谓的“脑裂”状态,本人测试,故障节点不能被成功fence掉【重启或者关机,一般来说会重启】,在其他节点上面执行lvs跟pvs,会被锁定,一直不能执行成功,同时负载会变得超级大,通过uptime查看,load average会持续飚,远远大于3了。

所以现在回到我们最初的讨论上面,需要一个fence节点,RHCS集群可以使用HP的 ILO设备作为fence节点,其他正常节点通过连接故障节点的ILO设备将故障节点进行重启,将其从集群中剔除,待其重启成功,再重新加入集群。


怎么通过RHCS添加节点,fence设备在本文不作相关说明,本文现在去KVM主机上面安装用于支持ILO设备相关操作的软件IPMI,我们再次将ILO设备理解成IPMI协议的一种实现方式,因为ILO是属于HP的设备,DELL等其他服务器有其他的实现方式。

1. 检查主机是否有相关IPMI硬件支持

1
2
3
4
5
6
7
8
[root@fence01 ~]# dmidecode  |grep -C 6  IPMI  |tail -n 7
IPMI Device Information
    Interface Type: KCS (Keyboard Control Style)
    Specification Version: 2.0
    I2C Slave Address: 0x10
    NV Storage Device: Not Present
    Base Address: 0x0000000000000CA2 (I/O)
    Register Spacing: Successive Byte Boundaries

2.安装软件支持

OpenIPMI-2.0.16-12.el6.x86_64.rpm 

OpenIPMI-devel-2.0.16-12.el6.x86_64.rpm 

OpenIPMI-libs-2.0.16-12.el6.x86_64.rpm

ipmitool-1.8.11-13.el6.x86_64.rpm 

以上三个需要去下载,最后面一个ipmitool-1.8.11-13.el6.x86_64.rpm是RHEL6U3系统自带的。

全部安装完成之后,启动服务

1
2
[root@SJC42KVM01 ~]# service ipmi start ; service ipmievd start
[root@SJC42KVM01 ~]# chkconfig ipmi on ; chkconfig ipmievd on

3. 检查是否安装启动成功

本地检测:

1
2
3
4
[root@fence01 ~]# for i in `seq 1 14` \
do ipmitool lan print $i 2>/dev/null grep -q ^Set && echo \
Channel $i; done  //查看有效channel
Channel 2
1
2
3
4
5
6
7
8
9
10
11
12
[root@fence01 ~]# ipmitool lan print 2  //查看ilo相关配置
Set in Progress         : Set Complete
Auth Type Support       :
IP Address Source       : DHCP Address
IP Address              : 10.197.202.43
Subnet Mask             : 255.255.255.0
MAC Address             : 38:ea:a7:a1:fd:76
BMC ARP Control         : ARP Responses Enabled, Gratuitous ARP Disabled
Default Gateway IP      : 10.197.202.254
802.1q VLAN ID          : Disabled
802.1q VLAN Priority    : 0
Cipher Suite Priv Max   : Not Available
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@fence01 ~]# ipmitool  channel info 2
Channel 0x2 info:
  Channel Medium Type   : 802.3 LAN
  Channel Protocol Type : IPMB-1.0
  Session Support       : session-based
  Active Session Count  : 63
  Protocol Vendor ID    : 7154
  Volatile(active) Settings
    Alerting            : disabled
    Per-message Auth    : disabled
    User Level Auth     : enabled
    Access Mode         : always available
  Non-Volatile Settings
    Alerting            : disabled
    Per-message Auth    : disabled
    User Level Auth     : enabled
    Access Mode         : always available

远程检测:

1
2
[root@fence02 ~]# ipmitool  -H 10.197.202.43 -I lanplus  -U Administrator -P password  power status
Chassis Power is on


说明:

从fence02主机上面进行远程命令的执行

-H: 主机的IP地址或者被解析过得主机名

-I : 使用的接口类型

-U: 管理用户名

-P: 管理用户明码

power status: 查看电源状态,可以是power start ,power reset 等操作

必须远程检测成功才能说明是真正的成功,因为故障节点总其他节点给fence的。

这个配置成功之后,在 RHCS中进行fence设备的添加,才能真正起作用,否则,没门!

祝各位好运!











本文转自 暗黑魔君 51CTO博客,原文链接:http://blog.51cto.com/clovemfong/1309300,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SpringCloud database connection debug
SpringCloud database connection debug
0 0
【Spring Cloud 系列】一、Spring Cloud 入门前章:初识Spring Cloud
【Spring Cloud 系列】一、Spring Cloud 入门前章:初识Spring Cloud
0 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
《Nginx 代理系统常用手册》
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载