Openfire Hazelcast集群详解

一、概述

Openfire Hazelcast插件提供了在一个集群上运行多个冗余Openfire服务器的支持。通过把Openfire运行为一个集群，可以把终端的连接分配到多台Openfire服务器上，同时还提供了服务器的故障转移。Hazelcast个插件是Openfire原集群插件的替代，它使用了开源的Hazelcast数据分布框架来代替昂贵的专有第三方产品。目前Hazelcast版本是3.5.1。

Hazelcast的主页： http://www.hazelcast.org/

二、集群与联邦的比较

XMPP协议的设计与邮箱相似，每个Openfire的安装支持单个的XMPP域，且服务器到服务器（Server to Server，S2S）协议在XMPP规范中描述为把多个XMPP域连接到一起，也就是联邦（Federation）。联邦代表了XMPP横向扩展的有效方式，因为它允许一个XMPP用户能够安全地与其他联邦域的任意用户进行通信。这些联邦可以是公共的或者是私有的。联邦域可以在互联网上交换XMPP节（Stanzas），甚至可以使用基于DNS的服务查找或是地址解析进行发现。

与之相反，集群是单个XMPP域进行纵向扩展的技术，集群内的诚意共享相同的配置。集群中的每一个成员都允许任意用户在域内进行连接、授权认证、交换节。所有集群的服务器都共享单个的数据库，因此需要部署在同一个局域网内，以保持网络通信的低延迟。集群的部署适合提供运行时的冗余，而且能支持更大的用户数量和更多的连接数。

对于比较大的Openfire部署，结合联邦和集群两种技术能提供比较佳的效果。单个的XMPP域能够支持数万甚至数十万的用户，再结合联邦部署，就能达到支持百万级以上的用户规模。

三、安装

要创建Openfire集群，至少要有2台Openfire服务器，每一台都必须安装Hazelcast插件。要按照Hazelcast，只需简单的把hazelcast.jar包放入Openfire的plugins子目录。还可以在管理控制台的插件页直接安装此插件。

要注意，集群内的每一台Openfire服务器都必须配置为连接同一个外部数据库。

默认情况下，Openfire在启动并初始化进程期间，服务器节点会彼此互相发现（通过彼此互相交换UDP广播数据包）。要注意一点，如果局域网不支持广播通信，那么可以使用一些初始化的配置选项。

每个Openfire服务器部署了Hazelcast插件后，在管理控制台的集群页面上使用单选按钮激活/启用集群。只需要启用一次集群，此变更会自动通知到集群的其它节点。在刷新集群页面后就能看到所有的服务器已经成功加入集群了。

注意，Hazelcast和更早的集群插件（如clustering.jar或enterprise.jar）是互斥的。也就是说，使用了Hazelcast插件，就不能使用早期的集群插件。

在集群运行后，你就需要某种形式的负载均衡来把用户的访问分配到各个Openfire节点上。这里有多个商业解决方案和开源解决方案。如果你使用HTTP/BOSH Openfire连接器来连接Openfire的话，那么可以使用Apache HTTP Server来做负载均衡器（使用mod_proxy_balancer模块）。一些流行的选项如F5 LTM（商业解决方案）和HAProxy（开源解决方案）都可以。

F5 LTM： http://www.f5.com/products/big-ip/big-ip-local-traffic-manager/overview/ 
HAProxy： http://haproxy.1wt.eu/

还有一个简单的Round-robin DNS配置可以帮助分配XMPP连接到集群中的uogeOpenfire服务器节点。尽管流行的轻量级、低成本的方法提供了基本的可扩展性，但要注意这些方法是既没有考虑到足够满足实际的负载均衡，又没有提供高可用性的能力。

四、Hazelcast插件的升级

升级Hazelcast插件需要额外的一些步骤，而且集群中的每个节点都需要安装同一个插件版本，以避免各种错误和数据同步的问题。

方法1：离线升级

这种升级方法很简洁，但会发生短暂的服务中断。
1）关闭集群中所有的Openfire服务
2）对集群中的第一台Openfire服务器，执行以下步骤：
a. 移除plugins目录下现有的Hazelcast插件hazelcast.jar；
b. 移除plugins目录下现有的hazelcast子目录；
c. 复制最新的hazelcast.jar文件到plugins目录；
d. 重启Openfire服务器，实现插件的解压和安装。
3）对剩余的每一个Openfire服务器重复以上工作。

方法2：在线升级

这种方法在升级期间也不影响Openfire的服务。
1. 关闭集群中的Openfire服务器，只保留一台还运行。
2. 登录这台Openfire服务器的管理控制台，在插件页面移除现有的Hazelcast插件。
3. 上传最新的Hazelcast插件，并完成安装。
4. 使用“离线”步骤升级并启动剩余的服务器。

方法3：分割升级

注意：如果你只能访问Openfire的控制台，那么可以使用本方法。但是要注意，在升级过程中，用户可能彼此无法互相通信。
1）在Openfire管理控制台的集群页面，让集群停用（Disable），这会对集群的所有成员都关闭集群。
2）对于每一台Openfire，更新其Hazelcast插件。
3）当所有Openfire服务器的Hazelcast插件都更新完毕后，在管理控制台的集群页面启用（Enable），它会激活集群中的所有Openfire成员。

五、配置

Hazelcast有数个配置选项可作为Openfire的系统属性。

1、hazelcast.startup.delay.seconds (5)
运行Hazelcast插件的等待时间（秒）。这可以让Openfire在初始化集群的缓存时部署其他插件。

2、hazelcast.startup.retry.count (1)
集群首次启动失败后重复启动的次数。

3、hazelcast.startup.retry.seconds (10)
相邻两次启动的间隔时间。（秒）

4、hazelcast.max.execution.seconds (30)
在集群成员间执行同步任务时的最大等待时间。

5、hazelcast.config.xml.filename (hazelcast-cache-config.xml)
Hazelcast插件配置文件的名字，便于安装自定义的缓存配置文件。

6、hazelcast.config.xml.directory ({OPENFIRE_HOME}/conf)
可以添加到插件类路径下的目录，便于加载自定义的Hazelcast配置文件。

7、hazelcast.config.jmx.enabled (false)
为Hazelcast集群启用JMX功能。

Hazelcast插件使用了XML配置建立器来初始化集群。默认情况下，集群的成员间会尝试通过广播下面的位置实现彼此互相发现。
IP地址： 224.2.2.3
端口：54327

六、Hazelcast使用

Hazelcast对于延迟是非常敏感的，它或许会导致一个长期运行的GC周期，尤其是在使用默认的JVM配置时。在大多数情况下，优先激活并行的垃圾收集器（CMS）或者是使用新的G1垃圾收集器来使得阻塞最小化。 
另外，Openfire集群的运行特点在很大程度上取决于客户端的数量、连接的类型、以及部署的XMPP服务类型。但是要注意，许多在堆（Heap）上分配的对象是短活动期的，增加年轻代的空间或许会对性能产生积极的影响。

比如，下面提供一个适合3个节点的服务器集群（4核CPU），支持大约5万个活动用户：

OPENFIRE_OPTS="-Xmx4G -Xms4G -XX:NewRatio=1 -XX:SurvivorRatio=4 
               -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:+UseParNewGC
               -XX:+CMSParallelRemarkEnabled -XX:CMSFullGCsBeforeCompaction=1 
               -XX:CMSInitiatingOccupancyFraction=80 -XX:+UseCMSInitiatingOccupancyOnly 
               -XX:+PrintGCDetails -XX:+PrintPromotionFailure"