Cloudstack部署企业私有云

云计算的概念

云计算是一种把 IT 资源当作服务来提供的手段。几乎所有 IT 资源都可以作为云服务来提供：应用程序、计算能力、存储容量、联网、编程工具，以至于通信服务和协作工具。云计算最早为 Google、Amazon 等其他扩建基础设施的大型互联网服务提供商所采用。于是产生一种架构：大规模扩展、水平分布的系统资源，抽象为虚拟 IT 服务，并作为持续配置、合用的资源进行管理。

Openstack和Cloudstack比较

CloudStack是一个轻量级的开源私有云部署产品，与openstack相比来说功能行更弱一些。它们两者的主要区别是平台架构不同：OpenStack采用分布式架构，灵活性好，不同的项目可以单独部署，因此可以很容易的根据实际需要进行功能组合，并且由于不同的项目间耦合性低，项目间功能划分明确，因此针对单独功能进行定制开发也非常方便，缺点是部署麻烦，每个项目都要部署配置一遍；CloudStack采用集中式的单体架构（Monolithic architecture），整个平台只有一个项目构成，不同模块之间通过的本地调用进行交互，在一台主机上就可以完成平台的部署，CloudStack因为只有一个项目，所以部署起来会相对容易很多，然而平台的扩展性就要相对弱一些。

在企业的应用中，Openstack可以用来搭建公有云，CloudStack一般会用来搭建供企业内部使用的私有云。

cloudstack 的架构图示：

CloudStack 安装部署

1、创建GlusterFS分布式文件系统

首先在要加入cluster中的两台host机器上部署GlusterFS的文件系统,使用GlusterFS文件系统来创建Primary Storage.

将host主机的磁盘添加到存储池,并确认状态：

格式化新加入的磁盘为xfs格式，如果没有xfs的支持包需要安装：

两台host分别挂载磁盘到指定的brick上(主存储目录)：

创建复制卷：

修改配置文件为如下内容，主要是修改端口并添加一行配置，这样可以防止虚拟机数量限制：

# vim /etc/glusterfs/glusterd.vol

    volume management

    type mgmt/glusterd

    option working-directory /var/lib/glusterd

    option transport-type socket,rdma

    option transport.socket.keepalive-time 10

    option transport.socket.keepalive-interval 2

    option transport.socket.read-fail-log off

    option ping-timeout 0

    option event-threads 1

    option rpc-auth-allow-insecure on

    option base-port 51152

    end-volume

执行命令：

手动测试能否挂载：

2、CloudStack的管理主机安装master 软件

从官网下载这三个rpm包：

cloudstack-common 

cloudstack-agent

cloudstack-management

安装master:

安装NTP，设置nfs:

加入防火墙规则：

-A INPUT -m state --state NEW -p udp --dport 111 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 111 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 2049 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 32803 -j ACCEPT

-A INPUT -m state --state NEW -p udp --dport 32769 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 892 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 892 -j ACCEPT

-A INPUT -m state --state NEW -p udp --dport 892 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 875 -j ACCEPT

-A INPUT -m state --state NEW -p udp --dport 875 -j ACCEPT

-A INPUT -m state --state NEW -p tcp --dport 662 -j ACCEPT

-A INPUT -m state --state NEW -p udp --dport 662 -j ACCEPT

安装mysql,并在/etc/my.cnf 的mysqld模块添加如下参数：

innodb_rollback_on_timeout=1

innodb_lock_wait_timeout=600

max_connections=350

log-bin=mysql-bin

binlog-format = 'ROW'

初始化数据库，修改配置：（当cloudstack配置出现问题时，可以通过删除库，重置数据库后再进行以下操作）

mysqladmin -uroot password 123456

mysql -uroot  -p123456 -e "GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY '123456'";

cloudstack-setup-databases cloud:123456@localhost --deploy-as=root:123456

初始化cloudstack:

cloudstack-setup-management

下载KVM模板，并导入：

wget http://cloudstack.apt-get.eu/systemvm/4.6/systemvm64template-4.6.0-kvm.qcow2.bz2

/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt -m /export/secondary/ -f ./systemvm64template-4.6.0-kvm.qcow2.bz2 -h kvm -F

3、在两台host主机上安装cloudstack的agent端

4、在agent1和agent2上安装open vSwich

open vSwich是一个虚拟交换系统，当我们创建上百或上千台虚拟机时，由于网络方面通信需求和管理需求就变得非常重要，而open vSwich可以对我们所创建的虚拟机进行网络方面的管理，如流量限制，访问权限等。

下载open vSwich软件包，并安装：

修改配置文件，添加两行配置用于cloudstack识别KVM的open vSwitch：

启动open vSwich,验证open vSwich是否正确安装：

5.设置agent端的网络

如果之前有配置过cloudstack，会在默认的eth0网卡上多出一个cloudbr0的桥接配置，需要将它删除，同时删除ifcfg-cloudbr0 文件。

在生产环境中，一般会让存储网络，管理网络和来宾网络三网分离，分别分配不同的网段，如果只有两块网卡，或者网络结构的限制，可以将存储网络和管理网络放在一个网段，来宾网络划分到另一个网络。实现这些就需要用到cloudstack高级网络功能。

在两台agent上使用Open vSwitch 实现手动桥接,将eth2作为trunk，桥接cloudbr2:

# vim ifcfg-cloudbr2 

DEVICE=cloudbr2

IPV6INIT=no

ONBOOT=yes

TYPE=OVSBridge

BOOTPROTO=none

USERCTL=no

NM_CONTROLLED=no

STP=no

DEVICETYPE=ovs

----------------------------------------------

# vim ifcfg-eth2

DEVICE=eth2

ONBOOT=yes

NM_CONTROLLED=no

IPV6INIT=no

ONBOOT=yes

TYPE=OVSPort

BOOTPROTO=none

USERCTL=no

NM_CONTROLLED=no

DEVICETYPE=ovs

OVS_BRIDGE=cloudbr2

重启网络，查看设置是否生效：

登录CloudStack web界面，管理Cloudstack

1、打开web，登录 http://master_host_ip:8080/client 

在 “全局配置”中设置默认网关：

重启master 上的cloudstack:

2、创建资源域

配置zone:

这里只用了两个网络做为流量分离示例，在实际的生产环境中，如果要求比较高，可以给存储单独加一块网卡，将它拖动到对应的网卡，设置好对应的物理网卡和cloudstack的桥接网卡：

设置pod:

设置来宾流量（生产场景以实际的网关IP为准，对应上分配的网段即可）：

添加主机，主机使用管理网络：

添加主存储：

添加二级存储，使用管理网段：

设置完之后启动资源域，一般第一次添加都会失败，需要重新添加主机，此时我们最好选择添加另外一台主机，看是否报错，然后添加主存储：

先添加完一台主机和存储，然后启动资源域，看能否正常运行，方便排错。

当启动成功后，我们可以通过open vSwitch的命令来查看网络状态：

3、open vSwitch的常见操作

以下操作都需要root权限运行，在所有命令中br0表示网桥名称，eth0为网卡名称。

添加网桥：

#ovs-vsctl add-br br0

                                                                                   

列出open vswitch中的所有网桥：

#ovs-vsctl list-br

                                                                                   

判断网桥是否存在

#ovs-vsctl br-exists br0

                                                                                   

将物理网卡挂接到网桥：

#ovs-vsctl add-port br0 eth0

                                                                                   

列出网桥中的所有端口：

#ovs-vsctl list-ports br0

                                                                                   

列出所有挂接到网卡的网桥：

#ovs-vsctl port-to-br eth0

                                                                                   

查看open vswitch的网络状态：

ovs-vsctl show

                                                                                   

删除网桥上已经挂接的网口：

#vs-vsctl del-port br0 eth0

                                                                                   

删除网桥：

#ovs-vsctl del-br br0