数据管理、存储及集群技术概述
一、数据
1.数据的分类
1.1.用户数据：用户数据的保护比系统数据更具有挑战性，用户数据的丢失或泄露则是致命的，比如银行业务
1.2.系统数据：系统数据丢失了并不会造成企业真正的损失
1.3.应用数据：应用数据在企业中是最不能轻视的，大量攻击都是通过系统上应用的漏洞来开展的
2.数据可用性
2.1.哪些数据必需保证高可用
2.2.注意数据的生命周期：分类存储（打包归档还是直接存储）
2.3.数据的访问方法和频率：是只读的 还是可读写的？是应用程序的数据，还是可以直接访问的数据？是一个网络配置文件，还是为为了安全的配置？
2.4.应用程序的“data starved”数据饥饿：不应该是数据跟不上来，而应该是程序跟不上
2.5.所有的一切都要防止单点故障（SPOF：single points of failur）
3.规划设计
3.1. 数据越少要求越小
3.2. 减小复杂性
3.3. 增加灵活性
3.4. 保证数据的完整性
二、集群
集群是有一组计算机来共同完成一件比较复杂的事情。
1.集群的目标
1.1. HPC（High Performance）：高性能集群，追求性能，大型的运算，
1.2. HA（High Availability）：高可用，追求稳定，主要是为了防止单点故障，为了实现的是24小时不间断的工作，并不要求有多快
1.3. LBC（Load Balancing）：负载均衡集群，基本不用（现大多数利用硬件LBC设备）
2.redhat的cluster products
2.1. RHCS（Redhat cluster suite）：红帽集群套件，在RHEL5的AP版自带的
2.2. GFS（Global File system）：全局文件系统，GFS支持并发写入。是一个集群级的文件系统。
2.3. CLVM （Clusterd logical volume manager）:集群级的逻辑卷，的LVM只是单机版的逻辑卷，在一个节点做了LVM，只能在这个节点看到。 若果使用的是CLVM，做的LVM则可以在整个集群中看到。
2.4. Piranha：LVS 基础上设计的一套负载均衡高可用解决方案，LVS是基于IP的负载均衡技术，由负载调度器和服务访问节点组成。
3.集群的基本拓扑
4.RHEL storage Model存储模型
红帽的存储模型包括五部分：
4.1. 物理磁盘卷
4.2. 块设备
4.3. 文件系、
4.4. VFS虚拟文件系统
4.5. 应用程序的数据结构
三、底层卷的管理
1.磁盘卷是由描述数据物理限制的Block块组成的集合体
1.1.卷可由多个设备合并组成。
1.2.磁盘卷可以通过条带化（RAID）技术来提高数据的可用性
2.LUN（逻辑单元号）和UUID（通用唯一识别码）
2.1. LUN：逻辑单元号，作用：主要是为了在SCSI只能接指定数量的磁盘，这样会限制数量的使用，则使用LUN号，来更加方便的扩展设备，更方便管理使用。只是一个标识。
2.2. UUID:文件系统的唯一的表示号，可以使用blkid 进行查看
[root@station9 proc]# blkid
/dev/mapper/VolGroup00-LogVol00: UUID="ed31c60e-5371-4372-9d9c-a7f55f50641c" TYPE="ext3"
/dev/sda2: LABEL="SWAP-sda2" TYPE="swap"
/dev/sda1: LABEL="/boot" UUID="d51a6fdf-3997-4ab7-a4a7-af2b6899a7d1" TYPE="ext3"
/dev/VolGroup00/LogVol00: UUID="ed31c60e-5371-4372-9d9c-a7f55f50641c" TYPE="ext3"
3.访问卷（存储设备）
3.1. DAS（Direct Attached Storage):直连附加存储
3.2. shared storage：共享存储，多台主机共享一个设备。共享存储可分为：
3.2.1. SAN(storage area network)：存储区域网络
3.2.1.1. scope of domain defined by members
3.2.1.2. encapsulated scsi over fibre channel
3.2.1.3. deliver volume data blocks
3.2.2. NAS(network attached storage）：网络附加存储
3.2.2.1. scope of domain defined by ip domain
3.3.3.2. NFS/CIFS/HTTP over tcp/ip
3.3.3.3. delivers file data blocks
四、SAN(storage area network)存储区域网络
1.SAN的拓扑结构
1.1.传输的是scsi协议
1.2.类似于本地直连（被识别成本地设备）
1.3.光纤通道：通过fiber通道传输scsi协议
1.4.ISCSI（internet scsi）：通过tcp/ip网络通道传输scsi协议
1.5.GNBD（Global network block device）：通过基于kernel模块访问以太网上设备（现基本淘汰）
2.Fiber channel：光纤通道
组成：
2.1.光纤
2.2.Interface card （host bus adaptor）：HBA卡，光纤卡
2.3.光纤通道交换技术
3.HBA
3.1.通过光纤连接主机
3.2.被识别成scsi适配器
3.3.减轻I/O负载
3.4.支持多路径
4.Fibre channel switch：光纤交换机
功能：
4.1.为非块设备连接提供高速通道
4.2.fabric服务
4.3.扩展端口
4.4.提供冗余
5.交换技术：
5.1.点对点：两设备相连
5.2.环形
5.3.交换fabric
6.ISCSI（Internet SCSI）
6.1.协议：客户端（initiator）发送scsi命令到远程存储设备（target）
6.2.使用TCP/IP（tcp：3260）
6.3.代替价格昂贵的fibre channel的低层方案，相对来性能要地很多。
7.GNBD（Global network block device）
7.1.类似ISCSI，现在已不再发展
7.2.利用以太网，传输的是块设备
7.3.用于在fibre channel中实现类似GFS功能
7.4.client－server模型：1. server共享本地block设备
2. client访问共享设备
8.NPS（network power switch）网络电源控制器，即电源Fence
Fence的工作原理：以双机的HA集群为例，当空闲节点通过心跳线得知服务节点发生问题，如通信失败等，空闲节点就会利用服务节点上的Fence卡将该节点关机或重启，并将服务资源“抢”到本节点上。电源Fence则是检测到集群节点断电时则切换服务到另一节点。
9.ACPI(Advanced configuration and power interface）高级配置和电源接口
9.1.用途：空闲cpu的电源管理，如当计算机比较空闲时，通过apci将其进入休眠
9.2.硬件ACPI：
1.Dell DRAC：戴尔的远程访问接口卡
2.ILO：惠普的是iLo
3.IpmI: 英特尔的是IpmI(智能平台管理接口）
4功能：模拟电源键，可发送“shutdown -h now”
集群发送"power off NOW"
9.3.关闭apci服务
#service acpid start
#chkcofnig acpid off
或启动是加入参数acpi=off
#建议开启apci功能。
10.Network Cluster Nodes(网络集群节点)
10.1. 最好将集成心跳网络和服务网络分开
Private network ：cluster traffic
Public network： service traffic
10.2. 心跳线监控对方服务是否失败
10.3. 防止单点故障，绑定两块以上的网卡，可以实现冗余和负载均衡的作用
10.4. 网络设备必须支持组播
1组播用于集群间各节点之间的通信
2地址是集群创建之时自动生成的，但也可以手动地用其他地址覆盖
3.网络硬件（路由、交换、集线器、网卡等）必须支持组播
11.广播与组播
11.1.广播的特点就是单对多,广播是不管你需不需要这信息，通通都发一遍
11.2.组播则是数据包发送给指定的接收者,组播则是有针对性地发送，效率自然比较好
11.3.不是所有的以太网卡都支持组播
11.4.IPv6很依赖组播，因为IPv6取消了广播，采用了更合理的组播
12.多路径：
12.1.多路径是用于访问共享存储的，可防止单点故障导致服务不可用。
12.2.设备映射多路径允许节点通过多条路径访问存储，多路径支持FC、iSCSI、GNBD等存储架构
五、以太通道的绑定
1.功能
1.1.防止单点故障
1.2.实现负载均衡
1.3.多网卡绑定成单一的虚拟网卡
2.以太通道绑定的配置
2.1.配置加载bonding内核模块，使得支持绑定功能；
[root@station9 ~]# vim /etc/modprobe.conf
alias bond0 bonding
options bond0 mode=1 miimon=100 use_carrier=0
#mode=0/1，0表示提供容错和负载均衡的功能，1表示只提供容错的功能；mode＝1时可以使用primary参数指定哪块网卡作为主要优先的。
miimon=100表示连接监控的频度，单位为毫秒；
use_carrier表示如何确定连接状态；0内核检测，1由mii-tool或ethtool外部工具检测。
2.2.配置网卡配置文件：
[root@station9 ~]# cd /etc/sysconfig/network-scripts/
假设要将eth0和eth1绑定成bond0，则作如下修改：
[root@station9 ~]# vim ifcfg-eth0
DEVICE=eth0
MASTER=bond0
SLAVE=yes
ONBOOT=yes
BOOTPROTO=static
[root@station9 ~]# vim ifcfg-eth1
DEVICE=eth1
MASTER=bond0
SLAVE=yes
ONBOOT=yes
BOOTPROTO=static
[root@station9 ~]# vim ifcfg-bond0
DEVICE=bond0
IPADDR=192.168.32.39
NETMASK=255.255.255.0
GATEWAY=192.168.32.254
ONBOOT=yes
BOOTPROTO=static
2.3.重启网络：
[root@station9 ~]#/etc/init.d/network restart
六、集群的安全cluser security
1.集群间多有节点的通信默认都经过了加密，OpenAIS使用集群名作为密钥，但这并不是彻底安全的策略。
2.防火墙必须允许集群和GFS相应端口的使用。以下端口必须开放：
5404,505 cman udp
11111 ricci tcp
14567 gnbd tcp
16851 modcluster tcp
21064 dlm tcp
50006,50008 ccsd tcp
50007 ccsd udp
本文转自netsword 51CTO博客，原文链接:http://blog.51cto.com/netsword/665891
