目录
一、FS的部署模式
1）融合部署
2）分离部署
3）scsi和iscsi使用场景
二、FS的灾备
FS的高级特性
三、FS的DHT算法
四、存储池和卷
五、FS的可靠性和安全级别
可靠性
安全级别
六、VBS结构
scsi：将内核态VSC模块的scsi流引入VBS用户态
七、OSD结构
八、FS的IO流程
1）写IO
2）读IO
九、ZK的作用
MDC主备管理:
数据存储
数据同步
十、FS的视图
十一、FS组件交互过程
1）创建控制集群 自动ZK 控制MDC
2）创建存储池
3）创建块客户端
一、FS的部署模式
1）融合部署
VBS和OSD合部在同一节点
2）分离部署
VBS和OSD分开部署在不同的节点
3）scsi和iscsi使用场景
业务与VBS是否合部
如果合部---scsi
如果分开部署在不同节点----iscsi
无论是scsi还是iscsi，都支持融合部署和分离部署
通常在应用场景上考虑是融合还是分离，多在scsi场景考虑
scsi场景下
如果业务需要大量计算资源保障，此时考虑分离部署----关键业务系统，例如数据库
如果服务器主机有足够计算资源支持业务和FS的组件运行，此时考虑融合部署----云场景
融合部署的成本低于分离部署
二、FS的灾备
备份主要用来保证业务的安全性
容灾主要作用是保护业务的连续性
容灾又分为异地容灾和同城容灾
FS作为生产存储支持ebakcup或者第三方备份管理软件的备份
FS的高级特性
双活
hyper metro
远程复制（异步）
hyper replication
可以实现存储层容灾
三、FS的DHT算法
DHT（分布式哈希表，Distrubuted Hash Table）
111 698d51a19d8a121ce581499d7b701668
112 7f6ffaa6bb0b408017b62254211691b5
将十进制的数，转化为2的128次方的数，就可以实现平均切随机
一个存储池对应一个DHT环（逻辑）
读写流程：
1.scsi流交给vbs--->vbs转换scsi流为key-value
2.对key值进行--->hash寻址
目的：将主机下发的IO平均且随机的落到存储池各个OSD对应硬盘上
也就是为了实现IO的负载均衡
3.经过hash得到一个2的32次方的数值--->模运算-->得到patition
目的：缩减表的尺度，加速查找DHT环
4.查询由MDC维护的映射表记录的是patition和osd的关系patition--->得到osd
目的：解决坏盘或者扩容场景，准确定位patition对应的osd位置
5.osd做key-value到iscsi流的转化，做磁盘的读写操作
四、存储池和卷
存储池是由一组服务器本地硬盘构成，硬盘类型相同、容量相同、参数相同等限制（参考产品文档）
主存类型：SATA机械 SAS机械 SAS-SSD SATA-SSD NVME SSD盘、SSD卡
一块硬盘只能属于一个存储池
一个存储池可以划多个卷（划卷依赖vbs）
一个卷只能属于一个存储，不能跨存储池
卷可以通过scsi挂载给vbs或者iscsi映射给业务主机使用
一个主机可以使用多个卷，多个卷可以来自不同存储池
五、FS的可靠性和安全级别
可靠性
副本机制：
2副本--50% 3副本--33.3%
EC机制： M=2,3,4 N最大22
EC（Erusure code）算法，分布式raid算法，可以跨界点raid
N+M 坏M块硬盘或者M个节点数据不丢失，业务不中断
N是数据分片
M是校验分片
N+M:B 坏M块硬盘或者B=1个节点数据不丢失，业务不中断
22+2保护 高达91%空间利用率
安全级别
FSM配置界面创建存储池仅支持服务器级和机柜级
服务器级安全：数据副本或者EC的数据分片一定不会放在同一个服务器节点内
机柜级安全：数据副本或者EC的数据分片一定不会放在同一个机柜内
机房级安全：数据副本或者EC的数据分片一定不会放在同一个机房内
不同的存储池可配置不同的数据保护方式和安全级别
六、VBS结构
scsi：将内核态VSC模块的scsi流引入VBS用户态
VBP：scsi流转换成key-value
client：key--hash---mod--patition--查io-view--主OSD 走存储网络平面将io流转发至主OSD
VBM：卷和快照生命周期管理操作 创建卷、挂载卷、卸载卷、查询卷、删除卷、创建快照、删除快照、基于快照创建卷等
hearbeat：心跳模块 通过存储平面与MDC交互心跳包 使MDC维持VBS view状态视图
七、OSD结构
RSM:复制协议实现。
SNAP:实现卷与快照的IO功能、磁盘空间的管理。
CACHE:实现cache功能。
AIO:实现异步IO下发到底层SMIO模块和通过调用SMIO接口来监控介质故障。
SMIO:下发到IO到实际的物理介质、监控物理介质故障、获取磁盘信息。
八、FS的IO流程
1）写IO
APP--》OS--》scsi/iscsi---》VSC内核模块接收---》scsi initiator--》scsi target---》VBP（LUN ID/LBA ID/length-->key data-->value）
---》client(key--hash--mod--patition--查io view--主OSD）---》主OSD（key--hash--mod--patition--查patition view--备OSD）--》主OSD一方面下发写IO到本端cache，一方面通过RSM复制IO到备OSD---》主备OSD同步写cache成功--》由主OSD返回VBS写成功（回写），VBS返回APP写成功。
2）读IO
APP--OS--scsi/iscsi---VSC内核模块接收---scsi initiator--scsi target---VBP（LUN ID/LBA ID/length-->key data-->value）---client(key--hash--mod--patition--查io view--主OSD）---主OSD
1、主OSD正常，先读cache，如果cache读命中，返回读成功，如果未读命中，主OSD向主存disk查询读数据。
2、主OSD异常，MDC会检测硬盘异常触发退盘，修改视图（OSD view IO view Patition view），指导VBS引流到备OSD（新主OSD读数据），先读cache，如果cache读命中，返回度成功，如果未读命中，主OSD向主存disk查询读数据。
九、ZK的作用
Zookeeper(简称ZK)分布式服务框架主要用来解决分布式应用中经常遇到的，如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等，ZK主要工作包括三项:
MDC主备管理:
MDC采用一主两备部署模式;在MDC模块进程启动后，各个MDC进程会向ZK注册选主，先注册的为主MDC; 运行过程中，ZK记录MDC主备信息，并通过心跳机制监控MDC主备健康状况，一旦主MDC进程故障，会触发MDC重先选主。
数据存储
在MDC运行过程中，会生成各种控制视图信息，包括目标视图、中间视图、IO视图信息等，这些信息的保存、更新、查询、删除操作都通过ZK提供的接口实现。
数据同步
数据更新到主ZK,由主ZK自动同步到备ZK，保证主备ZK数据同步，一旦ZK发生主备切换，业务不受影响
为什么奇数部署ZK
在ZK集群中，如果大于等于半数ZK节点宕机那么整个集群不可用
比如部署4个ZK，是只允许坏一个ZK
部署3个ZK，也是只允许坏一个ZK
部署3台和4台都是只允许一台宕机，既然是同样的容错能力，那么考虑节省服务器资源，所以推荐奇数部署
帮助MDC选主
持久保存MDC管理的系统元数据
帮助MDC实现元数据同步
十、FS的视图
VBS view VBSid---VBS status
OSD view OSDid---OSD status
IO view patitionid----主OSD
Patition view patitionid---主OSD/备OSD--主备OSD的status
视图持久化保存在ZK盘或者ZK分区
MDC所在主机内存缓存所有视图
VBS所在主机内存缓存io view
OSD所在主机内存缓存 patition view
十一、FS组件交互过程
1）创建控制集群 自动ZK 控制MDC
ZK启动形成ZK集群，MDC找ZK注册，最先注册成功的为主MDC，MDC与ZK位置心跳，MDC通过ZK形成集群关系
主MDC故障，其他MDC与ZK联动重新注册选举主MDC
备MDC故障，上报FSM，管理员看到进程异常告警及时处理
2）创建存储池
主MDC确定是否需要启动新的归属MDC管理该存储，或者用现有MDC作为该存储池归属MDC管理存储池
如果归属MDC故障，由主MDC决定归属MDC的接替者
一个归属MDC最多管理2个存储池
启动OSD，OSD向MDC查询自己的归属MDC，向归属MDC上报状态，维持心跳
如果OSD异常，超过5S，归属MDC检测OSD异常修改视图，数据引流、数据重建
3）创建块客户端
VBS启动时查询主MDC，向主MDC注册
主MDC维护了一个活动VBS的列表，主MDC同步VBS列表到其它MDC，以便MDC能将OSD的状态变化通知到VBS
VBS向主MDC确认自己是否为leader（最先注册成功的为主）
VBS从主MDC获取IO View
主VBS向OSD获取元数据，其它VBS向主VBS获取卷的元数据。
