目录
Fusion Storage
一、相关概念
1.1 SDS
1.2 存储服务类型
1.3 分布式软件
1.3.1 Server SAN
二、fusionstorageblock特点
三、传统存储与FS的区别
1)成本
2)扩展能力
3)性能:
4)cache:
5)网络:
6) 管理:
四、FS的授权
五、fusionstorage逻辑架构
1)管理系统
2)存储系统
六、FS的网络平面
1)管理平面 GE
2)存储平面
3)业务平面(iscsi场景)
Fusion Storage
一、相关概念
1.1 SDS
SDS(Soft define storage) 软件定义存储,Fusion Storage是个软件,主要装在服务器上,X86服务器,ARM架构服务器
Oceanstor 软硬件一体
1.2 存储服务类型
1.2.1block--块存储服务
--scsi/iscsi
工作原理:提供一个裸块以iSCSI或FC协议的方式映射给主机,主机进行扫盘即可扫到设备,主机层在对块设备进行分区格式化创建文件系统就可以使用了
应用场景:物理机应用 虚拟化 桌面云 私有云 公有云
1.2.2file--文件存储服务
--nfs cifs ftp
工作原理:存储自身就可以提供文件系统,给上层通过NFS或CIFS客户端来使用
应用场景:文件共享 视频监控
1.2.3object--对象存储服务
--S3 hdfs swift
工作原理:通过文件的方式存储数据,但这些文件不是和文件存储一样由文件系统来管理,而是以对象的方式来管理,每个文件都是一个对象,上层通过key值来获取对象
应用场景:互联网应用 大数据存储 海量数据归档 网盘 物联网应用
客户端通过key值,去MDS访问元数据,从而定位到对象存储的位置从而进行读写
1.2.4OBS--华为对象存储服务
工作原理:
应用场景:华为私有云、公有云有OBS云服务底层对应资源池
1.3 分布式软件
1.3.1 Server SAN
- 它是一个分布式块存储软件
- 能够将通用x86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模的存储资源池
- 对非虚拟化环境的上层应用和虚拟机提供标准的scsi和iscsi接口
- 开放的API对接其他虚拟化产品
二、fusionstorageblock特点
软件(linux内核) 分布式(服务器集群 X86 ARM) 块存储服务
本地硬盘 HDD(sata sas nl-sas) SSD(sas nvme)----共享块存储资源池
存储服务接口---scsi/iscsi 不支持FC
开放api--对接上层云管理平台,例如openstack
三、传统存储与FS的区别
1)成本
传统存储:软硬件紧耦合-只能做存储 FC-HBA FC-SW FC板卡 license支持高级特性
FS:计算和存储复用,server:业务+FS license
2)扩展能力
传统存储:不支持线性扩展
扩控--扩性能--最大支持32控
扩硬盘框--扩容量--一条级联链路理论不超过8个硬盘框
FS:支持线性扩展--4096个节点
扩server:通过安装不同软件扩展FS的容量和软件控制器机头实现scale-up和scale-out
3)性能:
传统存储:扩控有限制
LUN---归属给一个控制器--io瓶颈点
FS:存储池--被任意节点软件机头访问--IO路径最优
4)cache:
传统存储:cache有控制器内部的RAM提供,RAM通常GB级别
FS:cache由RAM/SSD盘/SSD卡/NVDIMM提供,cache可达到TB级别,分布式cache
5)网络:
传统存储:主机---存储 双交换 链路 2/4 2* 4*
FS:软件机头---存储池 链路总带宽=存储池所跨节点数*存储平面接口带宽
传统存储多支持FC
共同协议:以太网 GE/10GE/25GE/40GE/100/GE IB 56G/120G
6)管理:
传统存储:不能直接支持异构存储统一管理
FS:FSM--FS节点agent 支持异构服务器接管
四、FS的授权
FS的版本 主流 V1R6C10/C20/C30 8.0.0 8.0.1
license
功能名称 标准版 高级版
扩展节点数 256 4096
多资源池 3个池 128个池
远程复制 RPO>=1分钟 RPO>=10秒
A-A双活 不支持 支持
加密盘 不支持 支持
五、fusionstorage逻辑架构
1)管理系统
FSM-fusionstoragemanager 主备部署 VM(常用)/PM
提供web-portal给管理员做图形化配置和运维操作
FSM提供FS的安装部署操作
FSM与FS的FSA交互,实现配置数据下发以及信息上报(告警、性能、日志等)
FSA-fusionstorageagent 每一个FS的服务器节点都要安装
接收FSM下发配置命令,实现本节点存储配置
收集本节点的信息(告警、性能、日志等),上报给FSM
FSA内部包含存储系统组件安装包,依赖FSA才能部署存储系统
2)存储系统
OSD--对象存储设备服务
HDD-1*OSD SSD--600G/OSD
对下管理物理硬盘(元数据),执行具体的IO操作到物理硬盘
对上对VBS提供对象存储服务模型,接收VBS下发的key-value的IO转换成scsi流到物理硬盘
VBS--虚拟块存储管理服务
一个节点部署一个VBS,构成VBS集群。提升性能,通过命令在单节点部署更多VBS
对上提供scsi/iscsi存储服务入口给业务系统使用FS
模拟volume,管理vlolume的元数据
接收业务主机下发的scsi流,转换成key-value,通过DHT运算将io路由到OSD
MDC--元数据控制服务
系统元数据管理
分布式集群状态控制
数据分布规则控制
数据重建桂策控制
集群部署ZK做集群协调
ZK--3 5 7
控制MDC(创建控制集群产生):3 5 7
归属MDC(创建存储池有可能产生):管理存储池 1~2存储池
总MDC:3~96
存储池:128
六、FS的网络平面
1)管理平面 GE
admin---FSM 主备FSM FSM-FSA
2)存储平面
10GE及以上以太网 或者IB组网
MDC--MDC MDC--VBS MDC--OSD VBS--VBS VBS--OSD OSD--OSD
3)业务平面(iscsi场景)
10GE及以上以太网 或者IB组网
业务主机---VBS
SCSI****是存储设备最基本的标准协议
存储设备通常需要设备互相靠近并用SCSI总线连接,因此受到物理环境的限制.
iSCSI (Internet Small Computer System Interface) ,顾名思义,iSCSI是网络上的SCSI,也就是通过网络连接的SCSI. 实现在IP网络上运行SCSI协议的存储技术,能够让SCSI接口与以太网技术相结合,使用iSCSI协议基于以太网传送SCSI命令与数据