Fusion Storage(HCIE)

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: Fusion Storage(HCIE)

目录


Fusion Storage

一、相关概念

1.1 SDS

1.2 存储服务类型

1.3 分布式软件

1.3.1 Server SAN

二、fusionstorageblock特点

三、传统存储与FS的区别

1)成本

2)扩展能力

3)性能:

4)cache:

5)网络:

6) 管理:

四、FS的授权

五、fusionstorage逻辑架构

1)管理系统

2)存储系统

六、FS的网络平面

1)管理平面   GE

2)存储平面

3)业务平面(iscsi场景)


Fusion Storage


一、相关概念


1.1 SDS


SDSSoft define storage 软件定义存储,Fusion Storage是个软件,主要装在服务器上,X86服务器,ARM架构服务器

Oceanstor 软硬件一体


1.2 存储服务类型


1.2.1block--块存储服务

--scsi/iscsi

工作原理:提供一个裸块以iSCSI或FC协议的方式映射给主机,主机进行扫盘即可扫到设备,主机层在对块设备进行分区格式化创建文件系统就可以使用了

应用场景:物理机应用  虚拟化  桌面云  私有云  公有云

image.png

1.2.2file--文件存储服务

--nfs cifs ftp

工作原理:存储自身就可以提供文件系统,给上层通过NFS或CIFS客户端来使用

应用场景:文件共享  视频监控

image.png

1.2.3object--对象存储服务

--S3  hdfs  swift

工作原理:通过文件的方式存储数据,但这些文件不是和文件存储一样由文件系统来管理,而是以对象的方式来管理,每个文件都是一个对象,上层通过key值来获取对象

应用场景:互联网应用  大数据存储  海量数据归档 网盘  物联网应用

客户端通过key值,去MDS访问元数据,从而定位到对象存储的位置从而进行读写

image.png

image.png

1.2.4OBS--华为对象存储服务

工作原理:

应用场景:华为私有云、公有云有OBS云服务底层对应资源池


1.3 分布式软件


1.3.1 Server SAN


  • 它是一个分布式块存储软件
  • 能够将通用x86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模的存储资源池
  • 对非虚拟化环境的上层应用和虚拟机提供标准的scsi和iscsi接口
  • 开放的API对接其他虚拟化产品

 

image.png

 

image.png

image.png

image.png

image.png

image.png

image.png

二、fusionstorageblock特点


软件(linux内核)  分布式(服务器集群 X86  ARM)  块存储服务

本地硬盘  HDD(sata  sas  nl-sas)  SSD(sas  nvme)----共享块存储资源池

存储服务接口---scsi/iscsi  不支持FC

开放api--对接上层云管理平台,例如openstack


三、传统存储与FS的区别


1)成本


传统存储:软硬件紧耦合-只能做存储  FC-HBA  FC-SW  FC板卡  license支持高级特性

FS:计算和存储复用,server:业务+FS   license


2)扩展能力


传统存储:不支持线性扩展

扩控--扩性能--最大支持32控  

扩硬盘框--扩容量--一条级联链路理论不超过8个硬盘框

FS:支持线性扩展--4096个节点

扩server:通过安装不同软件扩展FS的容量和软件控制器机头实现scale-up和scale-out


3)性能:


传统存储:扩控有限制

LUN---归属给一个控制器--io瓶颈点

FS:存储池--被任意节点软件机头访问--IO路径最优


4)cache:


传统存储:cache有控制器内部的RAM提供,RAM通常GB级别

FS:cache由RAM/SSD盘/SSD卡/NVDIMM提供,cache可达到TB级别,分布式cache


5)网络:


传统存储:主机---存储 双交换  链路 2/4   2*  4*

FS:软件机头---存储池  链路总带宽=存储池所跨节点数*存储平面接口带宽

传统存储多支持FC

共同协议:以太网  GE/10GE/25GE/40GE/100/GE   IB  56G/120G


6)管理:


传统存储:不能直接支持异构存储统一管理

FS:FSM--FS节点agent 支持异构服务器接管  


四、FS的授权


FS的版本 主流 V1R6C10/C20/C30   8.0.0  8.0.1

license

功能名称   标准版    高级版

扩展节点数  256       4096

多资源池    3个池    128个池

远程复制    RPO>=1分钟  RPO>=10秒

A-A双活     不支持     支持

加密盘      不支持      支持


五、fusionstorage逻辑架构


image.png

1)管理系统


FSM-fusionstoragemanager   主备部署  VM(常用)/PM

提供web-portal给管理员做图形化配置和运维操作

 

FSM提供FS的安装部署操作

 

FSMFSFSA交互,实现配置数据下发以及信息上报(告警、性能、日志等)

FSA-fusionstorageagent    每一个FS的服务器节点都要安装

接收FSM下发配置命令,实现本节点存储配置

收集本节点的信息(告警、性能、日志等),上报给FSM

FSA内部包含存储系统组件安装包,依赖FSA才能部署存储系统


2)存储系统


image.png

OSD--对象存储设备服务

HDD-1*OSD   SSD--600G/OSD

对下管理物理硬盘(元数据),执行具体的IO操作到物理硬盘

对上对VBS提供对象存储服务模型,接收VBS下发的key-value的IO转换成scsi流到物理硬盘

 

VBS--虚拟块存储管理服务

一个节点部署一个VBS,构成VBS集群。提升性能,通过命令在单节点部署更多VBS

对上提供scsi/iscsi存储服务入口给业务系统使用FS

模拟volume,管理vlolume的元数据

接收业务主机下发的scsi流,转换成key-value,通过DHT运算将io路由到OSD

MDC--元数据控制服务

系统元数据管理

分布式集群状态控制

数据分布规则控制

数据重建桂策控制

集群部署ZK做集群协调

ZK--3 5 7

控制MDC(创建控制集群产生):3 5 7

归属MDC(创建存储池有可能产生):管理存储池   1~2存储池

总MDC:3~96

存储池:128


六、FS的网络平面


1)管理平面   GE


admin---FSM   主备FSM   FSM-FSA


2)存储平面


10GE及以上以太网  或者IB组网

MDC--MDC   MDC--VBS  MDC--OSD  VBS--VBS  VBS--OSD  OSD--OSD


3)业务平面(iscsi场景)


 10GE及以上以太网  或者IB组网

业务主机---VBS

SCSI****是存储设备最基本的标准协议

存储设备通常需要设备互相靠近并用SCSI总线连接,因此受到物理环境的限制.

iSCSI (Internet Small Computer System Interface) ,顾名思义,iSCSI是网络上的SCSI,也就是通过网络连接的SCSI. 实现在IP网络上运行SCSI协议的存储技术,能够让SCSI接口与以太网技术相结合,使用iSCSI协议基于以太网传送SCSI命令与数据


相关文章
|
Kubernetes Linux Docker
【kubernetes】修复 linux 服务器重启后,kubelet 启动失败的问题
【kubernetes】修复 linux 服务器重启后,kubelet 启动失败的问题
3688 1
|
4月前
|
存储 调度 KVM
深入浅出KVM虚拟化技术原理——Ansible安全基线配置(一)
本文深入解析KVM虚拟化核心机制,涵盖内核如何调度QEMU进程与KVM模块协同工作、CPU虚拟化扩展(VT-x/AMD-V)的硬件加速原理,以及存储池的管理与优势,助你全面掌握KVM底层运行逻辑。
446 11
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
魔搭社区模型速递(4.20-4.26)
魔搭ModelScope本期社区进展:2227个模型,270个数据集,167个创新应用,10篇内容
558 4
|
虚拟化 Windows
Windows Server 2016 中文版、英文版下载 (2025 年 6 月更新)
Windows Server 2016 中文版、英文版下载 (2025 年 6 月更新)
3144 0
|
运维 监控 测试技术
运维过程中遇到的问题
在一个大型在线教育平台的迭代升级中,运维团队面临服务中断和数据库效率低下问题。为解决这些问题,他们采用蓝绿部署和金丝雀发布策略降低中断风险,增加自动化测试保证新版本质量,建立一键回滚机制确保服务连续性。针对数据库,他们优化SQL、实施读写分离和使用缓存提升查询效率,并考虑引入分布式数据库。未来,团队将持续深化DevOps实践,完善监控预警系统,跟进技术革新,以用户为中心优化运维决策,确保服务稳定高效。
680 130
|
Java 数据库连接 网络安全
springboot使用Pivotal Greenplum JDBC如何进行配置
【5月更文挑战第23天】springboot使用Pivotal Greenplum JDBC如何进行配置
506 6
|
机器学习/深度学习 存储 虚拟化
OpenStack学习教程
【8月更文挑战第19天】
954 4
|
运维 Kubernetes 关系型数据库
云计算运维工程师面试技巧
【8月更文挑战第6天】
1472 1
|
Web App开发 移动开发 编解码
FFmpeg开发笔记(三十二)利用RTMP协议构建电脑与手机的直播Demo
本文讨论了实时数据传输在互联网中的重要性,如即时通讯和在线直播。一对一通信通常使用WebRTC技术,但一对多直播需要流媒体服务器和特定协议,如RTSP、RTMP、SRT或RIST。RTMP由于其稳定性和早期普及,成为国内直播的主流。文章通过实例演示了如何使用OBS Studio和RTMP Streamer进行RTMP推流,并对比了不同流媒体传输协议的优缺点。推荐了两本关于FFmpeg和Android开发的书籍以供深入学习。
597 0
FFmpeg开发笔记(三十二)利用RTMP协议构建电脑与手机的直播Demo