Fusion Storage(HCIE)

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: Fusion Storage(HCIE)

目录


Fusion Storage

一、相关概念

1.1 SDS

1.2 存储服务类型

1.3 分布式软件

1.3.1 Server SAN

二、fusionstorageblock特点

三、传统存储与FS的区别

1)成本

2)扩展能力

3)性能:

4)cache:

5)网络:

6) 管理:

四、FS的授权

五、fusionstorage逻辑架构

1)管理系统

2)存储系统

六、FS的网络平面

1)管理平面   GE

2)存储平面

3)业务平面(iscsi场景)


Fusion Storage


一、相关概念


1.1 SDS


SDSSoft define storage 软件定义存储,Fusion Storage是个软件,主要装在服务器上,X86服务器,ARM架构服务器

Oceanstor 软硬件一体


1.2 存储服务类型


1.2.1block--块存储服务

--scsi/iscsi

工作原理:提供一个裸块以iSCSI或FC协议的方式映射给主机,主机进行扫盘即可扫到设备,主机层在对块设备进行分区格式化创建文件系统就可以使用了

应用场景:物理机应用  虚拟化  桌面云  私有云  公有云

image.png

1.2.2file--文件存储服务

--nfs cifs ftp

工作原理:存储自身就可以提供文件系统,给上层通过NFS或CIFS客户端来使用

应用场景:文件共享  视频监控

image.png

1.2.3object--对象存储服务

--S3  hdfs  swift

工作原理:通过文件的方式存储数据,但这些文件不是和文件存储一样由文件系统来管理,而是以对象的方式来管理,每个文件都是一个对象,上层通过key值来获取对象

应用场景:互联网应用  大数据存储  海量数据归档 网盘  物联网应用

客户端通过key值,去MDS访问元数据,从而定位到对象存储的位置从而进行读写

image.png

image.png

1.2.4OBS--华为对象存储服务

工作原理:

应用场景:华为私有云、公有云有OBS云服务底层对应资源池


1.3 分布式软件


1.3.1 Server SAN


  • 它是一个分布式块存储软件
  • 能够将通用x86服务器的本地HDD、SSD等介质通过分布式技术组织成大规模的存储资源池
  • 对非虚拟化环境的上层应用和虚拟机提供标准的scsi和iscsi接口
  • 开放的API对接其他虚拟化产品

 

image.png

 

image.png

image.png

image.png

image.png

image.png

image.png

二、fusionstorageblock特点


软件(linux内核)  分布式(服务器集群 X86  ARM)  块存储服务

本地硬盘  HDD(sata  sas  nl-sas)  SSD(sas  nvme)----共享块存储资源池

存储服务接口---scsi/iscsi  不支持FC

开放api--对接上层云管理平台,例如openstack


三、传统存储与FS的区别


1)成本


传统存储:软硬件紧耦合-只能做存储  FC-HBA  FC-SW  FC板卡  license支持高级特性

FS:计算和存储复用,server:业务+FS   license


2)扩展能力


传统存储:不支持线性扩展

扩控--扩性能--最大支持32控  

扩硬盘框--扩容量--一条级联链路理论不超过8个硬盘框

FS:支持线性扩展--4096个节点

扩server:通过安装不同软件扩展FS的容量和软件控制器机头实现scale-up和scale-out


3)性能:


传统存储:扩控有限制

LUN---归属给一个控制器--io瓶颈点

FS:存储池--被任意节点软件机头访问--IO路径最优


4)cache:


传统存储:cache有控制器内部的RAM提供,RAM通常GB级别

FS:cache由RAM/SSD盘/SSD卡/NVDIMM提供,cache可达到TB级别,分布式cache


5)网络:


传统存储:主机---存储 双交换  链路 2/4   2*  4*

FS:软件机头---存储池  链路总带宽=存储池所跨节点数*存储平面接口带宽

传统存储多支持FC

共同协议:以太网  GE/10GE/25GE/40GE/100/GE   IB  56G/120G


6)管理:


传统存储:不能直接支持异构存储统一管理

FS:FSM--FS节点agent 支持异构服务器接管  


四、FS的授权


FS的版本 主流 V1R6C10/C20/C30   8.0.0  8.0.1

license

功能名称   标准版    高级版

扩展节点数  256       4096

多资源池    3个池    128个池

远程复制    RPO>=1分钟  RPO>=10秒

A-A双活     不支持     支持

加密盘      不支持      支持


五、fusionstorage逻辑架构


image.png

1)管理系统


FSM-fusionstoragemanager   主备部署  VM(常用)/PM

提供web-portal给管理员做图形化配置和运维操作

 

FSM提供FS的安装部署操作

 

FSMFSFSA交互,实现配置数据下发以及信息上报(告警、性能、日志等)

FSA-fusionstorageagent    每一个FS的服务器节点都要安装

接收FSM下发配置命令,实现本节点存储配置

收集本节点的信息(告警、性能、日志等),上报给FSM

FSA内部包含存储系统组件安装包,依赖FSA才能部署存储系统


2)存储系统


image.png

OSD--对象存储设备服务

HDD-1*OSD   SSD--600G/OSD

对下管理物理硬盘(元数据),执行具体的IO操作到物理硬盘

对上对VBS提供对象存储服务模型,接收VBS下发的key-value的IO转换成scsi流到物理硬盘

 

VBS--虚拟块存储管理服务

一个节点部署一个VBS,构成VBS集群。提升性能,通过命令在单节点部署更多VBS

对上提供scsi/iscsi存储服务入口给业务系统使用FS

模拟volume,管理vlolume的元数据

接收业务主机下发的scsi流,转换成key-value,通过DHT运算将io路由到OSD

MDC--元数据控制服务

系统元数据管理

分布式集群状态控制

数据分布规则控制

数据重建桂策控制

集群部署ZK做集群协调

ZK--3 5 7

控制MDC(创建控制集群产生):3 5 7

归属MDC(创建存储池有可能产生):管理存储池   1~2存储池

总MDC:3~96

存储池:128


六、FS的网络平面


1)管理平面   GE


admin---FSM   主备FSM   FSM-FSA


2)存储平面


10GE及以上以太网  或者IB组网

MDC--MDC   MDC--VBS  MDC--OSD  VBS--VBS  VBS--OSD  OSD--OSD


3)业务平面(iscsi场景)


 10GE及以上以太网  或者IB组网

业务主机---VBS

SCSI****是存储设备最基本的标准协议

存储设备通常需要设备互相靠近并用SCSI总线连接,因此受到物理环境的限制.

iSCSI (Internet Small Computer System Interface) ,顾名思义,iSCSI是网络上的SCSI,也就是通过网络连接的SCSI. 实现在IP网络上运行SCSI协议的存储技术,能够让SCSI接口与以太网技术相结合,使用iSCSI协议基于以太网传送SCSI命令与数据


相关实践学习
基于EBS部署高性能的MySQL服务
如果您通常是通过ECS实例部署MySQL来使用数据库服务,您可以参考本实验操作来搭建高性能的MySQL服务。本实验为您演示如何通过EBS ESSD云盘部署一个高性能的MySQL服务。
相关文章
|
机器学习/深度学习 人工智能
XuanTie C908 Accelerates AI with Software and Hardware Fusion
XuanTie C908 Accelerates AI with Software and Hardware Fusion
158 0
XuanTie C908 Accelerates AI with Software and Hardware Fusion
|
固态存储
《In Pursuit of Optimal Storage PerformanceHardwareSoftware Co-Design with Dual-Mode SSD》电子版地址
In Pursuit of Optimal Storage Performance:Hardware/Software Co-Design with Dual-Mode SSD
59 0
《In Pursuit of Optimal Storage PerformanceHardwareSoftware Co-Design with Dual-Mode SSD》电子版地址
苹果被拒:Guideline 5.1.1 - Legal - Privacy - Data Collection and Storage
苹果被拒:Guideline 5.1.1 - Legal - Privacy - Data Collection and Storage
317 0
|
存储 运维 固态存储
Fusion Storage(HCIE)(一)
Fusion Storage(HCIE)(一)
480 0
Fusion Storage(HCIE)(一)
|
存储
Fusion Storage(HCIE)(二)
Fusion Storage(HCIE)(二)
128 0
|
SQL 存储 分布式计算
openGauss/GaussDB200 《FusionInsight LibrA: Huawei’s Enterprise Cloud Data Analytics Platform》
Huawei FusionInsight LibrA (FI-MPPDB)是OLAP系统,从《openGauss数据库核心技术》这本书上的描述看LibrA就是GaussDB200,从openGauss的代码上看,openGauss的OLAP特性也是来自这个产品。
openGauss/GaussDB200 《FusionInsight LibrA: Huawei’s Enterprise Cloud Data Analytics Platform》
|
存储 缓存 固态存储
|
存储 Kubernetes 安全
KubeCon2018 -- Secret Management Deep Dive
  在刚刚过去的Kubecon2018上,诸多大厂的安全专家为我们带来了很多kubernetes安全相关的精彩分享,议题包含集群权限控制,安全配置,漏洞分析等多个方向,其中secret management作为一个热点topic,有多位演讲者对其相关工作做了详尽分析。 ## 什么是Sec
1673 0
|
存储 数据库 索引
数据分区------《Designing Data-Intensive Applications》读书笔记9
进入到第六章了,我们要开始聊聊分布式系统之中的核心问题:数据分区。分布式系统通常是通过大规模的数据节点来处理单机没有办法处理的海量数据集,因此,可以将一个大型数据集可以分布在多个磁盘上,查询负载可以分布在多个处理器上。
1305 0