FusionStorage原理及组件

简介: FusionStorage原理及组件

一、FS的部署模式



1)融合部署


VBS和OSD合部在同一节点


2)分离部署


VBS和OSD分开部署在不同的节点


3)scsi和iscsi使用场景


业务与VBS是否合部


如果合部---scsi


如果分开部署在不同节点----iscsi


无论是scsi还是iscsi,都支持融合部署和分离部署


通常在应用场景上考虑是融合还是分离,多在scsi场景考虑


scsi场景下


如果业务需要大量计算资源保障,此时考虑分离部署----关键业务系统,例如数据库


如果服务器主机有足够计算资源支持业务和FS的组件运行,此时考虑融合部署----云场景


融合部署的成本低于分离部署


二、FS的灾备



image.png


备份主要用来保证业务的安全性


容灾主要作用是保护业务的连续性


容灾又分为异地容灾和同城容灾


FS作为生产存储支持ebakcup或者第三方备份管理软件的备份


FS的高级特性

双活


hyper metro


远程复制(异步)


hyper replication


可以实现存储层容灾


image.png


三、FS的DHT算法



DHT(分布式哈希表,Distrubuted Hash Table)


111  698d51a19d8a121ce581499d7b701668


112  7f6ffaa6bb0b408017b62254211691b5


将十进制的数,转化为2的128次方的数,就可以实现平均切随机


一个存储池对应一个DHT环(逻辑)


image.png


读写流程:


1.scsi流交给vbs--->vbs转换scsi流为key-value


2.对key值进行--->hash寻址


目的:将主机下发的IO平均且随机的落到存储池各个OSD对应硬盘上


也就是为了实现IO 的负载均衡


3.经过hash得到一个2的32次方的数值--->模运算-->得到patition


目的:缩减表的尺度,加速查找DHT环


4.查询由MDC维护的映射表记录的是patition和osd的关系patition--->得到osd


目的:解决坏盘或者扩容场景,准确定位patition对应的osd位置


5.osd做key-value到iscsi流的转化,做磁盘的读写操作


image.png


四、存储池和卷



存储池是由一组服务器本地硬盘构成,硬盘类型相同、容量相同、参数相同等限制(参考产品文档)


主存类型:SATA机械  SAS机械   SAS-SSD   SATA-SSD  NVME SSD盘、SSD卡


一块硬盘只能属于一个存储池


一个存储池可以划多个卷(划卷依赖vbs)


一个卷只能属于一个存储,不能跨存储池


卷可以通过scsi挂载给vbs或者iscsi映射给业务主机使用


一个主机可以使用多个卷,多个卷可以来自不同存储池


五、FS的可靠性和安全级别



可靠性

副本机制:


2副本--50%   3副本--33.3%


EC机制: M=2,3,4  N最大22


EC(Erusure code)算法,分布式raid算法,可以跨界点raid


N+M   坏M块硬盘或者M个节点数据不丢失,业务不中断


N是数据分片


M是校验分片


image.png


N+M:B   坏M块硬盘或者B=1个节点数据不丢失,业务不中断


22+2保护  高达91%空间利用率


image.png


安全级别

FSM配置界面创建存储池仅支持服务器级和机柜级


服务器级安全:数据副本或者EC的数据分片一定不会放在同一个服务器节点内


机柜级安全:数据副本或者EC的数据分片一定不会放在同一个机柜内


机房级安全:数据副本或者EC的数据分片一定不会放在同一个机房内


不同的存储池可配置不同的数据保护方式和安全级别


相关文章
|
负载均衡 NoSQL Java
redis中的io多线程(线程池)
redis中的io多线程(线程池)
625 0
|
11月前
|
人工智能 资源调度 调度
云上AI Infra解锁大模型创新应用
本节课程由阿里云智能集团资深技术专家王超分享,主题为AI基础设施的发展趋势。课程聚焦于AI Infra设计与Scaling Law,探讨了下一代AI基础设施的设计目标、功能升级及推理场景中的应用。主要内容包括高效支持大规模模型训练和推理、全球调度系统的设计、Rack level的Scale优化以及多租户容器化使用方式。通过这些改进,旨在提升并行效率、资源利用率及稳定性,推动AI基础设施迈向更高性能和更优调度的新阶段。
|
前端开发 JavaScript 算法
ACEeditor使用手册(三)
ACEeditor使用手册(三)
411 0
|
测试技术 C语言
分享一个好用的C语言.ini文件的解析库
分享一个好用的C语言.ini文件的解析库
752 0
|
机器学习/深度学习 存储 自然语言处理
PaddlePaddle
【6月更文挑战第26天】PaddlePaddle。
365 10
|
存储 缓存 Java
【linux线程(四)】初识线程池&手撕线程池
【linux线程(四)】初识线程池&手撕线程池
|
存储 缓存 监控
FusionStorage原理及组件
FusionStorage原理及组件
677 0
|
缓存 安全 UED
什么是应用交付网络(ADN)?
【4月更文挑战第9天】
2415 4
元宇宙与增强现实(AR)之间的关系可以从以下几个方面进行清晰阐述:
**AR与元宇宙概览** AR叠加虚拟信息于现实,通过特殊设备实现虚实交融。元宇宙是融合VR、AR、MR的虚拟空间,提供沉浸式交互体验。AR在元宇宙中扮演关键角色,无缝融合虚拟与现实,增强用户的真实感。应用广泛,涵盖游戏、教育、医疗和商业,提升各场景的用户体验。两者相互促进,随着技术进步,未来融合将更深入,创造更多元体验。
|
存储 C语言 C++
std::atomic 相关接口(来自cppreference.com)
std::atomic 相关接口(来自cppreference.com)
193 0
下一篇
开通oss服务