挑战存储“不可能之三角”:用自研技术引领存储性能突破

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
简介: 大容量、高性能、高性价比如何解?

科技云报道原创。

存储,是数字化时代的“粮仓”。它承载着企业的海量数据,是企业数字化转型的基础。

然而,随着非结构化数据在生产业务中的广泛应用,各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性,却未被赋予高性能的标签。

可以说,分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。
封面图.jpg

分布式存储的主要优势在于其出色的对象存储能力,但在文件存储的性能表现上,大小文件有所差异。

对于大文件的处理,由于技术壁垒较低,并且许多业界厂商已经针对此进行了深入研发和优化,因此大文件的处理效果相对较好。

然而,分布式存储对于小文件的处理却受限于其开源的Ceph架构,需要处理大量小文件时,元数据管理、存储空间和IO性能等能力跟不上,性能表现并不理想。

至于高性价比,这要求在低成本的同时提供更高的性能和更大的容量。以往业界认为,高性能一定伴随着高成本,但实际上这是对高性能和高成本之间关系的误解。

只有找不到合理有效的优化手段或解决方案时,才可能需要通过增加硬件投入来提高性能。

那么,如何解决分布式存储的“不可能之三角”?

这是一个值得深思的问题,也是一个不小的挑战。现在,在存储赛道上,有一个“老道的新手”用自研技术,成功走到了大容量、高性能、高性价的交集里。

做分布式存储易做好分布式存储难

数字化浪潮汹涌向前,与之同行的是,存储行业也要不断地创新求变。

2018年前后,视频、音频等非结构化数据开始爆炸式增长,特别是在政府、医疗、媒体等领域存在大量的视频数据存储需求,对存储海量数据、存储系统的扩展性提出了新的要求,以集中式架构为主SAN、NAS传统存储瓶颈开始凸显。

存储市场需求的变化,也催化了新技术的爆发。这个时期,分布式存储技术开始在各大厂商之间冒头。

分布式存储将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,从而实现了存储容量的扩展、性能的提升和成本的降低。

2020年,被视为分布式存储爆发元年。根据IDC发布的《中国存储市场季度追踪报告》,2020年中国分布式存储市场规模达到了37.2亿美元,同比增长68.2%。

其中,企业级分布式存储市场规模达到了33.8亿美元,同比增长69.2%。

尽管分布式存储已逐步进入生产领域,但市场的变化,仍在催生新的需求。

最初,市场的焦点主要在于“存下来”,即如何存储日益增长的数据,例如政府的智慧城市项目和医疗影像的长期存储。

对于这类“第二存储、备份归档”等边缘数据场景,分布式存储的低成本、高扩展性能够很好地满足。

随着时间的推进,对存储“高性能”的要求也日益提升,以满足例如医院的PACS阅片场景,实景三维场景,企业EDA场景等应用的需求。

这些应用不仅需要存储海量数据,还要求快速处理和分析这些数据。显然,市场上普遍存在的“大容量但低性能”的分布式存储已跟不上市场的需求。

近年来,随着AI训练、芯片等高精尖产业的快速发展,对存储系统的“综合性能”提出了更高的要求。

这些应用需要的不仅是海量的存储容量,更要能够处理混合负载,即高速的数据处理能力和对不同类型文件的支持。

事实上,在处理“混合负载”这一点上,目前分布式存储产品普遍性能满足不好。

混合负载的特点在于,既包括大文件(比如几百兆甚至几个G的视频文件),也包括很多小文件(比如只有几KB甚至更小的文本文件),当数据量达到一定规模,小文件的处理性能就成为性能瓶颈。

不难发现,分布式存储在一定程度上能够解决传统存储在性能、扩展性方面的问题,但想要实现高性能的目标,依然非常困难。可以说,做分布式存储容易,但做高性能的分布式存储难。

分布式存储想要解决“大容量、高性能、高性价比”的“不可能三角”难题,目前能够完全作答的厂商并不多。

入局存储赛道十年的深信服,正是其中的佼佼者。

坚持自研技术深信服挑战存储“不可能之三角”

2013年,深信服作为国内最早钻研虚拟化技术的云计算厂商之一,凭借虚拟化技术的优势,开始摸索着切入存储赛道,那时深信服内部称之为“虚拟存储”,顾名思义,扮演的角色是深信服桌面云和超融合存储底座支撑。

彼时,经过超融合、桌面云的用户“检验”之后的“虚拟存储”,也日渐成熟。

随着各行各业数据不断增长,深信服看到了用户在小文件场景面临的困扰。2017年开始,深信服决定独立发展存储,加大投入,打造用户真正需要的存储底座。

在与传统存储厂商的竞争中,深信服抢占了先机:一方面,深信服精准把控了市场需求变化;另一方面,通过自研核心高性能架构,实现了弯道超车。

带着对用户需求的深刻洞察,从2020年开始,深信服EDS存储将目光锁定在了主存储领域,专为“高性能大容量文件存储”而生——能支持混合IO负载,兼具大小文件能力,瞄向高精尖场景。

2023年,深信服发布了EDS分布式存储501高性能版本,这在存储业界也意味着分布式存储能堪当大任,承载核心生产业务。

在深信服看来,存储“不可能之三角”的破题秘籍在于,充分发挥硬件存储介质性能和提升软件数据管理及处理能力,从而取得“高性能+大容量+高性价比”的平衡。

高性能和大容量一步到位

存储设备的性能通常由其读写速度和承载数据量的能力来衡量,特别是在处理大量小文件时,读写速度和系统的稳定性尤为重要。

在读写性能提升上,深信服EDS存储设计的读写模式充分适应了SSD与HDD混合闪存介质的特性,以此充分激发硬件性能。同时,通过增加NVMe SSD即可实现容量的横向扩展、性能的线性提升。

同样大小的内存空间,深信服EDS存储基于多活的元数据能力,可以充分发挥各节点的磁盘性能,让元数据访问效率提升 10 倍以上,可缓存的元数据规模是Ceph系产品的7倍,在 AI 训练等场景下可以保持 90% 以上的元数据命中率。

不仅如此,深信服EDS存储在IO整合、数据缓存与协议增强等核心技术方向上也构建了自己的核心能力,来提升海量小文件和大文件高吞吐场景的性能。

通过小文件的聚合和动态IO整合,深信服EDS存储实现了性能层空间的最小化,并且在持续写入文件的过程中,保障性能层不会被击穿,始终保有充足的空间进行数值的排序与整合,通过这样的动态整合来解决容量使用超过80%后导致的垃圾回收挤占而性能下降的问题。

对于延迟敏感型业务,深信服EDS存储采用自适应三级缓存技术,缩短数据路径将数据时延降至us级。

在协议增强上,相比于标准文件共享协议协议,深信服EDS存储提升了2-3倍,进一步降低协议对性能的额外开销,缩短时延和提升性能。
1.png
深信服EDS存储性能和容量线性同步扩展

基于分布式存储架构的天然优势,当用户需要更大的存储空间或者处理能力时,只需要添加更多的节点即可,无需改变已有的硬件或软件结构,也无须面临替换存储阵列硬件的昂贵投入,获得性能和容量的真正“自由”。

打破常规:以更低成本驱动高性能和大容量

传统阵列存储如果要同时满足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盘阵列扩容扩展的费用也让很多企业不堪重负。

而在深信服看来,同时获得高性能和大容量可以用更经济的方式,也不需要过度依赖昂贵、高端的硬件配置。

一方面,深信服EDS存储实现了冷热数据自动分层,热数据存储在NVMe 或SATA固态盘构建的高性能层,冷数据存储在机械盘构建的大容量层,这样能帮助用户节省存储的硬件成本。

另一方面,基于深舟数据管理平台、EDSData Explorer等软件,实现数据的高效压缩和管理,64GB内存可以承载亿级以上规模小文件的高速读写,帮助用户合理规划存储的投入成本。

2.png
深信服EDS存储自研架构

通过硬件+软件的组合式创新,深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升,能够满足容量大且大小文件混合负载的应用场景,很好地解决了存储“不可能之三角”。

对存储而言,性能优化可谓是一场没有终点的马拉松,持续在通用硬件上激发出更高、更稳定的存储性能,通过软件实现更快的数据接入、数据管理,用户便可以用更低的成本投入获得可支撑核心业务运行的存储产品。

自研分布式存储系统的深信服,技术栈更加先进,加上软硬件结合与适配,在性能、可靠性等方面出类拔萃,胜任高精尖领域的各种存储需求。

一款产品好不好用客户反馈是真正的试金石

一款好的存储产品,不仅是实验室里的高性能,更是用户生产环境的实际需求的高性能。

上海某专科医院的影像数据每年以15%的速度增长,深信服EDS存储不仅满足其扩容需求,而且还能轻松应对就诊高峰期的高并发阅片,阅片端每秒可加载1000张CT影像。

这意味着,医生可以在更短的时间内完成阅片,提高工作效率,为患者提供更优质的医疗服务。

除了实实在在为医院、医疗助力之外,深信服EDS存储也应用在AI、芯片、测绘、媒体等多场景。

在芯片设计场景 ,深信服EDS存储可以支撑更大规模的EDA仿真任务,激活100%活跃算力。这意味着,芯片设计企业可以更快地完成EDA仿真,缩短产品研发周期。

在测绘场景 ,EDS 501高性能版本每天可以处理70000张航片。

在航片导入场景 ,相比于其他厂商大文件吞吐能力提升2倍多;三维建模场景的小文件效率可接近于本地NVMe SSD,CASS3D在线打开海量小文件组成的三维成果数据耗时相比于某阵列NAS缩短8倍多。

结语

在高精尖领域的成功,深信服证明了EDS具有强大的市场适应性,这也为其在其他行业的发展奠定了良好的基础。深信服之所以在这些场景中表现出强劲的性能,这得益于EDS的“业务优先”理念。

深信服EDS存储从不“唯数据论”,不盲目追求性能数据上的提升,而是落到真实的业务场景,针对业务特征进行性能优化,为实际业务运行带去更好的体验。

同时,深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存储这一领域精益求精,力争领导者。

深信服作为存储领域“老道的新手”,在高性能存储之路上,追求的不仅是将自身在云技术栈十多年积累的存储技术用于EDS存储,更重要的是深入到每个用户的实际应用场景中,以生产业务的高性能需求为导向,真正实现用户需求和技术优势的最佳结合。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
6月前
|
机器学习/深度学习 人工智能 分布式计算
跨越时代的数据力量:大规模数据处理的技术突破
在信息爆炸的时代,大规模数据处理成为了推动科技进步的重要驱动力。本文将探讨大规模数据处理所涉及的技术突破,包括分布式计算、机器学习和人工智能等,以及其在各个领域的应用,展现数据的无限潜力。
|
3月前
|
存储 人工智能 算法
高质量存储力发展问题之“存储即平台”的定义如何解决
高质量存储力发展问题之“存储即平台”的定义如何解决
12 0
|
5月前
|
传感器 边缘计算 监控
边缘云作为一种分布式云计算架构,正在为多个行业和应用场景带来革命性的变化
边缘云应用于智能城市、工业物联网、零售、农业、AI、5G优化、制造、物流、医疗、交通和家居等领域,实现低延迟的数据处理、实时分析与优化。例如,智能交通利用边缘计算优化信号灯,减少拥堵;工业场景中,设备监控与预测性维护提升效率;在医疗中,实时监测患者数据支持远程诊断。此外,边缘云还助力零售业的个性化推荐、农业的精准作业和云游戏的高性能体验。
|
5月前
|
存储 人工智能 关系型数据库
数据库的深度探索:技术演进、应用领域与未来趋势
一、引言 数据库,作为信息技术领域中的关键组件,不仅为数据的存储、检索和管理提供了强有力的支持,而且随着技术的不断发展,其功能和应用领域也在不断扩展
|
6月前
|
存储 人工智能 文件存储
阿里云吴结生:面向大规模数据智能的阿里云存储创新
近年来,越来越多人意识到,我们正处在一个数据爆炸式增长的时代。IDC 预测 2027 年全球产生的数据量将达到 291 ZB,与 2022 年相比,增长了近 2 倍。其中 75% 的数据来自企业,每一个现代化的企业都是一家数据公司。
867 10
阿里云吴结生:面向大规模数据智能的阿里云存储创新
|
6月前
|
机器学习/深度学习 传感器 存储
超越边界,开启大规模数据处理的新纪元
在信息时代的浪潮中,大规模数据处理成为推动科技发展和商业创新的关键。本文将探讨大规模数据处理的重要性,介绍常见的数据处理技术,并展望未来可能出现的趋势和挑战。
|
存储 弹性计算 人工智能
与阿里云存储产品相关的技术特性和发展方向
与阿里云存储产品相关的技术特性和发展方向
360 2
|
存储 云计算
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储自制脑图
185 1
阿里云产品体系分为6大分类——云计算基础——存储服务——混合云存储
|
存储 人工智能 自然语言处理
突破数据存储瓶颈,Aibee实现场景化AI的有效落地
为了突破数据存储瓶颈,Aibee采用了阿里云混合云存储解决方案,解决计算机视觉、语音识别、自然语言理解、大数据分析等技术场景下的数据存储与管理问题。
5150 0
突破数据存储瓶颈,Aibee实现场景化AI的有效落地