科技云报道:东数西算不止于“算”,更需“新存储”

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: “东数西算”场景下,移动云的存储新变革

科技云报道原创。

作为数字时代的一次大变革,“东数西算”已然成为了一个“家喻户晓”的议题。

目前,我国数据量占全球18%,算力供需失衡问题亟待解决。正因如此,国家通过“东数西算”工程,布局建设“新型算力网络体系”,推动算力集约化发展。不少人将“东数西算”比肩“南水北调”、“西气东输”等关乎民生质量的浩瀚工程。

然而,在“东数西算”的宏大场景下,仍面临诸多现实挑战。“东数西算”工程的部署,将推动东数西存(热点区域数据计算、西部备份存储)、东数西训(东部算法仓库、西部离线大数据分析);将实时性要求不高的业务如文档云、掌上保险、开发测试等应用部署在西部节点,促进数据中心集约化、集群化发展。

从存储系统的角度看,这些细分场景带来了全新的挑战,例如:本地/近场下的热点数据如何高性能存取?海量数据如何灵活迁移?存储系统层操作细节如何无感化,向客户呈现便捷业务应用?数据存储的安全如何保障?如何在满足“算网共生、智能编排”的架构要求基础上,有效降低存储成本和能耗?

 

算力网络挑战下 移动云“新存储”应时而生

在“东数西算”场景下,任何一家云存储供应商在算力网络中都必须面对存储系统的挑战,即要解决存储系统高性能、高扩展、易使用的问题。

移动云作为中国移动落实国家“东数西算”政策的重要一环,应时而生走出了一条“新存储”技术路线。

立足运营商云“网络+安全”的特色优势,移动云以云网融合为基础,构建云边端算力协同、算网融合、智能编排的社会级算力服务平台,包括“基于自研架构,打造立体泛在的算力分布,统一异构封装,拉动跨域协同,构筑更高效、更弹性、更可信算力基础设施”,构建出算力网络下的新存储能力。

基于此,移动云存储系统能够“扛得住、存得下、用得好”:满足企业关键业务云化对存储的性能要求,提供高带宽、高IOPS、低时延保障;满足高速增长的数据存储需求,提供易扩展、高吞吐、海量文件高效索引保障;屏蔽复杂的存储系统层次操作细节,提供易部署、易操作、简洁易用的产品形态。

不仅如此,移动云还从高效无损、无限扩展算力安全等方面多措并举,致力实现算力的云、边、端全域覆盖,丰富公、私、专多类服务形态,加快跨域资源联通、跨域应用协同,具体而言:

(一)高效无损与无限扩展

  • 基于DPU卸载提高效能,拉通裸金属、虚机、容器等计算形态,支撑应用平滑迁移,实现存储产品的软硬协同,算力卸载。
  • 通过统一本地存储、分布式存储接入框架,结合弹性无损网络,打造大规模高性能计算集群,达成高性能存算协同。
  • 优化负载感知调度、系统内动态电源管理、超高密度存储、内存调度等,实现绿色节能和效率提升。
  • 构建高效敏捷的云原生基础设施,打造快速扩缩容、高效交付的能力。

(二)算力安全

基于可信计算和机密计算,实现从底层安全芯片到虚拟机关键应用的全栈安全可信,提升算力节点的安全防护能力。同时基于数据全链路完整性校验,确保数据准确与安全。


 

移动云自研存储引擎 全系存储产品赋能多业务场景

“东数西算”工程凸显了数据作为一种生产要素的价值,并将其分类治理——对于服务后台加工、存储灾备、离线分析、存储备份等对网络时延要求不高的“冷数据”,优先向贵州、内蒙古、甘肃、宁夏节点转移;与此同时,对网络时延要求高的“热数据”,选择在东部城市进行布置。

为了全面适配“东数西算”多种应用需求,移动云基于自研“大云天权统一存储引擎”的超高IO性能及跨域纠删能力,推进分布式块存储、对象存储、文件存储等存储全系产品升级,深度覆盖多种应用场景。

  • 块存储产品:基于天权存储引擎,打造百万IOPS、百微秒时延、4GB/s吞吐的新一代云硬盘产品,可有效支撑大型数据库、实时日志分析等IO密集型以及AI训练、基因测序等高吞吐型业务场景,满足现场及近场计算诉求
  • 对象存储产品:通过存储多协议协同(Storage Mesh),实现“存算一体,数随算走”,打破“存储墙”,连通“数据孤岛”,打造“数据随心可取”的存储服务体系。
  • 文件存储产品:在基于对象存储的跨域纠删能力基础上,自研移动云文件存储(CFN版本),基于EOS跨域纠删(数据)及跨域KV数据库(元数据)有效支撑实时流媒体文件编辑等跨地域数据共享场景,实现多点接入、简单配置、随心访问。

设计配图.jpg

总体而言,在产品体系赋能方面,移动云能够实现数据跨域共享、就近访问,支持数据冷热智能分层、按需流动,具备多级容灾能力,满足亚毫秒级访问时延,向客户提供高性能、高扩展、高并发的数据存储服务。

作为底层基础设施能力之一,移动云云存储产品的部署目前已覆盖移动云所有资源池。其中,“天权”存储系列产品部署规模超3万台服务器,容量规模超2500 PB,服务80余万家客户。且大云天权统一存储引擎技术自主可控,适配国产化服务器,实现“一云多芯”,真正做到安全又高效。

 

响应“双碳”政策 移动云存储实现“节能减排”

算力服务过程中,海量数据处理带来的“能耗和碳排放”问题也备受关注。就此,移动云响应国家“双碳”政策,在打造新一代算网存储能力时已考虑相关对策。

例如,通过上文提到的“存储多协议协同”实现“存算一体,数随算走”,构建“数据随心可取”的绿色节能数据中心,以及在技术上根据对象存储多规格以及多规格间的智能数据分层特性,让冷数据逐步流动到存储成本更低、能耗开销更低的存储类型中,达到节能减排。

具体到产品表现,移动云第四代对象存储实现跨域纠删,使数据冗余机制可以从3副本的300%冗余降至6+6纠删码形式的200%冗余,投资成本降低33%。

未来,在算网融合优势加持下,移动云将不断创新存储技术、优化全线存储产品,兼顾安全高效与绿色低碳,为“促进东西部平衡发展、提升产业链抗风险能力、赋能行业脱碳增长”贡献力量。

 

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
3月前
|
人工智能 Oracle 关系型数据库
|
4月前
|
人工智能 安全 API
|
6月前
|
人工智能 自动驾驶 物联网
|
8月前
|
供应链 安全 Cloud Native
|
10月前
|
机器学习/深度学习 传感器 编解码
亚马逊云科技中国峰会:Amazon DeepRacer-梦想加速度
你是否憧憬在赛车赛道上开车,享受疾驰而过的感觉,感受无与伦比的驾驶乐趣? Amazon DeepRacer可以满足你的梦想,虚竹哥带你了解Amazon DeepRacer。
96 0
亚马逊云科技中国峰会:Amazon DeepRacer-梦想加速度
|
10月前
|
人工智能 自然语言处理 搜索推荐
|
11月前
|
存储 数据采集 人工智能
|
机器学习/深度学习 人工智能 自然语言处理