《阿里云存储手册》——文件存储CPFS

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 《阿里云存储手册》——文件存储CPFS

文件存储CPFS


文件存储CPFS(Cloud Parallel File Storage)是阿里云完全托管、可扩展的并行文件存储系统,支 持POSIX\MPI-IO和NFS协议,针对GPU和CPU计算场景进行了深度优化,提供对数据亚毫秒级的访问和百 万级IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析 以及影视渲染等业务场景。



产品亮点


image.png

产品功能


支持文件协议高性能访问

支持标准的POSIX、MPI-IO、NFS协议,并 支持协议互访,高性能计算程序无需进行 任何接口适配和性能优化即可高效率执行。


统一命名空间下的子文件系统Fileset

在统一命名空间下,通过Fileset对文件系统 进行切分独立管理。实现不同业务、不同部 门之间的容量合理规划、数据和性能隔离、 数据生命周期管理。


CPFS与OSS数据流动

方便的数据流动能力,让CPFS成为OSS数据 的高性能加速器,AI\HPC等应用可以方便的 通过CPFS的高性能文件接口访问OSS中的海 量数据。冷数据也可流入低成本OSS,降低 存储整体费用。


全并行架构,可支持百亿文件, 百万IOPS和OPS,Tbps级吞吐

全闪存介质搭配RDMA高速网络,吞吐最大可 以扩展到数百GB/s,数据IOPS和元数据OPS 最大可以扩展到数百万。全并行多链接架构, 通过专属客户端支持几千个节点并行与CPFS 存储集群内的所有存储服务器建立连接,直读 直写数据分片,无单点瓶颈,最大限度地发挥 并行架构的优势。文件做block级别的分片, 分片均匀分布在存储集群内,单个文件的读写 可利用所有存储节点的IO带宽。支持数据自 动平衡,通过Restripe迁移数据分片,防止数 据热点。客户端缓存,可配置数据本地读缓 存,缩短访问时延。


应用场景


AI与自动驾驶训练

自动驾驶场景下,每台测试车每天将产生几十 TB数据,针对这些数据需要进行快速分析, 同时控制数据快速累积带来的成本增长。超高 性能CPFS存储可提高多机多卡GPU计算资源 的利用率,降低计算成本。云上CPFS弹性扩 展能力和即开即用,减少运维管理成本。 CPFS和OSS数据流动,实现云上云下无缝对 接,打通数据上传、计算、分发、归档全流程, 降低数据存储成本。


基因与药物小分子计算

基于阿里云优秀的基础架构和底层盘古分布式 存储系统,CPFS突破了传统NAS读强写弱的 瓶颈,读和写均可达到极高性能。满足对写也 有极高吞吐要求的基因计算的性能需求。 CPFS与OSS数据流动,打通原始数据上传、 计算、结果分发、归档全流程。


EDA仿真

分布式元数据架构,大文件分片读取实现大吞 吐,分布式元数据打散元数据访问压力,实现 小文件高OPS。一套系统可同时满足前端仿 真和后端仿真的需求。支持数据落盘加密,满 足数据安全需求。


影视渲染

文件存储CPFS通过缓存服务为影视渲染的 TB级数据提供几十GB/s的超大吞吐和百万 IOPS的性能,且可随渲染任务规模在线扩容 吞吐能力,业务无需中断。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
存储 调度 块存储
阿里云连续两年斩获全球存储顶会FAST最佳论文
阿里云连续两年斩获全球存储顶会FAST最佳论文
376 0
|
25天前
|
存储 Kubernetes Cloud Native
【阿里云云原生专栏】云原生容器存储:阿里云CSI与EBS的高效配合策略
【5月更文挑战第29天】阿里云提供云原生容器存储接口(CSI)和弹性块存储(EBS)解决方案,以应对云原生环境中的数据存储挑战。CSI作为Kubernetes的标准接口简化存储管理,而EBS则提供高性能、高可靠性的块存储服务。二者协同实现动态供应、弹性伸缩及数据备份恢复。示例代码展示了在Kubernetes中使用CSI和EBS创建存储卷的过程。
157 3
|
1月前
|
存储 Cloud Native 对象存储
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。
83864 19
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
1月前
|
存储 调度 块存储
十二年磨一剑:三代架构演进,打造高性能、低成本的块存储!
上周,全球计算机存储顶会USENIX FAST 2024 在美国加州圣克拉拉召开,继去年获得国内首个FAST最佳论文奖后,凭借在分布式块存储上的创新,阿里云新作再次斩获FAST大会最佳论文奖。这也是国内唯一一家连续两年获得FAST最佳论文奖的科技公司。
105055 105
|
1月前
|
存储 弹性计算 监控
【阿里云弹性计算】深入阿里云ECS配置选择:CPU、内存与存储的最优搭配策略
【5月更文挑战第20天】阿里云ECS提供多种实例类型满足不同需求,如通用型、计算型、内存型等。选择CPU时,通用应用可选1-2核,计算密集型应用推荐4核以上。内存选择要考虑应用类型,内存密集型至少4GB起。存储方面,系统盘和数据盘容量依据应用和数据量决定,高性能应用可选SSD或高效云盘。结合业务特点和预算制定配置方案,并通过监控应用性能适时调整,确保资源最优利用。示例代码展示了使用阿里云CLI创建ECS实例的过程。
101 5
|
1月前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
1月前
|
云计算
电子好书发您分享《阿里云产 品手册2024版》
**《阿里云产品手册2024版》电子书分享:** 探索阿里云最新云计算解决方案,涵盖智能计算等前沿技术。[查看详细内容](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.6529272a3x849a) ![阿里云手册](https://ucc.alicdn.com/pic/developer-ecology/cok6a6su42rzm_99a55849c2bd4860b2f73d3a4a36bb1f.png)
40 6
|
1月前
|
数据库 云计算
电子好书发您分享《阿里云产品手册2024版》
**阿里云2024产品手册电子版分享:** 探索最新云计算解决方案,涵盖智能计算、视觉智能与云数据库ClickHouse。了解阿里云在新的一年中提供的核心产品与服务升级,包括适用于初学者的云服务器选项。查看完整手册:[阿里云产品手册2024版](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.50ae272a22gHxh)。
101 9
|
1月前
|
存储 弹性计算 大数据
【阿里云弹性计算】阿里云ECS在大数据处理中的应用:高效存储与计算实践
【5月更文挑战第23天】阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,尤其大数据型实例适合离线计算。通过集成分布式文件系统如OSS,实现大规模存储,而本地存储优化提升I/O性能。弹性扩容和计算优化实例确保高效运行,案例显示使用ECS能提升处理速度并降低成本。结合阿里云服务,ECS构建起强大的数据处理生态,推动企业创新和数字化转型。
45 0
|
1月前
|
安全 云计算
电子好书发您分享《阿里云产品手册2024版.阿里云产品手册2024版》
**《阿里云产品手册2024版》电子书分享:** 探索阿里云最新技术与服务,涵盖云计算、安全、移动研发等领域,详尽指南助您高效上云。[阅读链接](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.176b272aLerqlg)
38 1