阿里云文件存储CPFS升级版本发布

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 文件存储CPFS 2.0性能功能全面升级

文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和高聚合IO吞吐、高IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探,气象分析,机器学习,大数据分析以及影视渲染等业务场景中。
文件存储CPFS本次升级版本针对性能和功能进行了全面优化:
百GB/s的吞吐能力

  • 文件存储采用条带化技术,单个文件跨节点和存储系统分布,提高并发访问性能。数据块的大小可自定义,64K, 128K,256K, 512K, 1M,2M,4M,8M,16M,基于块大小选择的可变子块大小(subblock size),改善许多小文或大文件工作负载的性能。
  • 智能预取机制,通过对文件访问模式的预测来进行预取,降低读写延迟
  • 本地只读缓存(LROC):扩展page pool内存,包括本地DAS/SSD支持读缓存,基于策略引擎压缩,压缩有意义的数据并扩展至缓存
  • 分布式的块级锁管理,包括文件和目录两个级别,允许最大程度的并发访问;分布式元数据服务器,避免元数据处理成为系统瓶颈;分布式闪存加速元数据,元数据包括目录, inodes, indirect blocks
  • 支持客户端数据缓存,不同节点可以根据需要设置不同的缓存大小
  • 支持RDMA协议,大幅降低的节点间软件路径延迟

灵活的弹性扩展能力

  • 一键式扩容,扩展整个存储系统容量后自动对数据进行均衡
  • 吞吐随着容量线性增长,最大可以扩展到数百GB/s
  • IOPS随着容量线性增长,最大可以扩展到数百万IOPS
  • 可支持数千规模集群的计算节点并发访问
  • 单文件系统可以支持PB级的容量和10亿级的文件数量

混合云架构

  • 支持CPFS公共云和CPFS混合云存储线上线下数据打通,线下CPFS混合云存储在不满足突发业务增量的时候,可以将业务burst上云。

详细信息请参考CPFS产品文档

相关文章
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
358 0
|
3月前
|
存储 NoSQL 文件存储
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
云计算问题之阿里云文件存储CPFS如何满足大模型智算场景的存储需求
|
3月前
|
存储 人工智能 弹性计算
|
4月前
|
Cloud Native 文件存储 数据库
《阿里云产品四月刊》—CPFS 智算版数据流动(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
4月前
|
Cloud Native 文件存储 对象存储
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—CPFS 智算版数据流动(3)
|
4月前
|
Cloud Native 对象存储 文件存储
《阿里云产品四月刊》—CPFS 智算版数据流动(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
存储 弹性计算 并行计算
在高性能计算(HPC)场景下,阿里云存储的文件存储产品的实践
在高性能计算(HPC)场景下,阿里云存储的文件存储产品具有以下的应用需求和实践
427 4
|
存储 弹性计算 监控
|
弹性计算 Linux DataWorks
阿里云ecs搭建简易ftp服务器-用于DataWorks文件存储及依赖校验
很多企业客户在使用阿里云产品时,经常需要与FTP服务器进行文件交互,诸如跨IDC任务done文件依赖,跨账号、部门临时数据交互等场景。这里简要记录阿里云ecs搭建简易ftp服务器用于上述场景答疑的过程。
|
存储 人工智能 Cloud Native
《阿里云存储手册》——文件存储NAS
《阿里云存储手册》——文件存储NAS
249 1