带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
文件存储 NAS,50GB 3个月
简介: 带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用

6. 高性能计算存储在渲染行业的应用

 

1需求背景

 

伴随着4KVRAI和仿真技术的高速发展,渲染、游戏等行业越来越依赖高性能计算平台来替代传统的IT分析系统,为业务进入快车道发展争取更多的时间窗口,而背靠在计算平台之后的存储系统是不可忽视的重要一环。

 

渲染属于典型的数字内容创作高性能计算应用,渲染的关键之处在于实现集群计算,让海量节点来分摊成百上千万的渲染小时。。随着文娱产业及工业的发展以及显示器硬件的高清化升级,用户和CG制作者对于图形质量如清晰度和画面细节的要求越来越高,行业对于渲染服务的需求规模和质量要求迅速扩大和提高。

 

2解决方案

 

在渲染前,需要为大规模数据准备足够容量的存储设备;在渲染过程中,还需要高性能来完成大量的数据处理工作,以生成最终输出。所以,渲染业务对吞吐、IOPS和元数据OPS等要求都非常高,使用传统的存储解决方案将难以满足客户需求。为此可使用基于阿里云CPFS(并行文件系统)设计的计算存储解决方案。

 

目前CPFS支持公共云上即开即用,也支持通过阿里云定制的CPFS一体化软硬件服务用户的线下数据机房。由于渲染涉及的数据资产需要线下存储,因此本方案实践是通过线下实施部署的CPFS一体机。整体解决方案架构如下:

 


image.png

 

方案优势:

 

∙       引入协议转换服务,解决多终端和多协议混用。


∙       通过分布式的协议节点和存储节点,实现节点存储容量和性能实现弹性扩容。


∙       在计算节点、CPFS客户端、协议节点和存储节点划分一定容量的内存缓存,加速计算过程的数据读写。


∙       采用SSD+HDD混合部署的模式,解决了冷热数据存储成本问题。


∙       存储单节点吞吐量达到2.6GB/s,并随节点数增加线性增长,最大可扩展到近千节点。


相关文章
|
24天前
|
机器学习/深度学习 算法 数据挖掘
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
39 1
|
1月前
|
Rust 前端开发 JavaScript
前端性能革命:WebAssembly在高性能计算中的应用探索
【10月更文挑战第26天】随着Web应用功能的日益复杂,传统JavaScript解释执行模式逐渐成为性能瓶颈。WebAssembly(Wasm)应运而生,作为一种二进制代码格式,支持C/C++、Rust等语言编写的代码在浏览器中高效运行。Wasm不仅提升了应用的执行速度,还具备跨平台兼容性和安全性,显著改善了Web应用的响应速度和用户体验。
48 4
|
6月前
|
数据挖掘
高性能计算集群的主要应用场景
本文主要介绍弹性高性能计算集群的主要应用场景,您可以根据不同的应用场景配置不同的资源类型。
94 0
|
存储 弹性计算 并行计算
在高性能计算(HPC)场景下,阿里云存储的文件存储产品的实践
在高性能计算(HPC)场景下,阿里云存储的文件存储产品具有以下的应用需求和实践
460 4
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
400 0
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
325 0
|
弹性计算 缓存 运维
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(上)
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(上)
261 0
|
弹性计算 并行计算 数据挖掘
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)
275 0
|
机器学习/深度学习 人工智能 并行计算
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
229 0
|
存储
《HPC高性能计算数据存储解决方案蓝皮书》电子版地址
HPC高性能计算数据存储解决方案蓝皮书
140 0
《HPC高性能计算数据存储解决方案蓝皮书》电子版地址