6. 高性能计算存储在渲染行业的应用
1)需求背景
伴随着4K、VR、AI和仿真技术的高速发展,渲染、游戏等行业越来越依赖高性能计算平台来替代传统的IT分析系统,为业务进入快车道发展争取更多的时间窗口,而背靠在计算平台之后的存储系统是不可忽视的重要一环。
渲染属于典型的数字内容创作高性能计算应用,渲染的关键之处在于实现集群计算,让海量节点来分摊成百上千万的渲染小时。。随着文娱产业及工业的发展以及显示器硬件的高清化升级,用户和CG制作者对于图形质量如清晰度和画面细节的要求越来越高,行业对于渲染服务的需求规模和质量要求迅速扩大和提高。
2)解决方案
在渲染前,需要为大规模数据准备足够容量的存储设备;在渲染过程中,还需要高性能来完成大量的数据处理工作,以生成最终输出。所以,渲染业务对吞吐、IOPS和元数据OPS等要求都非常高,使用传统的存储解决方案将难以满足客户需求。为此可使用基于阿里云CPFS(并行文件系统)设计的计算存储解决方案。
目前CPFS支持公共云上即开即用,也支持通过阿里云定制的CPFS一体化软硬件服务用户的线下数据机房。由于渲染涉及的数据资产需要线下存储,因此本方案实践是通过线下实施部署的CPFS一体机。整体解决方案架构如下:
方案优势:
∙ 引入协议转换服务,解决多终端和多协议混用。
∙ 通过分布式的协议节点和存储节点,实现节点存储容量和性能实现弹性扩容。
∙ 在计算节点、CPFS客户端、协议节点和存储节点划分一定容量的内存缓存,加速计算过程的数据读写。
∙ 采用SSD+HDD混合部署的模式,解决了冷热数据存储成本问题。
∙ 存储单节点吞吐量达到2.6GB/s,并随节点数增加线性增长,最大可扩展到近千节点。