突破吞吐限制,多NAS性能聚合方案,数据上传及读写

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 本文提出一种通过挂载多个NAS来获取更高文件存储吞吐性能的方法,适合特殊场景下的一些应用

阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。
NAS的吞吐性能和存储容量/存储包大小相关,在大多数情况下,客户数据量不到1TB,单一容量型NAS文件系统所能达到的吞吐大约为120MB/s左右,具体数据如下图:
image
在有些场景下面,客户需要将数据从本地存储阵列/云存储阵列/云OSS上迁移到NAS,并对这些数据进行读写和后续计算。那么如何在不花费更多钱(购买更大存储包)的情况下,获取更高的数据上传速度和读写性能呢?本文将介绍其中一种方法:将源数据迁移到多个NAS,并用软链接组装上传后的文件目录,以让多个NAS从逻辑上形成和源数据一致的结构。经测试,在4个NAS上的数据上传吞吐能力达到440MB/s。

第一部分,如何将本地存储阵列(或其他高吞吐设备)中目录/data/下的所有数据上传到NAS?
使用NAS分布式上传工具nasimport2.0(目前尚未发布到公有云页面,如有需要请钉钉联系王俊俏)。下面对工具作简要介绍:
前提条件:一台(或若干台)服务器,可以同时访问源数据和NAS文件系统,打通ssh通道。创建若干个nas(比如4个)挂载上, 目录为/nas/mnt1,/nas/mnt2,/nas/mnt3/,/nas/mnt4/。

工具原理:工具采用master-slave模式,一台机器上master启动后在本机(或者配置好的其他机器上)启动若干个slave,然后扫描源数据目录下面所有的文件,在文件级别将若干文件作为一个批次,每个批次作为一个job分发给slave分别上传。所有job完成之后,源目录/data/下的所有文件,都分布在了4个nas上,也就是/nas/mnt1,/nas/mnt2,/nas/mnt3/,/nas/mnt4/上面。之后把这四个目录下面的所有文件软链接到/nas/mnt1/下面,使得从/nas/mnt1/入口可以访问到所有的原始文件。
链接前的目录结构比如是这样:
image
链接后:
image

第二部分:数据上传到NAS之后的读写。在一些场景下,上传后的数据直接作为原始数据,会被计算程序多次读取,这样的话,直接把/nas/mnt1/作为目录的入口就可以了。多线程并发读的情况,吞吐可以充分发挥4个NAS的优势,理论上也可以达到400MB/s的吞吐。在写的情况下,如果创建新的目录会创建在父目录所在的NAS上,写入速度取决于数据目录的形式,但至少会比单个NAS性能要好。

以上就是利用多个NAS聚合产生更高IO性能的一种方式。分布式上传工具和rebuild 目录的工具目前均在内测阶段

相关实践学习
基于ECS和NAS搭建个人网盘
本场景主要介绍如何基于ECS和NAS快速搭建个人网盘。
阿里云文件存储 NAS 使用教程
阿里云文件存储(Network Attached Storage,简称NAS)是面向阿里云ECS实例、HPC和Docker的文件存储服务,提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布式文件系统。 产品详情:https://www.aliyun.com/product/nas
相关文章
|
6月前
|
存储 文件存储
DAS和NAS的性能对比?
【6月更文挑战第29天】DAS和NAS的性能对比?
102 4
|
机器学习/深度学习 人工智能 文件存储
AAAI 2023 | 打破NAS瓶颈,新方法AIO-P跨任务预测架构性能
AAAI 2023 | 打破NAS瓶颈,新方法AIO-P跨任务预测架构性能
180 0
|
算法 文件存储 计算机视觉
CVPR‘2023 | PA&DA:联合优化路径和数据采样的超网一致性NAS
CVPR‘2023 | PA&DA:联合优化路径和数据采样的超网一致性NAS
268 0
|
7月前
|
存储 弹性计算 容灾
通过HBR实现NAS容灾方案
本文介绍如何基于NAS+云上备份HBR实现云文件数据容灾。
238 0
通过HBR实现NAS容灾方案
|
7月前
|
存储 弹性计算 容灾
通过HBR实现NAS容灾方案
本文介绍如何基于NAS+云上备份HBR实现云文件数据容灾。
通过HBR实现NAS容灾方案
|
存储 弹性计算 网络协议
NAS支持企业IPv4-IPv6全栈改造方案
简介:工信部在《推进IPv6规模部署行动计划》规定中央及省部级政务、央企、新闻广电单位网站将于2018年底全面支持IPv6访问,并提出下一代互联网自主技术体系和产业生态,2020年底,预计中国会有5亿终端支持IPv6,整体占比超过50%,NAT网关无法长时间维持海量会话,无法满足物联网的终端永久在线的述求。因此升级IPv6刻不容缓。阿里云文件存储(Network Attached Storage,简称 NAS) 提供VPC内的IPv4-IPv6的双栈访问,助力企业平滑升级到Ipv6架构。
12987 0
|
存储 弹性计算 固态存储
免租用云主机将mineportal2做成nas,是个人件也可服务于网站系统是聚合工具也是独立pod的宿舍家用神器
本文关键字:利用包含nsd的mineportal将个人pc打造成nas,apache的oc透露owncloud静态网站服务,发布portalbox,based on colinux and mailbox,一个网站和个人件,hostos与guestos的最佳组合
510 0
免租用云主机将mineportal2做成nas,是个人件也可服务于网站系统是聚合工具也是独立pod的宿舍家用神器
|
存储 Kubernetes 关系型数据库
|
Kubernetes 关系型数据库 MySQL
【阿里云新品发布·周刊】第20期:文件存储极速NAS商业首发,百微秒级稳定时延下小文件操作性能提升
点击订阅新品发布会! 新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多内容,了解更多 最新发布 极速NAS重磅发布 2019年8月7日15时,文件存储极速NAS商业首发。
2575 0
【阿里云新品发布·周刊】第20期:文件存储极速NAS商业首发,百微秒级稳定时延下小文件操作性能提升
|
存储 人工智能 前端开发
企业数据创新之旅——高性能NAS助力业务上云
在2018年云栖大会·南京峰会的飞天技术汇专场中,阿里云产品专家王登宇带来了题为《企业数据创新之旅——高性能NAS助力业务上云》的精彩技术分享。在分享中,他首先介绍了企业上云面临的困难和阿里云存储之路;随后对NAS文件存储产品家族的技术架构和适用场景进行了分析;分享最后,他结合基因、视频、AI等具体客户对NAS助力业务上云进行了详细讲解。
9458 0