一文读懂温冷数据存储的技术选型

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 在温存储或者冷存储领域,通常都是追求低成本和高密度。在满足这两个条件的情况下,性能越高越好。但不管怎么说,冷存储或者温存储,都应是绿色节能的。

日前,在昆腾举办的技术研讨会上,售前技术负责人张可翔做了《昆腾对象存储ActiveScale》的主题分享,对温冷存储的技术选型以及昆腾的解决之道做了深入的解析。


温冷数据的存储

目前,在对象存储领有很多的使用场景。通常来说,支持AWS的S3协议,就可以把它归类于对象存储。对象存储还有一些特征,比如没有目录数的结构,所以理论上可以存储无限量的对象或者是文件,而且性能不会有太大的降低。


虽然,S3协议支持很多的存储,但是一般情况,对象存储不会被直接应用在高性能的场景。比如在文件、对象被频繁读写或者改变对象中的某几个字节等。所以,对象存储的主流使用场景还是在温存储或者冷存储。


而在温存储或者冷存储领域,通常都是追求低成本和高密度。在满足这两个条件的情况下,性能越高越好。但不管怎么说,冷存储或者温存储,都应是绿色节能的。


温冷存储技术选项及考量

目前,存储技术主要有闪存、磁盘、磁带、光盘、公有云和合成DNA。


闪存兼具低功耗和高性能的优势,通常应用高速存储场景。在冷存储领域,闪存极少被使用,毕竟成本很高。


相较于闪存来说,机械硬盘成本要低一些,但是它的存储密度已经濒临瓶颈,在未来很难有大的容量提升。另外,硬盘的功耗也比闪存高,即便是采用一些先进的技术,比如在系统闲时将硬盘转速降下来,但它依然会有持续的电能消耗。目前市面上容量比较大的硬盘,比如18TB的7200RPM的CMR硬盘价格约为2500元。当然还有6TB的5400RPM的SMR硬盘,主要用于冷数据存储或归档,价格约为800元。


磁带在冷存储领域是很重要的选项,其最大特点是成本较低;另外,它还具备绿色节能的特质。尽管已经做了很多的智能化等优化设计,磁带还是没有闪存或硬盘用起来那么方便。LTO8和LTO9是目前主流,预计明年LTO10就将面世,单盘的非压缩容量将达到36TB。目前,容量为12TB的LTO8磁带价格约为800元;容量为18TB的LTO9磁带的价格约为1600元。


光盘在冷存储或是归档领域应用还是较多。虽然光盘支持多次刻录,但是它的成本比较高,因此性价并不高。光盘存储通常以光盘盒或光盘匣的形式出现,但即便这样,其存储容量也不高。目前单片光盘最大容量为500GB,通常光盘匣能容纳10-12片光盘,这样总的容量也就是5TB-6TB的水平。下一代光盘的单片容量将达到1TB,但容量为12片光盘的光盘匣的总容量也仅为12TB。这里提及的光盘并非市面上常见到的消费级产品,而是归档级别的,因此很难在零售市场买到,其价格区间为1300元-2800元。


公有云的使用比较便捷,只要有足够的带宽,并按时付费,就可以使用存储服务。从容量来看,基本上是“无上限”的,但是使用成本和安全性需要关注。


DNA是一种未来的存储技术,它的密度非常之高。闪存或者硬盘均是采用多叠或堆叠的方式提升单位空间,但DNA完全颠覆了这一模式。DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化,无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。


昆腾的解决之道

昆腾主要关注磁带技术,以更好地解决温冷数据的存储问题。事实上,磁带库是可以直接挂在文件系统或者操作系统上,然后进行使用的。比如在Linux系统上,就可以通过光纤将磁带库链接起来,然后就可以对其进行操作。还有一种大家经常听到的LTFS技术,通过它可以对磁带进行格式化,然后这盘磁带就可以变成类似于U盘或者硬盘一样,进行分区等操作。另外,当磁带数量很多的时候就面临着管理的问题。

为了将磁带和磁带库用好,发挥其最大效能,昆腾推出了两大类产品。


第一类就是StorNext文件存储系统,它相当于在磁带库的前端嫁接了一套文件存储或NAS存储,将其作为数据的缓存。当要读取磁带库的数据的时候,就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。


第二类则是ActiveScale对象存储系统,它主要是面向海量的数据存储,其文件数量或者对象数量是远远超过NAS系统的。昆腾将ActiveScale和磁带库作为一个整体,对外提供S3的访问协议来支撑对象类的应用。


目前,昆腾聚焦在磁带和DNA这两个领域。在LTO磁带技术联盟里面,昆腾是成员之一;在DNA DATA Storage组织,昆腾也是主要成员之一。昆腾希望在这些领域持续地提升技术,并将它们真正应用到实际的生产当中。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
消息中间件 缓存 NoSQL
谈谈高并发系统的设计方法论
设计 `高并发` 系统,就是要让该系统保证它 `整体可用` 的同时,能够尽可能多的 `处理很高的并发用户请求`,能够 `承受很大的负载流量冲击`。
382 6
|
2月前
|
存储 缓存 负载均衡
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:四
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:四
|
2月前
|
存储 机器学习/深度学习 固态存储
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:二
|
2月前
|
分布式计算 关系型数据库 大数据
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:九
|
2月前
|
存储 负载均衡 分布式数据库
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:六
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:六
|
2月前
|
存储 安全 网络安全
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:八
|
2月前
|
存储 负载均衡 算法
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:一
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:一
|
2月前
|
存储 缓存 运维
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:三
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:三
|
2月前
|
存储 缓存 运维
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:五
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:五
|
2月前
|
SQL 关系型数据库 分布式数据库
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:七
「读书笔记」《大规模分布式存储系统:原理解析与架构实战》:七