一文读懂温冷数据存储的技术选型

本文涉及的产品
对象存储 OSS,标准 - 本地冗余存储 20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 在温存储或者冷存储领域,通常都是追求低成本和高密度。在满足这两个条件的情况下,性能越高越好。但不管怎么说,冷存储或者温存储,都应是绿色节能的。

日前,在昆腾举办的技术研讨会上,售前技术负责人张可翔做了《昆腾对象存储ActiveScale》的主题分享,对温冷存储的技术选型以及昆腾的解决之道做了深入的解析。


温冷数据的存储

目前,在对象存储领有很多的使用场景。通常来说,支持AWS的S3协议,就可以把它归类于对象存储。对象存储还有一些特征,比如没有目录数的结构,所以理论上可以存储无限量的对象或者是文件,而且性能不会有太大的降低。


虽然,S3协议支持很多的存储,但是一般情况,对象存储不会被直接应用在高性能的场景。比如在文件、对象被频繁读写或者改变对象中的某几个字节等。所以,对象存储的主流使用场景还是在温存储或者冷存储。


而在温存储或者冷存储领域,通常都是追求低成本和高密度。在满足这两个条件的情况下,性能越高越好。但不管怎么说,冷存储或者温存储,都应是绿色节能的。


温冷存储技术选项及考量

目前,存储技术主要有闪存、磁盘、磁带、光盘、公有云和合成DNA。


闪存兼具低功耗和高性能的优势,通常应用高速存储场景。在冷存储领域,闪存极少被使用,毕竟成本很高。


相较于闪存来说,机械硬盘成本要低一些,但是它的存储密度已经濒临瓶颈,在未来很难有大的容量提升。另外,硬盘的功耗也比闪存高,即便是采用一些先进的技术,比如在系统闲时将硬盘转速降下来,但它依然会有持续的电能消耗。目前市面上容量比较大的硬盘,比如18TB的7200RPM的CMR硬盘价格约为2500元。当然还有6TB的5400RPM的SMR硬盘,主要用于冷数据存储或归档,价格约为800元。


磁带在冷存储领域是很重要的选项,其最大特点是成本较低;另外,它还具备绿色节能的特质。尽管已经做了很多的智能化等优化设计,磁带还是没有闪存或硬盘用起来那么方便。LTO8和LTO9是目前主流,预计明年LTO10就将面世,单盘的非压缩容量将达到36TB。目前,容量为12TB的LTO8磁带价格约为800元;容量为18TB的LTO9磁带的价格约为1600元。


光盘在冷存储或是归档领域应用还是较多。虽然光盘支持多次刻录,但是它的成本比较高,因此性价并不高。光盘存储通常以光盘盒或光盘匣的形式出现,但即便这样,其存储容量也不高。目前单片光盘最大容量为500GB,通常光盘匣能容纳10-12片光盘,这样总的容量也就是5TB-6TB的水平。下一代光盘的单片容量将达到1TB,但容量为12片光盘的光盘匣的总容量也仅为12TB。这里提及的光盘并非市面上常见到的消费级产品,而是归档级别的,因此很难在零售市场买到,其价格区间为1300元-2800元。


公有云的使用比较便捷,只要有足够的带宽,并按时付费,就可以使用存储服务。从容量来看,基本上是“无上限”的,但是使用成本和安全性需要关注。


DNA是一种未来的存储技术,它的密度非常之高。闪存或者硬盘均是采用多叠或堆叠的方式提升单位空间,但DNA完全颠覆了这一模式。DNA的存储密度基本上是目前主流存储介质的十万倍以上。如果DNA存储技术未来商用或者商业化,无论是温冷数据存储还是高性能存储都会产生翻天覆地的变化。


昆腾的解决之道

昆腾主要关注磁带技术,以更好地解决温冷数据的存储问题。事实上,磁带库是可以直接挂在文件系统或者操作系统上,然后进行使用的。比如在Linux系统上,就可以通过光纤将磁带库链接起来,然后就可以对其进行操作。还有一种大家经常听到的LTFS技术,通过它可以对磁带进行格式化,然后这盘磁带就可以变成类似于U盘或者硬盘一样,进行分区等操作。另外,当磁带数量很多的时候就面临着管理的问题。

为了将磁带和磁带库用好,发挥其最大效能,昆腾推出了两大类产品。


第一类就是StorNext文件存储系统,它相当于在磁带库的前端嫁接了一套文件存储或NAS存储,将其作为数据的缓存。当要读取磁带库的数据的时候,就可以把这些数据缓存到前端的硬盘上来提供数据访问能力。


第二类则是ActiveScale对象存储系统,它主要是面向海量的数据存储,其文件数量或者对象数量是远远超过NAS系统的。昆腾将ActiveScale和磁带库作为一个整体,对外提供S3的访问协议来支撑对象类的应用。


目前,昆腾聚焦在磁带和DNA这两个领域。在LTO磁带技术联盟里面,昆腾是成员之一;在DNA DATA Storage组织,昆腾也是主要成员之一。昆腾希望在这些领域持续地提升技术,并将它们真正应用到实际的生产当中。

相关实践学习
通义万相文本绘图与人像美化
本解决方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。
相关文章
|
存储 运维 数据挖掘
技术干货:腾讯云为什么选择磁带库?
随着全球冷数据的持续爆炸,以及磁带介质数据密度提升的巨大潜力,磁带库的前景充满想象力。这篇文章讲述了磁带库在腾讯大规模落地的技术故事。
2785 0
|
存储 运维 安全
磁带存储技术演进简史
磁带使用的磁颗粒的密度,被证实可线性增加。当前的LTO磁带采用钡铁氧体磁体,单盘磁带的容量可以做到220TB;而采用锶铁氧体磁体的LTO磁带,单盘容量将轻松达到580TB!LTO技术联盟正是通过改进磁体颗粒密度的方法使得每盒磁带的容量得到巨大的提升,并已经在实验室研制出单盘容量为580TB的磁带产品。
941 0
|
API Apache 数据库
Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架
Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ~
109767 8
 Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架
|
SQL 存储 关系型数据库
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
13807 0
|
NoSQL 索引
MongoDB查询优化:从 10s 到 10ms
本文是我前同事付秋雷最近遇到到一个关于MongoDB执行计划选择的问题,非常有意思,在探索源码之后,他将整个问题搞明白并整理分享出来。付秋雷(他的博客)曾是Tair(阿里内部用得非常官方的KV存储系统)的核心开发,目前就职于蘑菇街。
|
自然语言处理 搜索推荐 BI
有哪些好用的待办事项提醒软件?主流7款大对比
随着生活和工作节奏的加快,待办事项提醒软件成为了我们的“救命神器”。本文评测了7款主流的待办事项软件:板栗看板、Todoist、Microsoft To Do、TickTick、Google Keep、Any.do 和滴答清单,从功能、适用场景和优缺点等方面进行对比,帮助你找到最适合自己的那一款。无论是团队协作、个人时间管理还是生活与工作的平衡,总有一款能满足你的需求。
5749 1
|
Ubuntu Linux 文件存储
如何使用 Linux 构建自己的 NAS 系统?
【7月更文挑战第28天】
8612 7
如何使用 Linux 构建自己的 NAS 系统?
|
Kubernetes Cloud Native Java
探索Quarkus:Java的新一代高性能轻量级框架
探索Quarkus:Java的新一代高性能轻量级框架
5198 3
|
存储 监控 安全
80%以上是冷数据!昆腾的数据归档之道
中国的冷、温、热数据分别占比80%、15%和5%,冷数据是最多的。而对于冷数据来说,计算不是常态,主要是存储。中国算力中心的“存力”相对不足,中国数据存储产业大有可为。
680 0
80%以上是冷数据!昆腾的数据归档之道