LTO助推磁带大容量存储技术超越磁盘HDD

简介: LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。

如前面提到,磁带的格式和技术标准,在之前有很多种类,也导致各种不兼容。为了解决这个问题,上世纪90年代,三个厂商联合研发线性磁带开放 技术,LTO,Linear Tape Open。LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。

LTO Ultrium有自己的品牌和logo,也在不断推进LTO技术的发展。目前参与LTO Ultrium技术标准制定与推进的公司主要有:

  • Facebook
  • FujiFilm Corporation *
  • Hewlett Packard Enterprise *
  • IBM *
  • IMATION Corp.
  • Insurgo Media Services Limited
  • MAGSTOR
  • Maxell Holding, Ltd.
  • Quantum*
  • Silicon Craft Technology Public Company Limited
  • Sony Group Corporation *
  • SpectraLogic
  • Symply
  • TDK CORPORATION
  • Teijin Films Solutions Limited
  • Toray Industries, Inc.

LTO Ultrium技术在众多参与的者的推进下,目前已经发展到第九代Gen9,单个磁带盒非压缩容量可以支持18TB,压缩数据容量支持最大45TB,每个小时可以Navtive读写速率在400MB/s,压缩数据传输速率在1000MB/s,也就是每个小时可以读写3.6TB的数据。速率传输相对LTO6已经提升2倍多。

根据P5归档系统实际测试的速度,可以达到409.5MB/s,符合官网SPEC宣称标准。

LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。

在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。

LTO除了高容量,在安全性方面也有自己的特点。整体来讲,LTO的安全性类似于一个加强版的RAID6系统+一个超强的纠删码ECC。RAID6的特性是容忍任意两个盘的故障,安全性比RAID5/RAID10要高。

LTO采用两纬交叉纠错码C1和C2,均采用Reed-Solomon ECC原理。C1负责每个通道meta data和user data的校验,C2负责C1编码后多个通道的meta data和user data校验。

在LTO8和LTO9技术标准中,提供两种纠错的模式:

  • All error: 该模式下C1/C2分别独立纠错校验,之间没有关联
  • Erasure(a=1): 该模式下,如果C1纠错失败,则会把纠错失败的信息传递给C2,C2会通过2Bytes校验的能力,发现并纠正一个字节的错误。

特别是在最新的LTO9技术标准中,C2 code参数比之前要多1倍,纠错效率基本不变。

UBER是表征数据读取过程数据出错的概率,与HDD相比,LTO9的UBER是1E-20,HDD是1E-15,高出5个数量级。也就是说,HDD读取125TB的数据过程就可能发生错误,而磁带读取12.5EB的数据才会发生错误,可靠性是相当的高了。不过要注意,磁带也是磁性存储,注意防潮和消磁的发生。

在可靠性评估过程中,我们还会使用一个9's量级的参数来体现耐久性:

  • 比如HDD的UBER是1e-15,也就是在读取10^15bit中,有一个错误。换算出10^15bits/(4096bytes*8bits/byte)=3.05E+10, 我们就称这个是10个9的耐久性
  • LTO9磁带的耐久性是12个9,比HDD高出2个数量级。

此外,由于一些特殊的场景,比如SEC的安全法规要求,电子信息存储必须要使用不可复写的设备。这个就需要有存储介质有WORM (write once, read many,只写一次,可读多次)的特性。这个也是LTO磁带具有的特性。具有WORM这个特性,可以防止数据被篡改,保持数据的长久存储。

SEC 17a-4(f)(2)(ii)(A):“The electronic storage media must preserve the records exclusively in a non-rewriteable, non-erasable format.”

WORM数据保护特性,分为多个等级安全标准,可以通过软件/固件FW限制实现只允许写一次的功能,最安全的还是通过物理介质实现只写一次的WORM安全特性,也是安全等级最高的实现方式。

厂商在提供磁带的时候,一般会用介质盒不同的颜色来区分是否是WORM介质磁带,比如Fujifilm的LTO5两款磁带,左边Non-WORM磁带是整体红色盒子,右边WORM磁带是灰色+红色的盒子。

相关文章
|
存储 运维 数据挖掘
技术干货:腾讯云为什么选择磁带库?
随着全球冷数据的持续爆炸,以及磁带介质数据密度提升的巨大潜力,磁带库的前景充满想象力。这篇文章讲述了磁带库在腾讯大规模落地的技术故事。
2468 0
|
存储 缓存 固态存储
VSAN存储故障导致虚拟机无法访问的VSAN数据恢复案例
VSAN数据恢复环境: 由四台某品牌服务器组建的VSAN集群,每台节点服务器上有两个磁盘组。每个磁盘组中有1块SSD硬盘+5块SAS硬盘,SSD作为闪存,SAS硬盘作为容量盘。 VSAN故障: VSAN集群中一个节点服务器上其中一个磁盘组中的容量盘出现故障离线,VSAN开始数据的重构迁移,数据迁移还没有完成的时候机房停电导致数据迁移中断。来电后启动所有设备后,管理员发现另一个磁盘组中的两块容量盘出现故障离线,VSAN数据存储出现问题。VSAN管理控制台可以登录,但是所有虚拟机都无法访问。
一日一技:使用 asyncio 如何限制协程的并发数
一日一技:使用 asyncio 如何限制协程的并发数
1240 0
一日一技:使用 asyncio 如何限制协程的并发数
|
机器学习/深度学习 存储 SQL
全栈开发之MySQL主从同步,读写分离后可能引发的问题
全栈开发之MySQL主从同步,读写分离后可能引发的问题
594 0
全栈开发之MySQL主从同步,读写分离后可能引发的问题
|
IDE 开发工具 Python
PyCharm IDEA 安装【Chinese(Simplified)Language Pack/中文语言包】插件汉化出错
安装【Chinese(Simplified)Language Pack/中文语言包】插件时报【Plugin Installation】错误
8246 1
PyCharm IDEA 安装【Chinese(Simplified)Language Pack/中文语言包】插件汉化出错
|
编解码 人工智能 API
通义万相2.1视频/图像模型新升级!可在阿里云百炼直接体验
通义万相2.1模型推出新特征,包括复杂人物运动的稳定展现、现实物理规律的逼真还原及中英文视频特效的绚丽呈现。通过自研的高效VAE和DiT架构,增强时空上下文建模能力,支持无限长1080P视频的高效编解码,并首次实现中文文字视频生成功能。升级后的通义万相荣登VBench榜单第一,提供电影级分镜效果、四格漫画故事速览及情侣头像创意定制等多种玩法,满足多样化的视觉创作需求。可直接在阿里云百炼平台调用API体验这些功能。
4042 0
|
8月前
|
机器学习/深度学习 数据库 索引
Transformer 学习笔记 | Encoder
本文记录了学习Transformer模型过程中对Encoder部分的理解,包括多头自注意力机制(Multi-Head Self-Attention)和前馈网络(Feed-Forward Network)的工作原理。每个Encoder Layer包含残差连接(Residual Connection)和层归一化(Layer Normalization),以缓解梯度消失问题并稳定训练过程。文中详细解释了Q、K、V的含义及缩放点积注意力机制(Scaled Dot-Product Attention),并通过图解展示了各组件的工作流程。欢迎指正。
|
7月前
|
Java 数据库连接 mybatis
MyBatis篇-映射关系(1-1 1-n n-n)
本文介绍了MyBatis中四种常见关系映射的配置方法,包括一对一、一对多、多对一和多对多。**一对一**通过`resultMap`实现属性与字段的映射;**一对多**以用户-角色为例,使用`<collection>`标签关联集合数据;**多对一**以作者-博客为例,利用`<association>`实现关联;**多对多**则通过引入第三方类(如UserForDept)分别在User和Dept类中添加集合属性,并配置对应的`<collection>`标签完成映射。这些方法解决了复杂数据关系的处理问题,提升了开发效率。
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
348 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper

热门文章

最新文章