LTO助推磁带大容量存储技术超越磁盘HDD

简介: LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。

如前面提到,磁带的格式和技术标准,在之前有很多种类,也导致各种不兼容。为了解决这个问题,上世纪90年代,三个厂商联合研发线性磁带开放 技术,LTO,Linear Tape Open。LTO标准最初有两个格式,一个Ultrium,主要负责支持大容量技术,一个Accelis,主要负责高性能。磁带被采用的原因,目前跟性能也不相关,要性能的话,早就切换固态硬盘SSD了。所以目前一说LTO,基本上大家就等同于LTO Ultrium。

LTO Ultrium有自己的品牌和logo,也在不断推进LTO技术的发展。目前参与LTO Ultrium技术标准制定与推进的公司主要有:

  • Facebook
  • FujiFilm Corporation *
  • Hewlett Packard Enterprise *
  • IBM *
  • IMATION Corp.
  • Insurgo Media Services Limited
  • MAGSTOR
  • Maxell Holding, Ltd.
  • Quantum*
  • Silicon Craft Technology Public Company Limited
  • Sony Group Corporation *
  • SpectraLogic
  • Symply
  • TDK CORPORATION
  • Teijin Films Solutions Limited
  • Toray Industries, Inc.

LTO Ultrium技术在众多参与的者的推进下,目前已经发展到第九代Gen9,单个磁带盒非压缩容量可以支持18TB,压缩数据容量支持最大45TB,每个小时可以Navtive读写速率在400MB/s,压缩数据传输速率在1000MB/s,也就是每个小时可以读写3.6TB的数据。速率传输相对LTO6已经提升2倍多。

根据P5归档系统实际测试的速度,可以达到409.5MB/s,符合官网SPEC宣称标准。

LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。

在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。

LTO除了高容量,在安全性方面也有自己的特点。整体来讲,LTO的安全性类似于一个加强版的RAID6系统+一个超强的纠删码ECC。RAID6的特性是容忍任意两个盘的故障,安全性比RAID5/RAID10要高。

LTO采用两纬交叉纠错码C1和C2,均采用Reed-Solomon ECC原理。C1负责每个通道meta data和user data的校验,C2负责C1编码后多个通道的meta data和user data校验。

在LTO8和LTO9技术标准中,提供两种纠错的模式:

  • All error: 该模式下C1/C2分别独立纠错校验,之间没有关联
  • Erasure(a=1): 该模式下,如果C1纠错失败,则会把纠错失败的信息传递给C2,C2会通过2Bytes校验的能力,发现并纠正一个字节的错误。

特别是在最新的LTO9技术标准中,C2 code参数比之前要多1倍,纠错效率基本不变。

UBER是表征数据读取过程数据出错的概率,与HDD相比,LTO9的UBER是1E-20,HDD是1E-15,高出5个数量级。也就是说,HDD读取125TB的数据过程就可能发生错误,而磁带读取12.5EB的数据才会发生错误,可靠性是相当的高了。不过要注意,磁带也是磁性存储,注意防潮和消磁的发生。

在可靠性评估过程中,我们还会使用一个9's量级的参数来体现耐久性:

  • 比如HDD的UBER是1e-15,也就是在读取10^15bit中,有一个错误。换算出10^15bits/(4096bytes*8bits/byte)=3.05E+10, 我们就称这个是10个9的耐久性
  • LTO9磁带的耐久性是12个9,比HDD高出2个数量级。

此外,由于一些特殊的场景,比如SEC的安全法规要求,电子信息存储必须要使用不可复写的设备。这个就需要有存储介质有WORM (write once, read many,只写一次,可读多次)的特性。这个也是LTO磁带具有的特性。具有WORM这个特性,可以防止数据被篡改,保持数据的长久存储。

SEC 17a-4(f)(2)(ii)(A):“The electronic storage media must preserve the records exclusively in a non-rewriteable, non-erasable format.”

WORM数据保护特性,分为多个等级安全标准,可以通过软件/固件FW限制实现只允许写一次的功能,最安全的还是通过物理介质实现只写一次的WORM安全特性,也是安全等级最高的实现方式。

厂商在提供磁带的时候,一般会用介质盒不同的颜色来区分是否是WORM介质磁带,比如Fujifilm的LTO5两款磁带,左边Non-WORM磁带是整体红色盒子,右边WORM磁带是灰色+红色的盒子。

相关文章
|
存储 缓存 固态存储
VSAN存储故障导致虚拟机无法访问的VSAN数据恢复案例
VSAN数据恢复环境: 由四台某品牌服务器组建的VSAN集群,每台节点服务器上有两个磁盘组。每个磁盘组中有1块SSD硬盘+5块SAS硬盘,SSD作为闪存,SAS硬盘作为容量盘。 VSAN故障: VSAN集群中一个节点服务器上其中一个磁盘组中的容量盘出现故障离线,VSAN开始数据的重构迁移,数据迁移还没有完成的时候机房停电导致数据迁移中断。来电后启动所有设备后,管理员发现另一个磁盘组中的两块容量盘出现故障离线,VSAN数据存储出现问题。VSAN管理控制台可以登录,但是所有虚拟机都无法访问。
|
小程序 前端开发 算法
小程序实现个人支付功能
1.小程序的支付功能一直有人咨询 2.以前一直以为个人开发者是不可以使用支付功能的 3.但是微信自己有个骚操作 ,所以个人也可以使用小程序功能 4.下面介绍
1970 0
小程序实现个人支付功能
|
机器学习/深度学习 存储 SQL
全栈开发之MySQL主从同步,读写分离后可能引发的问题
全栈开发之MySQL主从同步,读写分离后可能引发的问题
625 0
全栈开发之MySQL主从同步,读写分离后可能引发的问题
|
8月前
|
Java 数据库连接 mybatis
MyBatis篇-映射关系(1-1 1-n n-n)
本文介绍了MyBatis中四种常见关系映射的配置方法,包括一对一、一对多、多对一和多对多。**一对一**通过`resultMap`实现属性与字段的映射;**一对多**以用户-角色为例,使用`<collection>`标签关联集合数据;**多对一**以作者-博客为例,利用`<association>`实现关联;**多对多**则通过引入第三方类(如UserForDept)分别在User和Dept类中添加集合属性,并配置对应的`<collection>`标签完成映射。这些方法解决了复杂数据关系的处理问题,提升了开发效率。
|
9月前
|
机器学习/深度学习 数据库 索引
Transformer 学习笔记 | Encoder
本文记录了学习Transformer模型过程中对Encoder部分的理解,包括多头自注意力机制(Multi-Head Self-Attention)和前馈网络(Feed-Forward Network)的工作原理。每个Encoder Layer包含残差连接(Residual Connection)和层归一化(Layer Normalization),以缓解梯度消失问题并稳定训练过程。文中详细解释了Q、K、V的含义及缩放点积注意力机制(Scaled Dot-Product Attention),并通过图解展示了各组件的工作流程。欢迎指正。
|
传感器 IDE 机器人
基于Arduino的扫地机器人
基于Arduino的扫地机器人
520 1
|
Java Linux iOS开发
窗口命令怎么查看正在运行的jar包并杀死该进程
窗口命令怎么查看正在运行的jar包并杀死该进程
1199 0
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
389 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
机器学习/深度学习 数据采集 数据可视化
【机器学习】样本、特征、标签:构建智能模型的三大基石
【机器学习】样本、特征、标签:构建智能模型的三大基石
6048 0
|
缓存 安全 小程序
从基础到进阶:掌握Java中的Servlet和JSP开发
【6月更文挑战第23天】Java Web开发中的Servlet和JSP是关键技术,用于构建动态网站。Servlet是服务器端小程序,处理HTTP请求,生命周期包括初始化、服务和销毁。基础Servlet示例展示了如何响应GET请求并返回HTML。随着复杂性增加,JSP以嵌入式Java代码简化页面创建,最佳实践提倡将业务逻辑(Servlet)与视图(JSP)分离,遵循MVC模式。安全性和性能优化,如输入验证、HTTPS、会话管理和缓存,是成功应用的关键。本文提供了一个全面的学习指南,适合各级开发者提升技能。
219 7