【深度】2023年磁带市场迎来“二级存储”的新时代

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 磁带是最环保的存储技术,可以显著降低数据中心运营的碳排放和电子废物。结合改进的访问时间、更快的数据速率、50年的介质寿命、最低的TCO、最高的设备可靠性以及巨大的可持续性优势,现代磁带有望在走向ZB时代的巨大需求中发挥最大潜力。磁带已经明确地成为二级存储的首选。

随着Covid-19的广泛影响逐渐减弱,新的关切点浮现出来。这些包括地缘政治的紧张局势、全球气候变暖、脆弱的供应链、持续的通货膨胀、较高的利率,以及不断上涨的交通、医疗、食品和能源价格。所有这些因素共同勾勒出一个波动的宏观经济图景。毫不奇怪,这些趋势也导致了存储需求和预测的波动。目前每年至少25%的增长预测表明,存储的数据量将在三年内翻倍。


Zettabyte时代的存储需求推动着为有效满足Petascale和Exascale需求的先进解决方案。与此同时,对IT服务的不可抑制的需求将数据中心的能源使用、碳排放和整体环境影响置于大多数组织的关注之中。磁带目前是最经济、最环保的存储解决方案,但即使具备了磁带的新优势,世界上许多低活跃度的数据仍然因为惯性和缺乏战略规划而存在于错误的介质之上。具体而言,这些数据存储在更昂贵、需要持续电力和冷却以保持可靠运行的HDD上。


推动二级存储变革的因素是什么?

二级存储旨在通过更经济、更安全的存储介质长期保留相对不关键和不活跃的数据,这些数据不需要像主存储中的数据那样频繁访问。


TRENDFOCUS预测,到2025年,所有企业数据中心的安装存储容量预计将达到约8.4ZB,其中至少80%(约6.72ZB)被归类为归档或“冷”数据,使得二级存储成为迄今为止最大的数据存储市场。到2030年,总安装容量预计将达到约26.3ZB,表明二级存储需求将达到约21.04ZB。


这些预测表明,除非企业开始充分利用现代磁带技术的优势,否则大多数世界上的冷数据将继续存储在昂贵、能源消耗大的HDD上。显然,通过战略性地优化其存储基础设施,利用磁带的机会,数据中心将迎来前所未有的机遇


大数据趋势 - 2025年及以后

数据、AI、ML推动二级存储的发展。


二级存储(持久性存储)的目标是将相对不太关键的数据储存在经济高效、安全可靠的存储介质上,这些数据不需要像主存储中的数据那样频繁访问。


  • 到2025年,预计将有大约11.5 ZB 的数据存储在SSD、HDD和磁带上,年复合增长率为25-30%。
  • 超过80%的存储数据都是归档性质的(很少访问、冷数据)。
  • 超过80%的新创建数据是非结构化的。
  • AI、ML、大数据分析、边缘/物联网计算、虚拟现实、增强现实、游戏和机器人技术填充了这些归档。
  • 存档副本通常是数据的唯一副本。
  • 保留期超过100年在这方面是相当普遍的。
  • 活动存档已成为实际上的标准层。
  • 磁带被视为大数据存储库的最佳目标。
  • 是否会出现新的技术?

来源:Horison Information Strategies


大数据对二级存储产生了深远的影响,它指的是数据集如此庞大或复杂,以至于大多数传统数据管理工具无法高效存储或处理。大数据应用生成的数据速度超过了分析速度,显著延长了数据保留时间,并填充了忽略任何大小限制的数据湖。

据估计,约97%的企业正在投资于AI和ML技术,以挖掘大数据以获得竞争优势和更深入的客户洞察,并且是二级存储需求的主要来源。


以上列出的一些主要大数据应用在走向Zettabyte时代的趋势中蓬勃发展。更智能的过滤和数据减少技术正在边缘部署,用于处理物联网创建的数据,这些数据被排序、分析和调整,提高了业务效率,同时降低了不必要的存储和带宽成本。以下突出了两个应用,视频监控和社交媒体,它们保存数据的时间更长。这两个应用的数据通常可以在几天内达到归档状态。它们都正在重新定义其历史数据生命周期和老化特征。


对视频监控存储需求的深入分析

随着威胁格局的急剧演变,视频监控在仅仅五年内的重要性大大提升。因此,存储视频监控内容的数量正迅速增长。为了应对犯罪,组织正在各处安装摄像头,从工作场所到边缘,这些摄像头具有更高的分辨率和帧速率,以及更长的保留周期。


历来,HDD一直是监控数据的主要存储介质,然而,不断增加的保留周期使得在HDD上存储归档监控数据成为一种昂贵的选择。


结合AI的应用,历史视频监控内容的价值迅速上升,对更长保留时间的需求也在增加。据估计,视频监控市场现在消耗了所有HDD容量出货量的约8%。尽管大多数数据将在90-180天内达到归档状态,监控数据可以在创建后不到一周的时间内变为归档


通过充分发挥磁带与HDD的组合优势,可降低成本、功耗和碳足迹,实现更长、更安全的数据保留周期。这种情况是主动归档实施的另一个典型例子。


社交媒体的崛起推动了数据的创建、传输和存储需求

截至2023年1月,全球拥有47.6亿社交媒体用户和50.7亿互联网用户,几乎占据了全球人口的63.5%。移动技术的广泛普及增加了各地互联网用户的数量。互联网是社交媒体的高速通道,这些应用目前产生了全球互联网流量的约5.1%(带宽=PB级迁移数据量)。


社交媒体使人们能够扩展他们的网络、添加朋友、提升职业、建立联系,并找到具有稀缺技能的人。社交媒体平台以惊人的速度达到1亿用户,证明了人们与当今数字宇宙互动的渴望。ChatGPT,这个基于AI的流行聊天机器人,最近成为迄今为止最快达到1亿用户的社交媒体平台,仅在推出后的两个月内,比Instagram快了两年两个月。


在过去的12个月中,活跃社交媒体用户数量增加了1.9亿,年均增长4.2%,平均每秒有6个新用户加入。社交媒体用户每天花费近2.5小时创建、传输和存储数据。每一条“推文”、“左右滑动”、“发布”、“标记”、“朋友”或“赞”都会创建一定量的存储数据。仅在60秒内,YouTube上传了500小时的视频,Twitter用户发布了347200条推文,发送了1600万条短信。这累积成了大量的数据。


尽管大多数数据将在90-180天内达到归档状态,社交媒体数据可以在创建后不到一周的时间内变为归档。与监控数据类似,了解如何正确整合磁带和HDD,使其成为一个高度可扩展、成本效益的主动归档实施的典型场景。


云回归:本地化S3兼容磁带系统的战略意义

云存储回归描述了从云端回归到本地化存储基础设施的趋势。这种回归是一项战略性举措,正迅速积聚动力,推动基于磁带的混合云的兴起。相较于云存储外包,许多企业在本地化存储方面经历了显著更高的成本。通常,组织会自行管理“本地化”存储,而公有云存储服务商则负责管理和保障云端数据的安全性。


幸运的是,企业现在能够在自己的数据中心中利用许多已经广泛采用的AWS S3 Glacier接口,建立私有类Glacier云系统。利用S3,应用程序能够直接将数据写入磁带,从而打造出一个性能更高的本地Glacier存储解决方案。


以AWS Glacier服务为例,从中恢复数据可能需要4到48小时,具体取决于客户选择的服务定价级别。而通过本地磁带,数据恢复时间可以在几分钟内开始,提高了服务级别协议(SLA)。


混合磁带云为组织提供了更好的整体拥有成本、更高的安全性、可用性和容错性,因为数据不仅存储在本地,还存储在云存储基础设施中,有效提升了3-2-1-1数据保护策略的实效性。充分利用磁带技术极大地增强了云回归的价值主张。


LTO磁带容量在2022年创下新纪录

LTO计划技术提供商公司(TPC),包括HPE、IBM和Quantum,发布了他们的年度磁带介质出货报告,详细说明了截至2022年第四季度的同比出货情况。

与其它存储技术相比,LTO磁带容量出货呈现出逆势增长的态势

报告显示,2022年总共出货了148.3EB的磁带容量(压缩)。这一结果得益于持续大规模云服务提供商和企业对LTO技术的投资。出货表现强劲,延续了之前2019年114EB容量出货、2020年受疫情影响的105EB容量出货以及2021年148EB出货的增长趋势”。


锶铁氧体支持新的LTO技术路线图

2020年12月,采用锶铁氧体(SrFe)新型磁性粒子的磁带,创造了580TB(1.45 PB经过2.5倍压缩)的单盘容量。


相较于钡铁氧体(BaFe),SrFe表现出更卓越的磁性特性。与BaFe一样,SrFe是一种化学稳定的氧化物,采用较小的纳米颗粒,非常适合长期数据保存。未来十年以及更长时间内,磁带技术在面积密度扩展方面将维持其可持续的优势


LTO延伸至14代,以满足二级存储的增长

截至2022年9月6日,LTO计划技术提供商公司(TPC),包括HPE、IBM和Quantum,宣布更新的LTO技术路线图,将LTO Ultrium标准延伸至第14代。

新路线图要求每一代磁带容量翻倍,LTO-14每卷可提供高达1,440TB(1.44 PB压缩)。一旦推出,LTO-14的磁带容量可能超过当前LTO-9磁带容量的32倍。


考虑到Exascale二级存储需求的增长,这一新的LTO路线图的延伸尤为关键,因为它提供了低成本、可持续的长期存储,并增强了网络安全性。在这方面,没有其它存储技术能够提供相媲美的多代长期路线图


LTO-9全面提升容量、吞吐量和访问时间

LTO-9是最新一代产品,为磁带引入了更高的容量、数据速率、访问时间和可靠性改进的新特性。


具备3396英尺的磁带介质,LTO-9将LTO-8的本机磁带容量提高了50%至18TB(45TB压缩),并将驱动吞吐量提高至400MB/秒(增加11%),使得单个LTO-9驱动器每小时可写入高达1.44TB。


LTO-9的新特性oRAO(开放推荐访问顺序)减少了数据第一个字节的初始文件访问时间。此外,还开发了新的R/W头和伺服技术,记录更窄的数据轨道,从而提升了磁带容量。LTO-9保留了与LTO-8的全向后读写兼容性。


一个本机18TB的LTO-9磁带足以存储约2340000张数字照片,哈勃太空望远镜21个月的数据,720张蓝光光盘,9000小时的电影,或大约6480000首歌曲。对于具有巨大二级存储需求的超大规模、云端、高性能计算和大型企业数据中心而言,这种磁带容量的提升尤其受欢迎。


LTO-9的高可靠性及超长寿命

自2000年LTO-1推出以来,LTO磁带的容量增加180倍,数据速率增加20倍。


在同一时期,LTO磁带的指定不可纠正的位错误率(BER)提高了1000倍,提升了三个数量级。与最高HDD BER为1x1017相比,LTO-9提供了业界领先的不可纠正的位错误率为1x1020。1x1020的BER相当于每读取12.5EB的数据就会发生一次不可恢复的读取错误事件。


尽管磁带驱动器可能会出现故障,但只要可以使用另一个驱动器读取磁带上的数据,检索就是成功的。如今,最新的LTO和企业磁带产品比任何HDD都更为可靠


在2019年,以钡铁氧体为基础的LTO-7磁带的磁性信号强度在至少50年内保持稳定。在此之前,LTO磁带寿命的年限通常被评定为30年。HDD通常提供五年的保修期,并在大多数情况下会在此时更换。


尽管现代磁带介质可以持续50年甚至更长时间,但由于新驱动器和介质的技术、经济和运营优势,磁带驱动器通常在七到十年左右更换一次。知道磁带上存储的数据可以依赖数十年,使人们对归档的完整性充满信心。延长介质寿命有效地减少了对磁带系统进行介质重新制作和转换的频率。


数据中心可从磁带获得的可持续性优势

随着全球气候危机不断加剧,许多数据中心正在采取积极的可持续性项目,以降低能源消耗和二氧化碳排放。


根据Gartner研究,到2027年,预计将有75%的组织将实施数据中心可持续性计划。分析师们预计,这一增长(从2022年的不到5%)将由利益相关者的压力和降低成本的愿望共同推动。


据估计,今天数据中心对全球电力消耗的贡献占比已经达到了3%,到2030年预计将达到4%。服务器和HDD是数据中心能源消耗的两大主力。而包含低活动数据的磁带盒在其寿命中的大部分时间都位于库槽或脱机架中,仅在安装在磁带驱动器中时才消耗能量。


理论上,平均规模的超大规模设施每年消耗20-50兆瓦电,足以为大约37000户家庭供电。超大规模数据中心存储超过50%的所有企业数据(见第1页的TRENDFOCUS图表),是二氧化碳排放和碳足迹最大的发生器。


然而,作为庞大计算和存储占地面积的聚合体,超大规模数据中心是所有数据中心中最有效降低能源和碳足迹,并具有最佳的数据中心电源使用效率(PUE)评级。尽管估算存在差异,但一些研究估计整个IT行业可能使用产生的所有电力的20%,并排放全球碳排放的5.5%。减少数据中心碳排放和电子废弃物带来的整体环境影响是巨大的。


磁带减少碳排放和电子废弃物

《使用现代磁带存储改善信息技术可持续性》是由Brad John's Consulting发布的研究论文,它将全HDD解决方案与全磁带解决方案以及将60%的HDD驻留(低活动)数据移至磁带的主动归档进行了比较。


将HDD数据的60%移至磁带,持续10年,将碳排放降低了58%,电子废弃物减少了53%。对于电子废弃物(eWaste),将全部100 PB存储在HDD上,并在5年后进行更新,将产生8.2吨的电子废弃物,而将60%的数据存储在磁带上则产生了4吨的电子废弃物,减少了51%。


该研究论文分析了由于能源消耗和与存储介质的原材料采购、制造和最终处理相关的排放而产生的CO2e。

根据报告,与全HDD存储策略相比,磁带的CO2e排放量要少97%!


随着对二级存储需求的不断增加,可以预期磁带将在数据中心可持续性倡议中发挥关键作用,因为将低活动数据从HDD移至磁带将带来巨大回报。在旋转的HDD上存储低活动和归档数据是一种策略,只是不是一种经济效益或环保友好的策略。


磁带空气隔离技术提供了防范网络犯罪的能力

磁带是唯一真正的数据中心存储技术,实现了真正的空气隔离。所谓的“磁带空气隔离”(tape air gap)意味着在没有机器人或人为干预的情况下,无法直接对存储在可移动磁带盒上的数据进行恶意软件攻击(黑客攻击)。相比之下,HDD和SSD系统始终在线,易受网络犯罪攻击,这使得磁带成为目前唯一可行的数据中心隔离存储解决方案,是任何数据保护策略的关键组成部分。位于机器人磁带库槽或架中的磁带始终受到空气隔离的保护。


备份作为最初的数据保护策略已不再足够,而流行且基因多样的3-2-1-1备份策略要求企业在两种不同介质上保留备份数据的三个副本,其中一个副本在离线状态,另一个副本则处于空气隔离状态。将空气隔离副本与加密和WORM结合,磁带加强了任何数据中心网络韧性策略。具有诸如LTO-9的oRAO等功能的磁带备份数据的恢复时间得到了显著改善,可以将文件访问时间减少高达73%,以提高备份文件和归档数据的恢复效率。


对于许多数据中心来说,归档副本通常是归档数据的唯一副本,因此暴露在任何数据丢失事件中。由于未开发的归档数据的业务价值正在增加,因此在不同地理位置创建第二个安全的空气隔离副本将成为战略性的数据保护策略。为了提高可用性,归档副本可以通过实施2-2-1归档策略在不同的物理位置创建归档数据的第二个副本。


多家磁带库供应商通过提供带有托管分区的库来增加额外的空气隔离保护功能,这些分区由专用槽组成,对外部应用程序不可见。这些隔离的分区不包含任何驱动器,在库内提供了一个安全的空气隔离存储位置,提供了额外的访问屏障。分区仅由磁带库管理员配置,管理员可以创建、修改、删除或重新配置分区以满足任何所需的大小。由于分区磁带保留在库中,避免了物理介质处理。在备份和归档数据的大规模情况下,现代磁带以有利的价格点提供了不可变的空气隔离,应成为任何数据保护策略的一部分,无论是在本地、云端还是混合云中。


2022年,勒索病毒的平均攻击成本为455万美元,略高于数据泄露的435万美元,而网络犯罪的总成本预计将在2025年达到10.5万亿美元。根据VEEAM在2023年的报告,全球93%的勒索病毒攻击企图感染备份存储库。


加密可保护数据免受盗窃、篡改或破坏,通过将数据混淆为只能使用唯一的数字密钥解锁的秘密代码。网络犯罪分子因此无法阅读或利用被盗取的加密数据。企业可以通过实施3-2-1-1备份策略,利用加密、磁带的空气隔离和离线备份,构建更强大的网络防御。


RAIL为大规模二级存储系统提供地理性韧性

地理扩展是将关键任务的IT组件或数据分布在位于不同地理位置的多个数据中心的过程。地理扩展充当安全网,以防止主站点失败、中断发生或整个地区受到灾难影响。RAIL(独立库的冗余阵列)为大规模二级存储和超大规模需求提供了高可用性。

RAIL是地理扩展的一个组成部分,类似于RAIT(独立磁带的冗余阵列,Redundant Arrays of Independent Libraries),它将数据条带化到不同的磁带盒中,而这些盒可以位于不同的地理位置。RAIL使用纠删码实现更高的可用性,以在设备、整个数据中心停机或自然灾害时提供更高的地理弹性。


分层存储有效解决二级存储的挑战

有效解决“在正确的时间、正确的地方以及正确的成本下获取正确的数据”的存储优化挑战为存储管理员提供了最大的总回报。为了应对这一挑战,必须充分利用分层存储的优势,结合智能软件、SSD、HDD和磁带。随着大多数数据老化,访问频率迅速下降,数据通常在90到180天之间达到归档状态,最终成为冷数据。许多归档数据在达到归档状态后仍然存在于HDD中,成为冷数据的昂贵存储位置。将HDD数据的60%移至磁带的分层方法,估计十年总成本(TCO)从17707468美元降至9476339美元,节省46%。将所有数据转移到磁带可实现78%的成本降低。

分层存储实现最大经济效益时应充分利用磁带层。根据策略在层次之间移动数据的智能数据管理软件是优化分层存储基础设施的关键组成部分。未来,预计AI将在数据管理决策中发挥更重要的作用。实际上,添加磁盘是战术性的,而添加磁带是战略性的。


市场动态对Flape(Flash+Tape)有利

“Flape”(即Flash+Tape)的概念并非新鲜,但在当前市场动态下,随着闪存/SSD的成本接近HDD,而磁带的价值主张(低成本、低能耗、容量/可扩展性、长期归档寿命、空气隔离等)变得更加相关。


Flash和磁带系统是互补的,组织可以消除昂贵、能源密集型的HDD的中间层,只需依赖闪存层获得卓越的性能提升、微秒级的延迟、宏观效率和企业可靠性。然后,磁带用于获得最佳的数据流性能、无与伦比的成本效益、高容量、可扩展性以及低功耗和占地面积。


首次提出利用闪存+磁带的好处是在2012年由分析公司Wikibon确定的。Flape架构背后的概念是将最活跃的数据以及元数据放在闪存上,将其余的冷数据存储在磁带上。Flape架构有助于满足实时、活跃数据的性能要求(最佳/IOP)以及长期数据保留的预算要求(最佳/IOP)以及长期数据保留的预算要求(最佳/TB)。


考虑到对闪存/SSD、磁带和HDD的投资以及随时间推移的每种解决方案的成本,Flape架构是有道理的,尤其是在考虑解决方案的可管理性和环境因素(电力、冷却、占地面积)时。Flape解决方案可以帮助IT将难以管理、不经常访问的大数据转化为真正的业务资产。


LTO为二级存储提供引人注目的价值主张

磁带行业的当前状态突显了近年来在智能库、新驱动器、先进介质和智能管理软件方面的持续发展和投资。下面的磁带价值主张引人注目,解决了对更高可靠性、更大容量、更好的能效、易用性以及任何可用存储解决方案的最低$/TB和TCO的不懈需求。


结 论

数字数据的创建每年继续以25%或更高的速度增长,全球至少80%的数字数据是最适合用于二级存储的低活动性数据。作为对这一挑战的回应,磁带生态系统近年来显著扩展了其能力。从最初的备份和后来的归档目标起,现代磁带支持许多大数据应用,这些应用在历史上一直是昂贵HDD领域的重要组成部分。磁带还已经成为防范网络犯罪的主要安全、纯粹的长期存储解决方案,通过无缝集成空气隔离、加密和WORM功能。路线图表明,稳定的磁带创新趋势将持续至未来。


磁带是最环保的存储技术,可以显著降低数据中心运营的碳排放和电子废物。决心控制基础设施成本并改善可持续性指标的领先组织将被激发重新思考现有的数据存储实践,并充分利用先进的磁带技术。结合改进的访问时间、更快的数据速率、50年的介质寿命、最低的TCO、最高的设备可靠性以及巨大的可持续性优势,现代磁带有望在走向ZB时代的巨大需求中发挥最大潜力。


新磁带进步的崛起与二级存储需求的崛起不谋而合。经过仔细考虑可预见的未来替代方案 - 磁带已经明确地成为二级存储的首选

相关文章
|
存储 固态存储 算法
浅析数据中心存储发展趋势
产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。
|
存储 数据中心
服务型存储市场的现状
本文讲的是服务型存储市场的现状,磁盘存储已经成为数据中心最大的开支源之一,现有阵列的成本不断增加,IDC预计企业存储基础设施将在10年后增长300%。在这种情况下,越来越多的人担心企业将陷入存储数据的巨额成本之中。
988 0
|
存储 分布式计算 数据中心