Hadoop和Web 2.0可能让磁带“东山再起”

简介:
+关注继续查看
 在电子计算机出现的时候,磁带就出现了,现在,磁带仍然用于很多类型的长期存储中,但它在基于web的应用中并没有发挥太多作用。当消费者到社交网站查看旧照片时,这些照片很有可能存储在低成本的磁盘上,不过,Facebook现在正在试图将这种类型的数据进行闪存。

目前,磁带专家Spectra Logic推出了一个软件接口和一款设备,来帮助企业将大量较少使用的数据转移到磁带库。该公司产品管理和全球营销执行副总裁Molly Rector表示,磁带是长时间存储不需要经常使用的文件的最便宜的方式。

一些行业分析师表示,在具有大数据的企业中,磁带的作用正变得越来越大。磁带系统的整体销售在下降,但个别部署正在变大,低成本和能量需求是磁带的主要优势。

上周四, Spectra Logic公司推出了BlackPearl深度存储设备,该设备使用了该公司最近推出的DS3接口。该设备可以结合针对Hadoop和其他大数据环境的特殊软件客户端,或者企业和软件供应商自己编写的客户端。

到目前为止,Web和云计算数据并没有直接的接口到磁带存储系统。磁带库有着特殊的要求,包括需要找到正确的墨盒以及进行检索。她表示:“你需要知道如何跟机器人交谈。”这意味着需要复杂的中间件,而web和云计算公司通常不想应对这种中间件。

DS3和BlackPearl就提供了这个缺少的环境,使用REST(代表性状态传输),这是web和云计算环境常用的一种架构方法。Rector表示,“现在,他们只需要编写一个正常的REST应用程序,而不需要担心其它事情。”该设备能够完成其他的事情,包括管理数据传输过程以及分配对象元数据。目前,BlackPearl被设计为只能用于Spectra Logic磁带库。

在该设备背后,磁带存储系统可疑从15TB扩展到多个PB级。对于娱乐、生命科学、石油和天然气勘探、政府、金融机构和社交媒体,以及云存储供应商来说,这非常实用。Yahoo已经开始使用该技术来存储Hadoop数据。

当用户想要检索磁带存储中的数据时,这通常需要大约60秒,虽然一张照片缩略图可能会更快出现。磁带的一大优势是低成本,根据Spectra表示:在典型配置下,具有磁带库的BlackPearl的售价范围是每千兆0.09美元到0.14美元,对于10PB以上的非常大的系统而已,价格甚至更便宜。

这比基于硬盘或云存储服务的长期存储更便宜,用户可以在需要的时候访问这些数据,而不需要增加成本,而对于云存储,情况并非总是如此。磁带是最节省空间的存储技术,通常的生命周期为30年。

BlackPearl现在已经在进行测试阶段,并将在12月开始发售。Hadoop DS3客户端和针对企业和软件供应商的Spectra Logic开发程序现在已经推出。

 
 作者:佚名
来源:51CTO
目录
相关文章
|
2天前
|
分布式计算 Hadoop Docker
百度搜索:蓝易云【Docker搭建Hadoop集群教程。】
这只是一个简单的示例教程,用于在Docker中搭建Hadoop集群。实际上,搭建和配置一个完整的Hadoop集群涉及到更多的步骤和详细的配置。你可以通过进一步研究Hadoop文档和参考资料来了解更多关于Hadoop集群的配置和管理的内容。
23 6
百度搜索:蓝易云【Docker搭建Hadoop集群教程。】
|
22天前
|
分布式计算 Hadoop 大数据
:大数据行业部署实战3:基于Hadoop的Web版的云盘
:大数据行业部署实战3:基于Hadoop的Web版的云盘
24 0
|
1月前
|
存储 分布式计算 Hadoop
147 Mahout运行在Hadoop集群
147 Mahout运行在Hadoop集群
13 0
|
1月前
|
分布式计算 运维 Hadoop
42 Hadoop的HA集群的安装部署
42 Hadoop的HA集群的安装部署
19 0
|
存储 分布式计算 资源调度
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
|
分布式计算 监控 Hadoop
hadoop常用进程和web端口整理
应用场景 Hadoop部署完分布式集群后,运行了一些组件,会产生很多进程,和web可以访问的端口,容易混淆,这里把一些常见的进程,进程的作用和端口进行归纳,总结,方便区分。
1769 0
|
Web App开发 分布式计算 Hadoop
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】重建大规模Web跟踪设施
本讲义出自Stephen Oakley在Hadoop Summit Tokyo 2016上的演讲,主要分享了Marketo的Web跟踪技术以及其合法的Web跟踪设施的架构设计以及相关法律问题,并对于Marketo的大规模Web跟踪基础设施的技术需求和业务需求进行了介绍,并且分享了在架构设计中使用到的Spark Streaming以及HBase等相关技术。
1433 0
|
Web App开发 JSON API
针对Hadoop YARN 的REST API web服务介绍
打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处:http://blog.csdn.net/gamer_gyt   博主微博:http://weibo.com/234654758 (欢迎互撩) Github:https://github.
1438 0
|
Web App开发 分布式计算 监控
《hadoop进阶》web日志系统 KPI指标的分析与实现
                                                                      推广一下个人的微信公众号【数据与算法联盟】                                                         ...
1007 0
推荐文章
更多