开发者社区> 行者武松> 正文

企业如何面对数据存储危机

简介:
+关注继续查看

Industry Outlook是一个介绍有关数据中心和IT的市场趋势,技术和其他问题的专家观点的数据中心行业媒体。

Industry Outlook日前与Peter Godman探讨了数据的爆炸式增长以及企业如何管理数据等令人关注的问题。Peter Godman是通用级文件存储供应商Qumulo公司的共同创始人和首席技术官,主要工作是指导产品开发和管理,在分布式文件系统和高性能分布式系统方面具有丰富的专业知识。

IO:目前企业在数据方面面临的最大挑战是什么?

PG:数据正在爆炸式增长,每两年翻一番。其中的大部分数据中心都是在传统存储系统进行存储的。要部署具有突破性创新的关键任务工作流,数据密集型组织必须随时随地利用和挖掘其数据的价值。他们需要在任何操作环境(PB级和全球范围内)自由存储,管理和访问基于文件的数据。

IO:过去10年来出现了哪些重大变化和进步,促成了这种情况?

PG:企业的全球运营模式已经形成了新的规模需求,包括存储的文件数量,实时管理大量数据足迹的能力,全球数据分布以及利用云计算的需求。因此,企业正在寻找能够帮助他们在数据中心和云计算之间移动和共享基于文件的工作负载的技术。智能的文件存储系统是为了满足现代企业的需求而设计的,它既能在本地部署的数据中和云端中扩展性能和容量,又无硬件限制。

IO:数据危机对哪些行业影响最大,为什么?

PG:数据密集型行业离不开技术创新。而媒体、娱乐、科学计算、电信、生命科学和医学研究,以及汽车等行业受到的影响最大,因为它们的分布式数据集存储应用在在全球分布的各个地点,并具有数以亿计的文档的庞大规模。

例如,在媒体和娱乐行业中,数字动画电影的渲染能够生成数百TB到数PB的数据。一部电影可能包含超过5亿个文件和2500亿像素,数据密集的模拟可以从视频游戏的小规模序列发展到数十亿个数据点和每秒数千兆位的吞吐量需求。

同样,科学计算和图像生成大量的文件数据。无论是研究人员涉及三维医学成像,电子显微镜还是自然现象模型,他们都在使用越来越复杂的模拟和分辨率越来越高的图像来实现其突破,但这需要处理数十亿个文件,同时保持高性能,并深入了解比以往任何时候都更重要的数据。

IO:数据呈指数级的增长速度是不可持续的,最终会阻碍数据存储的增长。有没有看到任何可以满足这样的成本,技术限制,物理空间需求的技术或产品?预计这个巨大的增长会持续多久?

PG:至少在未来的10到15年间,存储容量将会每两年翻一番。华盛顿大学的专家LuisCeze及其同事一直致力于密度和寿命都很高的DNA数据编码。人们将要开始面临的一个重大挑战是,相对于容量而言,交付的可用性数量正在迅速减少。十五年前,HDD提供了1,000IOPS/TB的存储吞吐速度。如今数字更像是1012IOPS/TB。十年后,人们将面临大量的数据,但能够积极处理的数据越来越少。

存储级存储器的密度必须至少每四年翻一番,以弥补摩尔定律,这就是说,晶圆厂的成本每四年增加一倍!这样做似乎很容易。随着切换到3D堆叠技术,有机会在芯片上堆叠得更高,并减少恢复过程。也就是说,按照人们正在进行的速度,半导体晶圆厂在10年内的市值将高达1000亿美元,其数量将来越来越少。

决定删除哪些数据是一个谨慎的过程,而错误删除是令人痛苦的。密度的增加使得保存所有东西变得容易,只要存储变得更密集,人们就会不断填充。

IO:存储行业在帮助企业提供存储技术和应用的过程中扮演什么角色?正在进行哪些创新?

PG:要以PB级扩展本地和公共云存储,人们需要一个全新的企业级存储级别,允许企业创建单一的全局数据足迹。这种新型的企业存储将被传统的数据存储到安全的地方。

IO:云计算将扮演什么角色?

PG:云计算为现代数据驱动型企业提供了几个核心优势。它提供了敏捷性:配置和释放资源,并且用时越来越短。它可以根据需要访问TPU,GPU和其他计算资源。最后,它提供了弹性,允许数据驱动的企业在短时间内使用大量的计算。

IO:你能描述一下云端的数据量与内部部署的数据量吗?有没有预见会遇到某种限制?

PG:这很大程度上取决于如何定义云计算。如果企业采用的是IaaS+PaaS+SaaS,则大部分数据可能已经存在于云中。尽管如此,数据的增长仍然是在边缘,云计算数据生存的自然限制是光速。专家PeterLevine最近做了一个名为“回到边缘和云端计算的终结”的演讲,探讨了这个问题。世界上的大部分数据需要与纳秒或微秒的决定区分。云计算离大多数决策还很遥远。在一段时间内,人们将处于一个主权,成本,延迟和安全紧张的地方。除此之外,人们可以在云中存储多少数据没有实际的限制。

IO:随着企业越来越依赖云端进行数据存储,数据所有权和隐私权将会得到多大的关注?这样的问题对转型的影响很大?还是只是一个转折的过程?

PG:数据主权法对公共云用户来说是一个巨大的挑战,也是公共云的一个很好的机会。能够通过标准API轻松移动数据以符合法律或审计访问,其权限是强大的。例如,虽然数以万计的IT专业人员可能仍需要学习数据主权法律,尽管云计算可能会无意中违反这些法律,但云计算也会遵从一个API。总之,云计算应该通过对许多IT团队的努力进行重复删除而使数据主权和所有权更加容易。

IO:您是否有数据或如何估计数据存储成本,特别是长期和短期趋势是什么?

PG:如今的一个10TB机械硬盘售价大概是360美元,也就是36美元/TB。如果购买1.6TBSSD硬盘,则是850美元左右,或850美元/TB。现在同等容量的情况下,闪存仍然比硬盘贵10倍(假设人们可以在闪存上进行压缩和重复数据删除,但是出于某种未说明的原因而不是在硬盘上)。15TB的LTO7磁带的价格可能不到100美元,或者说6美元/TB。所以磁带是HDD硬盘成本的六分之一,是NAND闪存成本的十分之一。HDD硬盘和NAND闪存容量之间的差距目前有所增加。

几年前,处在闪存和磁带之间的HDD硬盘压似乎很快将要消亡。最近,HGST公司宣布已经使微波辅助磁记录成为可能,并预测这项技术将使它在未来每年地提高50%的存储密度。如果这个预测结果是正确的,十年来,相同容量的HDD硬盘的成本可能只是闪存的十分之一。这种情况给存储系统带来了巨大的压力,将会继续提供混合解决方案,以便利用闪存性能和HDD硬盘的容量。

IO:如何看待未来五年企业存储和数据中心行业的变化?

PG:在接下来的五年里,人们将看到云计算和本地数据中心的合理化。企业会将许多应用程序迁移到公共云。移动应用程序的难点在于移动他们的数据。促进移动的存储产品将会蓬勃发展,存储产品如果在应用程序迁移过程中在技术方面落后,将会失去存在的意义。最后,存储将被分为广泛使用,相关的便携式数据管理,以及不太相关的存储点解决方案几种类型。



本文转自d1net(转载)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
将训练数据存储在数据湖上具有以下优势
将训练数据存储在数据湖上具有以下优势
8 0
React Native 数据存储
1. AsyncStorage 1). AsyncStorage AsyncStorage是一个简单的、异步的、持久化的Key-Value存储系统,它对于App来说是全局性的。
1043 0
咕咚运动数据存储实践
摘要:6月29日2016云栖大会成都峰会拉开帷幕,咕咚运动运维负责人李锐带来了“咕咚运动数据存储实践”的重要演讲。从咕咚APP的性质和目标,谈到互联网OLTP模型,重点介绍了分布式数据库和对象存储的应用,最后也简要的介绍了互联网OLAP模型。让我们一起先睹为快吧——
4694 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
13820 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
18672 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
25074 0
存储分层:企业数据存储类型选择与优化
本文整理自2017云栖大会-成都峰会上阿里云存储服务产品专家周皓的分享讲义,讲义主要介绍了阿里云对象存储OSS的定义及其应用领域,从互联网数据访问特点和归档数据特点出发介绍了OSS的存储类型及应用存储特点,并分享了UGC应用存储优化和混合云数据备份示例。
1784 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
20396 0
《虚拟数据中心构建指南》——3.6 数据存储
本节书摘来自华章出版社《虚拟数据中心构建指南》一 书中的第3章,第3.6节,作者:(法)麦里(Maillé, V.),(法)门内尔(Menecier, R. F.)著;姚军等译.更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1355 0
大话存储系列20——数据存储与数据管理综述
存储系统又两大部分内容:数据存储 和 数据管理。 数据存储包括:存储控制器硬件、磁盘、适配器、网络传输通道、RAID管理、LUN管理等,这部分主要功能就是提供基本的裸数据存储服务; 数据管理包括:Tier、Snapshot、Clone等数据处理模块。
977 0
+关注
行者武松
杀人者,打虎武松也。
17142
文章
2569
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载