开发者社区> boxti> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

存储能够聪明到什么地步?

简介:
+关注继续查看
 
 和从前对于应用几乎是瞎子的数据块存储相比,今天的数据感知存储产品直接就能从内部追踪存储操作相关的全部新型元数据。今天的存储可能天生就知道哪个应用程序在创建、拥有和访问存储数据的每个数据块;这些数据需要什么级别的安全和保护;应如何实现应用程序I/O性能(通过缓存、分层规划等等)和容量成本(各种压缩和重复数据消除措施)之间的最佳平衡;甚至会知道哪些用户在访问、共享和、或者可能很快再次请求哪一个比特的数据。存储平台可能还会在内部索引文本数据、分析存储内数据的法规遵从性(或安全漏洞)、自动翻译外国文字、转码数据内嵌的媒体,甚至主动学习不同分类的数据内容。

Qumulo也为前线运行的产品支持提供一套Call Home服务,但它真正的亮点是,他们的存储会追踪数据真实存储过程的性能指标。基于其分布式的体系结构,Qumulo可以为存储的每个文件和对象高效地报告历史性能和其他关键指标,这有助于迅速捕获新的使用模式、行为异常和性能影响热点,即使是数十亿的对象规模也能轻松管理。

Data Gravity在其常规的备份控制器内嵌入了一套搜索引擎,为阵列内存储的所有数据建立索引,已经成功用于数据的监管和电子发现场景。同时,Reduxio提供几乎无限的版本控制和按需快照,通过保存有关每个数据块最后修改时间的元数据,存储允许回滚到过去的任意一秒——可以视为一个细粒度的企业数据块存储时间机器,能有效抵御恶意病毒对数据的破坏。

融合处理

存储和服务器在很多场景下会融合成为紧密合作的整体。融合的目的在于规避昂贵和龟速的远程数据访问,确保计算过程尽可能地贴近需要处理的数据。这至少是Hadoop分布式文件系统大数据存储和VMware的虚拟化平台集成的vSAN存储的主要原理。类似Nutanix和Simplivity的完整超融合平台会将软件定义的存储系统紧密融入优化的数据处理装置,可以利用运行在应用服务器资源上的内置分析驱动算法获得更大的优化。Datrium的“开放融合”机制会区分处理性能和容量优化、持续执行计算密集型存储的优化分析,发现每台服务器主机内消耗闪存的存储热点,同时通过网络共享冷容量来实现数据容灾保护。

所有这些架构虽然实现了更优化的融合,但在存储和客户端应用程序之间仍然会保持传统的I/O传输方式。容器化和微服务技术已经开始实现计算节和数据存储的分离,催生 新的(无服务器计算)方法,可以直接对通过的数据流进行处理。尽管最近亚马逊的lambda云计算服务又成为热门,实际上lambda体系结构在很久以前就存在了,那就是在许多已部署的企业数据库中能见到的“存储过程”,直接在数据库内部(而不是在应用程序代码内部)执行由事件触发的简短的远程代码。然而,在存储层面支持容器化插件的新型存储产品打开了无限的可能,可以实现新一代的高效、可扩展的、实时的分析和优化。一些存储供应商正在研发的支持容器化应用程序的新型存储产品,甚至很多存储产品自身就是用容器应用程序代码编写而成。例如,新兴的开源对象存储Minio由于采用了现代的容器架构,很容易实现极高的扩展性和原生lambda计算功能。Minio对象存储可以包含嵌入的lambda功能,实现搜索、内存缓存、消息流、模式识别、内容转换,以及能直接在数据存储层中高效运行的其它功能。

全面的云管理

分析功能会让IT运维更强、更快、更智能。我坚信,我们会看到,在贴近数据存储位置的存储层,以及在云内实现的由许多存储系统的元数据组成的大规模聚合(如同Call home服务模式),这些地方会有越来越多的存储分析功能出现。

选择一家基于云的服务提供商来全面管理和运营本地或混合基础设施,就可以将不同的存储世界在管理即服务(MaaS)产品的层面实现统一。例如,利用HyperGrid(之前的Gridstore)首创的一套平台服务,你能(按需)订阅和租用原本需要自己整套采购的集中化的超融合设备混合云群集。同样,Galactic Exchange能以服务的方式远程操作和管理你的大数据平台,而实际的计算和数据节点集群可以同时分布在内部或云端。

MaaS存储的典型例子Igneous会在客户现场提供可订阅的对象存储,而这些存储实际上以管理即服务的方式进行远程操作管理。这种模式有助于IT存储团队领悟云计算与众不同的市场游戏规则,服务在云端,而数据的实际存储位置仍然在本地数据中心。由于MaaS供应商能积累和运用大量的操作分析经验,在面对以数据为中心的智能化目标时,使用API直接调用云端服务(例如lambda计算或机器学习)来扩展MaaS存储平台,将会成为新的机遇。

数据将存到何处?

我们已经无法回避以云为中心的IT世界。我们所有人将来都必须管理跨越单设备、数据中心和全球云托管的混合存储。随着数据的继续增长和传播,我们所有的分析和智能处理能力规模也必须同步增长。

在未来的几年中,我们将看到由新的物联网数据源浪潮引发的数据大爆炸。如果没有来自更智能的存储产品和基于云计算的专业管理服务的大量支持,大多数IT组织将无法生存。

 
作者:Mike Matchett
来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
15 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
8 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
12 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
8 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
15 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
33 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
24 0
开发指南—变量—存储层变量
PolarDB-X是存储计算分离架构,存储层(DN)的变量名和含义与MySQL对齐,这里主要罗列了常见的DN变量(控制台可配置),其他变量可以参考MySQL变量。
86 0
+关注
boxti
12535
10005
文章
1326
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载