管理海量数据 光谱存储六大金刚布局行业应用

简介:

   “如今的存储市场,已经变得越来越好玩了!”这是一位资深业内人士在接受笔者采访时候的“点评”。的确,在企业级市场服务器已经愈发同质化,竞争也走向平稳,相比之下存储可谓是“群雄逐鹿”,无论是国外还是国内品牌在深度挖掘存储技术与行业应用,各种新产品与新技术也是层出不穷。

存储拼的是什么?除了高端的系列产品,其余中、低端在硬件方面差距都不是很大,用户主要关注的还是软件。笔者曾经采访过一位行业用户,他对存储的评价依然是看软件。他们曾经做过测试,同样硬件配置的情况下很多品牌存储都不如XXX品牌产品,它们硬件几乎相同,差距就在于软件优化。软件,也是当今存储差异化竞争的精髓所在。

目前,我们看到市场中的主流存储EMC、IBM、HDS、HPE、Netapp、DELL等等在软件优化与管理方面都有着自身的特点,对于行业用户来说,根据自己的需求也有了更多的选择范围。今天,就让我们来谈谈IBM的光谱存储家族吧。

锋芒毕露,IBM持续发力存储市场

2013年IBM宣布投入10亿美元用于闪存的研发和市场推广,2014年年初FlashSystem 840 和V840闪亮登场,2014年年末,IBM促成闪存联盟成立,建立多个FlashSystem卓越中心,闪存联盟成员三个月的时间翻了一倍。在明确了软件定义存储、虚拟化存储和闪存这拉动存储发展的三大马车后,2014 年IBM存储业务在中国闪存存储市场和全球软件定义存储市场双料第一。

Spectrum Storage家族是一个软件产品家族,IBM大中华区系统与科技事业部存储系统总经理黄永志称:“这是我在硬件部见到的第一个没有硬件的存储产品”,这在一定程度上展示出IBM存储转型的姿态。IBM还宣布,未来五年内将投入10亿美元用于存储软件产品的研发,主要包括新的云存储软件、对象存储,以及包括 OpenStack在内的开放标准技术的研发,控制、保护、归档、虚拟化、加速、横向扩展这六大类产品也都有具体的扩展和升级计划。

产品线的从新整合对熟悉IBM的人来说并不陌生,如今IBM把存储软件技术统一化归到Spectrum Storage下,在一定程度上也因为统一而做到了简化。Spectrum Storage (光谱存储)是一套全新智能资源与工作负载管理软件,其功能不仅仅是存储、管理海量的数据,同时还能够让这些数据真正产生价值,还是要对它进行有效应用和分析。

IBM Spectrum Storage存储六大金刚布局行业应用

Spectrum产品线可以集中管理超过三百多种存储设备,是业内可以管理的设备种类最多的产品,IBM和非IBM的硬件和磁带系统都支持,使用Spectrum存储,客户可以不用买硬件,利用现有的旧的存储基础设施即可。通过自动化的把数据迁移到有成本效益的存储设备,IBM Spectrum最多可以帮助减少90%的成本。加上与SoftLayer的对接,跨各种云资源实现集中统一管理,还可提高混合云演进过程中的业务连续性。

IBM光谱存储采用了超过700项专利,能够帮助客户实现向混合云业务模式的转变。通过光谱存储,客户可方便地从单一操作面板随时随地随需地管理数据。该软件可以帮助客户在合适的时间把数据迁移到合适的位置,从能够快速访问的闪存迁移至磁带和云端,以获取最低成本。

IBM光谱存储堪称智能化管理的集大成者,其拥有六大套件分别针对用户的不同应用。Spectrum Storage包括以网格块存储技术XIV为核心的Spectrum Accelerate 、以强大的GPFS(Elastic Storage)为核心的IBM Spectrum Scale 、以块存储虚拟化SVC技术为核心的IBM Spectrum Virtualize,此外原来的数据和存储管理解决方案调整为IBM Spectrum Control,数据备份恢复解决方案调整为IBM Spectrum Protect,近线磁带文件系统调整为IBM Spectrum Archive,这其中Spectrum Accelerate是个重点,它可以看做是IBM高端存储XIV的软件版本。这六大套件之间相互补充相互接近有各有不同,称为Spectrum Storage光谱套件。接下来就让我们来一一了解。

备份金刚-Spectrum Protect

IBM Spectrum Protect以简化的方式有效保护虚拟和物理环境、核心应用和远程设施中的数据。从上述介绍中可以了解到Spectrum Protect主要任务就是备份!备份有什么可“玩”的呢?TransGrid 是澳大利亚的新南威尔士州运营的高压输电网络企业,其部署了IBM Spectrum Protect之后,将数据共享与资产管理进行集中,并实现流程自动化。将数据恢复时间缩短了400%,数据备份窗口几乎缩短了50%。更重要的一点是通过在单个系统中整合备份与恢复来简化系统管理。

备份没人关注了吗?no!有了好的工具才能让你事半功倍,IBM Spectrum Protect的出现正在于此。

自动化管理金刚-Spectrum Scale

IBM Spectrum Scale 是一款非常强大的存储管理软件,其特点在于可扩展性、闪存加速性能,以及基于策略的自动存储分层功能(从闪存、磁盘到磁带)。IBM Spectrum Scale可以帮助客户减少 90% 的存储成本,同时提高云、大数据和分析环境中的安全性和管理效率。

何谓高效管理?能实现什么样的效果才称得上是高效管理呢?据了解,Spectrum Scale经受了一些世界上最强大超级计算机的现场考验,提供了高度可靠、高效的基础架构带宽利用。例如,美国阿贡国家实验室的Mira超级计算机配备一个运行Spectrum Scale的768,000核IBM Blue Gene/Q集群,用于支持科学研究,包括材料科学、气候学、地震学和计算化学领域的复杂建模。Spectrum Scale是一款功能全面的软件定义存储解决方案,包含针对高级存储虚拟化、集成高可用性、自动化分层存储以及有效管理海量文件数据所需性能的管理工具。

此外,Spectrum Scale的图形用户界面拥有多套扩展,因此包括政策设置在内的各类常见管理任务能够全部在无需命令行操作的前提下实现运行。内置多种用例,用于对HBase、Hadoop或者Big Insights等进行概念验证性测试。Spectrum Scale的HDFS(即Hadoop文件系统)透明化能力意味着大家可以直接将应用程序指向该系统并加以运行,客户无需对应用程序本身进行任何修改,这也就消除了方案锁定的可能性。

软件定义金刚-Spectrum Accelerate

IBM Spectrum Accelerate是IBM新软件定义存储SDS系列产品中推出的第一个产品,结合了XIV的各种优势:高性能,没有任何I/O热点,易管理,易维护,可计划性扩展,并附加了XIV的各种企业级功能。目前全球运行XIV软件的服务器已达10万台服务器,并且可以和IBM的云计算管理服务云SoftLayer的IaaS架构无缝集成。

Accelerate不是一套简单的存储软件,而是带OS的虚拟机,用户只要搭好虚拟化环境,再把XIV as Software虚拟机加载上去就OK了,剩下的只需要做简单的配置就可以完成企业级存储系统的构建,是不是很简单?

分层存储金刚-Spectrum Archive

IBM光谱存储家族成员IBM Spectrum Archive ,能够为企业提供更灵活、低成本的备份及归档方案,有效解决传统方案的高成本,低灵活度的问题。同时,它还能有效地节省时间及存储空间,成为企业首选的高性价比数据存储设备。

IBM Spectrum Archive 是基于IBM LTFS线性文件系统的,适用于磁带介质的归档方案。IBM Spectrum Archive包含了数据的格式及软件。它可以将磁带变为巨大的优盘或CD,可以插在任何系统上(Linux, Mac 或Windows)上并马上读写,可以实现任何地点、任何空间、任何时间的条件下以任何形式来访问数据;无须任何额外软件支持,可实现数据的灵活共享,开展了备份归档的新标准,因此在2011年获得电视科学及艺术的“工程艾美奖”。

IBM Spectrum Archive用磁带替换第二层和第三层存储,可将总体拥有成本降低50%。另外,Spectrum Archive是基于完全开放的,跨平台的,非专属的技术,它可以和Spectrum scale集成,无缝虚拟化各个存储层,提供单一的命名空间访问数据。

存储压缩金刚- Spectrum Virtualize

Spectrum Virtualize(SVC)做为IBM在存储虚拟化的王牌产品,已经有超过15年的发展历史,清晰的发展路线以及代码的更迭,使其软件功能特性越来越丰富,这已经是不争的事实。全面的软件功能包括:iSCSI/FC存储虚拟化、透明数据迁移、同步、异步容灾,存储双活,精简配置,实施数据压缩,快照,自动数据分层,甚至支持IP复制等等,可以满足客户任何业务需求。

在某科技企业的应用过程中,Spectrum Virtualize表现了其强大的压缩能力。测试采用的是运行在Windows Server 2012 Datacenter上的SQL Server 2014 Enterprise Edition,测试数据库大小为2TB,其中存储了一个模拟的跨国制造集团77个月的薪酬数据(从2008年1月至2014年5月),总共包含了115500万行数据。

测试中设计了9个不同种类的查询,这9种查询覆盖了简单查询、复杂连接、复杂计算查询,并且这9个查询通过查询条件的调整,包含了对5年、3年、1年历史数据的查询。测试中启用V7000 1:2的压缩功能之后,不仅仅节省了70%存储空间,而且相比非压缩时使用22块磁盘的情况,在压缩时只使用大约三分之一的磁盘数量,也就是8块磁盘时,在9个查询场景中,全部取得了性能的提升,平均提升幅度达到27%。

无论是性能还是压缩效率,Spectrum Virtualize都在测试中充分表现出了其强大的一面,以测试数字说话,不必过多评论,你懂的!

混合云存储金刚-Spectrum Control

Spectrum Control Storage Insights是一款软件定义存储软件,用于优化混合云。目前,很多企业都面临着存储管理难题,存储利用率不高、手动管理流程以及移动、社交和云 IT 模式的快速部署加重了这些挑战。

IBM Spectrum Control Storage Insights 将分析与存储管理以及基于云的交付模式相结合,能够准确地识别并分类存储资产,监控特定情境中的容量和性能,包括应用程序和部门级别的视图以及根据历史使用模式优化数据位置,这些都可以帮助用户实现对自身存储环境的控制,非常智能且简单。

至此,IBM Spectrum Storage软件六大金刚聚齐,从管理到备份,从软件定义到云可谓八仙过海各显其能。未来的存储将逐渐走向多元化,可靠性、可管理性依然是永恒的主题,各家IT企业拼的依旧是软件,可谓软件强者得天下!

如果实现信息和数据解耦是软件定义存储1.0,那么 IBM 则开启了软件定义存储2.0。相信在未来,这将直接改变云计算、大数据、移动互联时代的存储技术和存储市场格局。

作者:云中子
来源:51CTO
目录
相关文章
|
5月前
|
SQL 存储 分布式计算
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
59 0
助力工业物联网,工业大数据之数仓事实层DWB层构建【十七】
|
存储 分布式计算 数据可视化
带你读《2022年开源大数据热力报告》——热力趋势一:用户需求多样化推动技术多元化
带你读《2022年开源大数据热力报告》——热力趋势一:用户需求多样化推动技术多元化
189 0
|
存储 运维 分布式计算
带你读《2022年开源大数据热力报告》——热力趋势二:一体化演进迈入2.0时代
带你读《2022年开源大数据热力报告》——热力趋势二:一体化演进迈入2.0时代
238 0
数字孪生核心技术揭秘(四):大规模植被系统生成
世界真实性还原的持续提高,植被还原变成了一个刚需。 本文初步探讨数字孪生应用中植被系统的大规模生成思路,致力于生成中国全境地理分布比较真实合理的植被。
1058 1
|
5月前
|
存储 关系型数据库 分布式数据库
PolarDB 开源版 通过pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合
背景PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理;PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力。本文将介绍PolarDB 开源版 通过 pgpointcloud 实现高效孪生数据存储...
118 0
|
存储 并行计算 算法
PolarDB 开源版 通过pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合
PolarDB 的云原生存算分离架构, 具备低廉的数据存储、高效扩展弹性、高速多机并行计算能力、高速数据搜索和处理; PolarDB与计算算法结合, 将实现双剑合璧, 推动业务数据的价值产出, 将数据变成生产力. 本文将介绍PolarDB 开源版 通过 pgpointcloud 实现高效孪生数据存储和管理 - 支撑工厂、农业等现实世界数字化|数字孪生, 元宇宙相关业务的虚拟现实结合
237 0
|
机器学习/深度学习 人工智能 城市大脑
云+智能的羊群效应显现,百度用“云智一体”坐定头羊位置
随着产业生态“朋友圈”进一步扩大,百度将呈现更广泛而深度的产业智能化案例,但是,尽管百度占据了先机,但羊群效应的价值一定是全行业的,对追求智能化转型升级的企业群体而言,整个云计算行业都在云+智能这条道路上深度前行,无疑将帮助它们更好地享受技术时代的红利。
180 0
云+智能的羊群效应显现,百度用“云智一体”坐定头羊位置
|
人工智能 达摩院 监控
方案 | 阿里云联合八大业务线,助力景区提升抗“疫”能力
相较于2003年SARS,此次的新冠肺炎疫情对旅游行业造成的影响更为重大,SARS结束后旅游行业用了6个月才全部恢复,而此次疫情,旅游行业想要完全恢复大概需要9-12个月的时间。
1211 0