大数据时代,全闪存势不可挡

简介:
 
  【51CTO.com原创稿件】笔者的朋友,一位金融行业的IT负责人不止一次跟笔者抱怨他们私有云平台的计算性能越来越差,虽然还不至于影响到日常业务的开展,但是像数据分析这类核心的业务已经受到了一定程度的影响,处理数据所消耗的时间越来越长。朋友表示,公司已经对内部服务器进行了换代升级,虽有所改善,但根本问题仍然没有得到解决。那么,问题出在哪儿呢?

通过了解,笔者判断问题的根本出现在老旧的存储系统上。据朋友介绍,在升级服务器的过程中,并未更换存储系统,也从未考虑过存储系统会对计算性能产生影响。

此类的问题,相信很多企业都曾遇到过。那么,存储系统为何会成为影响数据分析业务的主要瓶颈?企业应该如何对存储系统进行升级改造?接下来,笔者将一一解答。

一、大数据时代,别让存储成为系统瓶颈

在处理系统性能问题的过程中,很多IT技术人员会优先排查CPU、内存等核心配件,往往最容易忽视存储。正是由于这种根深蒂固的思维逻辑,最终导致配件换了一茬又一茬,故障仍然没有得到完善的解决。

大家知道,存储的发展要明显滞后与CPU、内存、网络等产品,大部分IT技术工程师都非常了解这一状况。但是,由于过去大家对存储系统的要求不高,只要满足存储容量和安全可靠即可,因此,在过去很长的时间里,存储厂商都在致力于存储容量的提升,在读写性能的研发方面并没有投入太多的精力。不过,在大数据时代,这一格局被彻底打破了。

大数据时代,数据价值被逐渐放大。借助数据,企业可以快速分析用户需求,洞察市场变化,指导决策并抓住商机,获取利润,高速发展。在这样的时代背景下,存储系统不但要具备更大容量的存储需求,而且还要以更高的性能来应对数据分析和挖掘带来的挑战。为此,传统的机械硬盘显然已经无法满足要求,企业必须尽快部署性能更加强大的全闪存存储系统。

与传统机械硬盘相比,全闪存阵列能够大幅提升企业存储系统的性能。传统机械硬盘的存储系统性能大部分都在200 IOPS左右,顶级全闪存存储系统,像IBM FLashSystem系列全闪存阵列,可以提供500000到1000000 IOPS,这对于传统的磁盘阵列来说是遥不可及。

因此,在大数据时代,即使你的服务器拥有强大的计算性能,如果老旧的存储系统不升级改造,那么IT系统仍然无法满足需求。所以,对于企业来讲,拥抱大数据,必先拥护全闪存存储。

二、全闪存存储的成本太高,并非如此

一些朋友在跟笔者聊天时提到,虽然全闪存的优势非常明显,但高昂的拥有成本,成为影响全闪存普及的主要绊脚石,这也是很多企业将之拒之门外的一个重要原因。

笔者分析认为,如果从每GB的对比成本来看,全闪存的价格确实要比机械硬盘贵很多。但是,如果从整体拥有成本(TCO)来看,全闪存非但不贵,甚至还要便宜一些。主要原因有以下几点。

其一,全闪存的发热量更小,功耗更低。由于取消了机械部件,全闪存相比机械硬盘来讲有着更低的发热量和功耗,能够更好的为企业节省能源开支。千万别小看能源支出,据统计能源消耗已经成为企业主要的成本开支之一,特加是对于数据中心来讲,除了设备本身的功耗外,在散热辅助设备方面的投资也相当惊人。因此,从能耗方面来讲,全闪存有着明显的优势,至少能够比机械硬盘节省一半以上的能源开支。

其二,全闪存更易于扩展,其较小的体积在同样面积内可以部署更多的产品。另外,由于性能方面的优势,能够大幅降低企业的部署时间,加快业务的上线。

其三,由于不存在机械部件,全闪存的可靠性更高。当然,也许会有人说闪存的擦写寿命决定了其不可能取代传统存储,殊不知,目前全闪存阵列大都采用MLC闪存颗粒,并且厂商通过使用软件和更好的写入技术提升了MLC的性能和可靠性,虽然寿命没有机器硬盘的寿命长,但也并没有人们想象的那么夸张,即使在现在,一些专门设计的闪存写入寿命可以达到100万甚至500万,整体寿命在20万年以上。因此,完全没有必要担心全闪存阵列的寿命。

最后,全闪存的价格正在逐步降低。随着技术的发展,全闪存每GB的成本正在不断降低,存储性能将会大幅提升,发热量和占用空间将会进一步减少。

三、全闪存品牌产品众多,怎么选?

对于全闪存品牌与产品推荐,也是很多朋友非常关心的话题。目前,众多存储厂商纷纷推出了旗下的全闪存存储产品,品牌多,产品杂,选择起来确实不是一件容易的事情。

笔者建议,大家在购买全闪存产品时,一是要选择一线品牌的产品,以确保产品品质;二是要结合自身的业务情况,有针对性的选择产品,以获得最佳的性能和最少的投放;三是要重视技术支持和售后服务,以保证在部署和使用过程中得到厂商的大力支持和帮助。

例如IBM,在全闪存领域已经耕耘多年,针对不同的应用场景,推出了一系列的产品解决方案,如针对性能加速解决方案推出的IBM FlashSystem F900,针对虚似化存储解决方案推出的IBM FlashSystem V9000、IBM Storwize V7000F、IBM Storwize V5030F等产品,很好的满足了不同用户的需求。

写在最后:大数据时代,存储已经不再仅仅扮演数据仓库的角色,越来越多的企业已经认识到了存储系统的重要性。目前,全闪存阵列已经普遍应用到金融、制作、交通、医疗等各个领域,并且很多互联网公司也已经开始部署和应用全闪存阵列,这充分说明全闪存阵列已经得到了充分的肯定和认可。可以肯定的说,未来存储发展,全闪存势不可挡。

 
  作者:ZC
来源:51CTO
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
11月前
|
存储 监控 Kubernetes
面对数字经济机遇,全自研存储系统有多重要?
我们知道,当前随着企业业务的数字化与全球化拓展,数据呈指数级增长。IDC预测显示,到2025年全球数据总量将达到175ZB。爆炸式的数据增长哺育了数字技术的发展和应用,但同时也对数据的智能管理提出了更高的要求。 一个例子,卫健委在2017年4月1日起实施的《电子病历应用管理规范》第19条中,有一个明确的规定:“门/急诊电子病历由医疗机构保管的,保存时间自患者最后一次就诊之日起不少于15年。住院病历保存时间,自患者最后一次出院之日起不少于30年。”
136 0
|
存储 固态存储 内存技术
|
存储 固态存储 芯片
|
存储 固态存储 内存技术
|
存储 固态存储 芯片