大数据时代,全闪存势不可挡

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:
 
  【51CTO.com原创稿件】笔者的朋友,一位金融行业的IT负责人不止一次跟笔者抱怨他们私有云平台的计算性能越来越差,虽然还不至于影响到日常业务的开展,但是像数据分析这类核心的业务已经受到了一定程度的影响,处理数据所消耗的时间越来越长。朋友表示,公司已经对内部服务器进行了换代升级,虽有所改善,但根本问题仍然没有得到解决。那么,问题出在哪儿呢?

通过了解,笔者判断问题的根本出现在老旧的存储系统上。据朋友介绍,在升级服务器的过程中,并未更换存储系统,也从未考虑过存储系统会对计算性能产生影响。

此类的问题,相信很多企业都曾遇到过。那么,存储系统为何会成为影响数据分析业务的主要瓶颈?企业应该如何对存储系统进行升级改造?接下来,笔者将一一解答。

一、大数据时代,别让存储成为系统瓶颈

在处理系统性能问题的过程中,很多IT技术人员会优先排查CPU、内存等核心配件,往往最容易忽视存储。正是由于这种根深蒂固的思维逻辑,最终导致配件换了一茬又一茬,故障仍然没有得到完善的解决。

大家知道,存储的发展要明显滞后与CPU、内存、网络等产品,大部分IT技术工程师都非常了解这一状况。但是,由于过去大家对存储系统的要求不高,只要满足存储容量和安全可靠即可,因此,在过去很长的时间里,存储厂商都在致力于存储容量的提升,在读写性能的研发方面并没有投入太多的精力。不过,在大数据时代,这一格局被彻底打破了。

大数据时代,数据价值被逐渐放大。借助数据,企业可以快速分析用户需求,洞察市场变化,指导决策并抓住商机,获取利润,高速发展。在这样的时代背景下,存储系统不但要具备更大容量的存储需求,而且还要以更高的性能来应对数据分析和挖掘带来的挑战。为此,传统的机械硬盘显然已经无法满足要求,企业必须尽快部署性能更加强大的全闪存存储系统。

与传统机械硬盘相比,全闪存阵列能够大幅提升企业存储系统的性能。传统机械硬盘的存储系统性能大部分都在200 IOPS左右,顶级全闪存存储系统,像IBM FLashSystem系列全闪存阵列,可以提供500000到1000000 IOPS,这对于传统的磁盘阵列来说是遥不可及。

因此,在大数据时代,即使你的服务器拥有强大的计算性能,如果老旧的存储系统不升级改造,那么IT系统仍然无法满足需求。所以,对于企业来讲,拥抱大数据,必先拥护全闪存存储。

二、全闪存存储的成本太高,并非如此

一些朋友在跟笔者聊天时提到,虽然全闪存的优势非常明显,但高昂的拥有成本,成为影响全闪存普及的主要绊脚石,这也是很多企业将之拒之门外的一个重要原因。

笔者分析认为,如果从每GB的对比成本来看,全闪存的价格确实要比机械硬盘贵很多。但是,如果从整体拥有成本(TCO)来看,全闪存非但不贵,甚至还要便宜一些。主要原因有以下几点。

其一,全闪存的发热量更小,功耗更低。由于取消了机械部件,全闪存相比机械硬盘来讲有着更低的发热量和功耗,能够更好的为企业节省能源开支。千万别小看能源支出,据统计能源消耗已经成为企业主要的成本开支之一,特加是对于数据中心来讲,除了设备本身的功耗外,在散热辅助设备方面的投资也相当惊人。因此,从能耗方面来讲,全闪存有着明显的优势,至少能够比机械硬盘节省一半以上的能源开支。

其二,全闪存更易于扩展,其较小的体积在同样面积内可以部署更多的产品。另外,由于性能方面的优势,能够大幅降低企业的部署时间,加快业务的上线。

其三,由于不存在机械部件,全闪存的可靠性更高。当然,也许会有人说闪存的擦写寿命决定了其不可能取代传统存储,殊不知,目前全闪存阵列大都采用MLC闪存颗粒,并且厂商通过使用软件和更好的写入技术提升了MLC的性能和可靠性,虽然寿命没有机器硬盘的寿命长,但也并没有人们想象的那么夸张,即使在现在,一些专门设计的闪存写入寿命可以达到100万甚至500万,整体寿命在20万年以上。因此,完全没有必要担心全闪存阵列的寿命。

最后,全闪存的价格正在逐步降低。随着技术的发展,全闪存每GB的成本正在不断降低,存储性能将会大幅提升,发热量和占用空间将会进一步减少。

三、全闪存品牌产品众多,怎么选?

对于全闪存品牌与产品推荐,也是很多朋友非常关心的话题。目前,众多存储厂商纷纷推出了旗下的全闪存存储产品,品牌多,产品杂,选择起来确实不是一件容易的事情。

笔者建议,大家在购买全闪存产品时,一是要选择一线品牌的产品,以确保产品品质;二是要结合自身的业务情况,有针对性的选择产品,以获得最佳的性能和最少的投放;三是要重视技术支持和售后服务,以保证在部署和使用过程中得到厂商的大力支持和帮助。

例如IBM,在全闪存领域已经耕耘多年,针对不同的应用场景,推出了一系列的产品解决方案,如针对性能加速解决方案推出的IBM FlashSystem F900,针对虚似化存储解决方案推出的IBM FlashSystem V9000、IBM Storwize V7000F、IBM Storwize V5030F等产品,很好的满足了不同用户的需求。

写在最后:大数据时代,存储已经不再仅仅扮演数据仓库的角色,越来越多的企业已经认识到了存储系统的重要性。目前,全闪存阵列已经普遍应用到金融、制作、交通、医疗等各个领域,并且很多互联网公司也已经开始部署和应用全闪存阵列,这充分说明全闪存阵列已经得到了充分的肯定和认可。可以肯定的说,未来存储发展,全闪存势不可挡。

 
  作者:ZC
来源:51CTO
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
存储 消息中间件 NoSQL
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
296 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
46 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
|
26天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
63 4