IBM发布面向大数据时代的软件定义存储技术

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

日前,IBM发布一系列软件定义存储产品,这些产品不仅提高了经济性,还使企业能够在全球任何地方存取和处理存储在任何设备上的任何类型的数据。其中一种称为“弹性存储”的技术提供空前的性能、无限的扩展并能够通过自动将数据移动到最经济的存储设备上使存储成本降低高达90%。

这项开创性的新技术诞生于IBM研究院,它让企业能够利用(而不只是管理)由无数设备、传感器、业务流程和社交网络所产生的各种形式的大量数据。新存储软件非常适用于非常高的数据密集型应用,此类应用需要高速存取大量信息,例如地震数据处理、风险管理和金融分析、气象建模和科学研究以及在实时零售中决定下一个最佳行动。
“在今天的商业世界,数据已经成为竞争优势的基础,然而数字信息的增长速度之快、数量之庞大,使传统的数据存储与管理已经无从应对。”IBM高级副总裁、系统与科技部总经理Tom Rosamilia指出,“我们为客户提供的创新存储技术,在速度、可扩展性和成本方面的前所未有的提升,将使客户更富有竞争优势。”

软件定义存储是一系列自动管理本地及全球数据的软件功能,它们提供突破性的数据存取速度、更简易的管理以及随着数据量的增加,更加快速、经济地扩展技术基础架构的能力。此外,这些提升还能与公司的任何存储系统共同提供自动和虚拟存储。

改变游戏规则的技术

IBM Watson系统采用了弹性存储技术。在《危险边缘》比赛中,IBM Watson使用了2亿页结构化和非结构化数据,包括维基百科全文。通过使用弹性存储,5TB的Watson“知识”(相当于2亿页数据)仅在几分钟中内就被装入该计算机的内存。

在《危险边缘》比赛中,Watson选择该软件的一个重要原因是可扩展性,扩展架构的极限可达数千YB。1YB(尧字节)等于10亿PB(拍字节),相当于规模为100万个城市街区的数据中心所存储的数据量,100万个街区相当于特拉华州和罗得岛州的面积之和。
IBM研究院已证明弹性存储能够在仅仅43分钟内利用单个系统成功扫描100亿个文件,这为通过分析海量数据来挖掘业务洞察的客户提供了无与伦比的性能。

在其核心部分,弹性存储以IBM 的GPFS为基础来提供在线存储管理、可扩展访问以及能够管理庞大数据量和数十亿文件的集成数据治理工具。例如,相对于标准 SAS 磁盘,弹性存储还可以利用内置于服务器中的 Flash 存储来实现六倍的性能提升。该功能可识别服务器内的 Flash 存储并自动用将其作为高速缓冲存储器来提升性能。

弹性存储将存储虚拟化,允许多个系统和应用共享公用存储池。这有助于实现透明的全球数据存取而无需修改应用,也无需额外的或经常的存储管理变更。由于弹性存储不依靠集中管理来确定文件位置和布局,所以在发生软件或硬件故障时客户能确保数据存取的连续性和高可用性。

对美国国家大气研究中心的计算和信息服务实验室 (CISL) 来说,不断增长的数据量就是其DNA的一部分。该机构的怀俄明与科罗拉多中心存储和管理着超过50PB信息,它依靠弹性存储技术来让研究人员能够快速存取大量多种多样的数据。

“我们向分布在200多个不同地点的1,000多位用户提供针对地球科学的计算、教育和研究数据服务”,CISL数据分析服务部经理Pamela Gillman表示,“IBM 全局文件系统软件支持对信息的可扩展、可靠和快速存取。这显著改善了各部门及整个机构的绩效。”

弹性存储的一个关键要素是其自动和智能地将数据移动到最具战略意义和最经济的可用存储系统上的能力。例如,通过策略驱动的特性和实时分析,弹性存储能够自动将不常使用的数据移动到不太昂贵的低成本磁带驱动机,而将经常存取的数据存储在高速Flash系统上,以便更快地存取。这些策略驱动的特性能够提供多达90%的成本节省。

此外,该软件还提供原生加密及安全擦除特性,这可以确保数据的安全保留,以便遵守《健康保险流通与责任法案》(HIPAA) 和《萨班斯-奥克斯利法案》(Sarbanes-Oxley)等法规。

通过支持OpenStack云管理软件,弹性存储还帮助客户能够跨越私有云、公共云和混合云进行数据存储、管理及访问,实现全球数据共享和协作。除了支持OpenStack CinderSwift存取,弹性存储还支持其他开放API,如POSIXHadoop

对传统存储系统来说,交易型和分析型应用必须将数据移动到不同的存储区来获得最佳效果,但弹性存储能够通过自动平衡资源来同时支持不同应用工作负载,包括基于Hadoop的分析。这显著加快了分析速度,并消除了用于生成重复数据副本的高昂成本和耗时的过程。

弹性存储软件将在今年晚些时候作为IBM SoftLayer云服务推出。

原文发布时间为:2014年05月16日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
安全 Java 大数据
大数据软件基础(1)—— Linux
大数据软件基础(1)—— Linux
42 0
|
21天前
|
存储 人工智能 搜索推荐
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
|
21天前
|
人工智能 分布式计算 大数据
大数据及AI典型场景实践问题之“开发者藏经阁计划”的定义如何解决
大数据及AI典型场景实践问题之“开发者藏经阁计划”的定义如何解决
|
2月前
|
分布式计算 自然语言处理 大数据
MaxCompute操作报错合集之使用pyodps读取全表(百万级),然后对其中某列apply自己定义的分词函数,遇到报错,该如何排查
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
2月前
|
数据采集 分布式计算 大数据
MaxCompute产品使用合集之数据集成中进行数据抽取时,是否可以定义使用和源数据库一样的字符集进行抽取
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
运维 监控 大数据
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
|
3月前
|
SQL 分布式计算 MaxCompute
MaxCompute操作报错合集之通过UDF(用户定义函数)请求外部数据库资源并遇到报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
150 0
|
3月前
|
SQL 存储 分布式计算
MaxCompute产品使用问题之odps sql如何定义变量
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
大数据 Linux 虚拟化
大数据软件基础(3) —— 在VMware上安装Linux集群
大数据软件基础(3) —— 在VMware上安装Linux集群
67 0
|
4月前
|
SQL 分布式计算 Java
大数据软件基础(2)—— Java、SQL
大数据软件基础(2)—— Java、SQL
25 0