希捷James Hughes:大数据与希捷Kinetic开放式存储平台

本文涉及的产品
对象存储 OSS,20GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

6月5日上午,希捷科技高级存储部首席技术官James Hughes(裘剑一)在主题为“促进云计算创新发展培育信息产业新业态”的第七届中国云计算大会上,讲述了希捷公司在云计算及建造大数据存储方案方面的一些想法与实践。

希捷James Hughes:大数据与希捷Kinetic开放式存储平台

希捷科技高级存储部首席技术官 James Hughes(裘剑一)

James Hughes讲到,“我们为什么要做存储?因为存储是让我们建立今后智慧城市的一个重要组成部分。没有存储,就找不到信息和结果,不能分析信息,就无法建立智慧城市。而且希捷现在看到这个数据在过去的几十年当中的增加是以成百上千倍的速度在增长。”

而今天如何能够把大量增长的数据很好的储存起来,并且为今后的10年做好准备,这就需要压缩大量的数据,我们生活的所有信息都要存储起来,2025年将达到100TB。那我们要做些什么呢?需要一种什么能力的增加呢?James Hughes认为,“存储是必须的。而且今后我们有很多的传感器,有很多摄像头。”

另外,从物联网来看,随着时间的推进,现在在做很多事情,比如远程端呈现等等,现在有越来越多的方式把互联网与以太网存储进行结合,这样存储信息有更好的方法来存储,而且还能够在后端进行分析。James Hughes表示,“目前来看它的价值比较少,但是还需要把它们存储起来,但存储的信息如果没有很好分析的话它的价值就更少,我们目前的情况是存储信息的价值非常少。”

此外,James Hughes还提出了当前的三个趋势,首先,低成本的存储对云计算来说是非常有价值的,云计算如果没有数据的存储是不能够进行分析的,所以重要一点是大数据首先从数据开始,所以首先要考虑存储的问题。物联网就是把比如电灯炮、卫生间等一切都电脑化,所有这一切都会电脑化。生活当中所有一切都用电脑来操作是很疯狂的事情,但是现在已经实现了这一点。

第二,是监控,摄像头、监控器无处不在,比如英国英格兰,现在差不多每11个人会存在一个监控器来监控他们,在中国有14万多个或者更多的监控器存在。有各种不同的使用方式来实现它的价值。现在硬盘驱动的成本已经变成零了,但是把所有信息放在一起的系统成本还是很贵的,也就是说装这些信息、数据的成本越来越贵,所以就诞生云计算,就出现了“对象存储”。而“对象存储”是一种新的思维方式。

第三,还有POSIX,希捷利用POSIX已经有50年了,1964年时POSIX非常重要,因为文件尺寸比人的记忆力大得多,就是说人的大脑已经记忆不下这么多信息了,必须在存储系统当中进行计算和处理,所以有了POSIX设计,可以在存储内部做很多工作,而且也可以改变不同文件的内容。但是如果今天要改变PPT当中的一个号码、一个数字的话,那还是不会用POSIX来做,而是从主存储器读取这个数据,改变这个数字,再把它抽回来。这就是对象存储。这也意味着文件的读取、书写、替换和删除都不会在存储系统当中来修改,因此,存储系统价格和传统的POSIX相比价格下降了一半。所以,随着驱动变得越来越大,要尽量降低系统的成本。

在美国有很多不同的创业公司,它们获得了风投公司的资质,这些公司都是一些初创公司,在2014年它们获得大概3亿美元资金,做的是对象存储的研发,他们做这个工作的目的是为了降低存储系统的成本。同时,要可以用于云的计算系统中,也可以进入到企业的数据中心来使用。

希捷正是看到了这种趋势,看到所有这些公司都在生产对象存储,所以James Hughes讲到,“希捷希望能够创建一个硬盘驱动帮助这些公司,通过简单的API、简单的硬盘驱动可以使得对象存储更简单、成本更低。传统的系统应用在数据库上运行,会与文件系统一同进行。希捷创建了一种硬盘存储,在用户端不再需要驱动,用户可以通过互联网进行对话。”

另外,James Hughes补充到,“设备也会有API,这是API的关键价值,我们在转换很多存储系统的网络可以在两周内完成,希捷认为使用动态的驱动有能力建立更简单的存储系统。但很多人担心未来的硬盘驱动,但是希捷的动态存储现在有更多的方案。用户可以从不同的厂商获得这样的存储系统或者硬盘驱动。”

关于绿色环保方面,James Hughes表示,“绿色意味着对环境更友好,而对于48TB的服务器,要1200瓦,这是比较传统的服务器。但是现在的硬盘驱动更小、更聪明了,所以完全可以直接和硬盘驱动进行对话。使得新一代的硬盘驱动和传统的硬盘驱动相比,价格要更便宜,因此“绿色”也意味着成本方面更优化,使用传统服务器的价格将近要8000,但使用动态系统的价格大概只有一半。希捷的这个存储设备有12个芯片,芯片几乎是零成本,同时可以分步计算,使这种解决方案有更好的性能、更好的效率。”

最后,James Hughes总结说,“我的预测是到2025年将到达100TB存储的容量,但不管存储有多大,人们总是希望越多越好。如果存储是免费的,为什么还要删掉东西呢?再看一下EB,2025年EB将会达到10个机柜,成本很低。为了实现这样的愿景我们需要做好两点,第一需要对象存储,因为对象存储很简单,也就意味着成本更低、可靠性更高,但这也需要开源的软件来帮助实现。像CEPH、Swift都是开源软件,可以让我们动态系统更好的使用。然后是API,应用编程衔接是非常重要的,存储的API是实现成本降低的关键和基础。而第二点是动态硬盘驱动,这也是专门针对对象存储来设计的。”

原文发布时间为:2015年6月5日
本文作者:李超
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
存储 算法 数据挖掘
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法,该赛题涉及DNA存储技术中的序列聚类与比对问题,包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
107 2
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
|
3月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
184 1
|
2天前
|
SQL 人工智能 自然语言处理
DataWorks年度发布:智能化湖仓一体数据开发与治理平台的演进
阿里云在过去15年中持续为268集团提供数据服务,积累了丰富的实践经验,并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE,支持湖仓一体化开发,新增Flink计算引擎和全面适配locs,优化工作流程系统和数据目录管理。同时,阿里云正式推出个人开发环境模式和个人Notebook,提升开发者体验和效率。此外,DateWorks Copilot通过自然语言生成SQL、代码补全等功能,显著提升了数据开发与分析的效率,已累计帮助开发者生成超过3200万行代码。
|
2月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
227 3
【赵渝强老师】基于大数据组件的平台架构
|
2月前
|
存储 算法 固态存储
大数据分区优化存储成本
大数据分区优化存储成本
38 4
|
3月前
|
机器学习/深度学习 监控 搜索推荐
电商平台如何精准抓住你的心?揭秘大数据背后的神秘推荐系统!
【10月更文挑战第12天】在信息爆炸时代,数据驱动决策成为企业优化决策的关键方法。本文以某大型电商平台的商品推荐系统为例,介绍其通过收集用户行为数据,经过预处理、特征工程、模型选择与训练、评估优化及部署监控等步骤,实现个性化商品推荐,提升用户体验和销售额的过程。
112 1
|
3月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
53 4
|
3月前
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
79 3
|
3月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
53 1
|
3月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
34 1