何英华:大数据时代的存储之道

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本文讲的是何英华:大数据时代的存储之道,当前,随着企业规模的不断成长,有效存储和管理长期累积的且仍在持续快速增长的海量数据,从中发掘商业价值,意味着巨大的市场机遇;同时,也带来了严峻的挑战:大数据将挑战企业在存储架构及数据中心基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。如何选择有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题。

  面对大数据存在的机遇与挑战,在以“海量数据 深度分析 智慧商业”为主题的第二届大数据世界论坛上来自不同行业的专家就大数据的发展与机遇做了详细的介绍。

  NetApp大中华区技术及专业服务部总监何英华就大数据时代的存储之道作了主题发言。

  何英华指出,大数据指的是那些超越了传统典型工具可以采集、存储、管理和分析的数据集合。大数据就是大量、速度快、比较复杂,还有结构性、非结构性,它可能是一个电邮,可能是一个图片,可能是不同的数据、影像等等。

  大分析(Analytics)、高带宽(Banduidth)、大内容(Content)就是ABC。大分析:分析是要对数据有一个洞见,超大数据的实时分析;高带宽:数据一来就要分析结果,做出报表;大内容:大内容是基本上不要丢失任何的东西。

何英华:大数据时代的存储之道
▲ NetApp大中华区技术及专业服务部总监 何英华

  把数据放到不同的存储,拿出来到放计算机的时候需要一个非常好的硬盘渠道,通过很大的带宽,在中间不能丢失任何数据。怎么样在存储方面体现出?

  大数据——保持简单

  我们的策略也是非常简单的,就是ABC这样来做。所以,在不同的地方我们用不同的应用,在分析方面提到大数据,每一个厂家都提到Hadoop,Hadoop应该是有一个非常创新的联盟,在开发Hadoop应用有实时的分析等等。在高带宽方面有一些video方面要处理,在大内容上有一些内容。在这三个方面都有开发产品去应和。

  大数据存储市场的机会

  在大分析、高带宽、大内容来看,Netapp在大容量方面作为领先的一个供应商,每年的增长是35%,在未来我们可以看到有更高容量的增长。

  Analytics 大分析之Netapp解决方案

  企业级Hadoop解决方案。打包集成的部署就绪的模块化Hadoop集群,我们有一个策略联盟,Hadoop的创始人就是在这个公司里做CIO。我们和Hadoop中是密不可分的关系,放到我们的存储中,在容量方面会有160%的增长。所以,在大分析的地方作为一个联盟来达到结果。

  Banduidth高带宽之Netapp解决方案

  全动态视频存储解决方案。去年我们收购了一系列存储系统,在这些方面可以对带宽速度需要非常高的数据进行存储管理,我们通过一系列的产品来达到这方面的解决方案,达到30GB/S的峰值,其他很难有产品可以达到。

何英华:大数据时代的存储之道

  Banduidth高性能计算 HPC-Lustre解决方案。

  在不同的行业,比如政府,国防,能源,石油方面,制造业方面,我们都有非常好的案例。

  Content 大内容之Netapp解决方案

  存储方面StorageGRID这个产品,它有不同的协议,有CIFS、NFS、RESTfulhTTP等存储协议,也是上几万亿对象存储的一个产品。


  大数据存储的IT采购标准

  如果要做大数据,在存储采购方面有什么考虑?在这方面,我跟大家谈的就是几个方向:

  1、向上扩展与向外扩展。我们最常常说话的scale out就是横向和纵向的扩展,我们这里是向上扩展和向外自扩展能力是非常大的,加上 scale out集群的应用可以支持横向的应用。

  2、工作负载优化架构。大数据处理的实时是非常重要的,在负载方面有非常好的能力。

  3、整合的数据保护。

  4、不中断的运营。一天24小时不中断的运营,扩展的时间也是可以不停机的,用户一天24小时,一个星期7天都可以应用。但是对于数据中心的管理员来说,也可以增加很多部署,比如增加硬盘、增加磁盘、增加节点,把数据从不同的地方迁移,做一些整合等等,所以这是一个不中断的营运。

  5、服务自动化。

  在大数据的应用开发采购方面,我们给用户一些建议,我们都可以达到这些要求。

  ONTAP和E系列的应用领域

  数据从总部到偏远的地方,我们都可以用到Data ONTAP管理。而E系列,在大数据方面分析、卫星拍下来的影像等等,在医疗行业方面系统的应用。所以,部门和行业的应用是在E系列。

  在大数据里面很多的应用都具备E系列和FSA都是无缝的,这两个产品有一个非常好的作用,它是一个非常高性能的应用。

  Analytics、Banduidth、Content,我们有很好的专业服务,可以帮助我们的客户去开发Hadoop和工具来发展应用,在带宽方面我们有很多计算,在内容方面我们有对象存储,我们都在FSA系列和E系列都有分工,有无缝的连接。

作者: 李伟

来源: IT168

原文标题:何英华:大数据时代的存储之道

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
存储 JSON 分布式计算
数据湖,不“唬”你:这是大数据存储的新秩序!
数据湖,不“唬”你:这是大数据存储的新秩序!
110 2
|
5月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
248 0
|
存储 算法 数据挖掘
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法,该赛题涉及DNA存储技术中的序列聚类与比对问题,包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
343 2
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
|
8月前
|
存储 分布式计算 大数据
数据湖——大数据存储的新思维,如何打破传统束缚?
数据湖——大数据存储的新思维,如何打破传统束缚?
320 16
|
存储 算法 固态存储
大数据分区优化存储成本
大数据分区优化存储成本
312 4
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
267 4
|
消息中间件 存储 缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
248 3
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
192 1
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
125 1
|
存储 算法 NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
289 0

热门文章

最新文章