《深入理解Hadoop(原书第2版)》——1.6大数据商业用例-阿里云开发者社区

开发者社区> 华章计算机> 正文

《深入理解Hadoop(原书第2版)》——1.6大数据商业用例

简介:
+关注继续查看

本节书摘来自华章计算机《深入理解Hadoop(原书第2版)》一书中的第1章,第1.6节,作者 [美]萨米尔·瓦德卡(Sameer Wadkar),马杜·西德林埃(Madhu Siddalingaiah),杰森·文纳(Jason Venner),译 于博,冯傲风,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.6大数据商业用例

在商业界,大数据和Hadoop都有很多应用案例。再从以下三个方面总结大数据的特征:

  • 数据量(Volume)
  • 处理速度(Velocity)
  • 数据多样性(Variety)

数据量是指系统能够处理的数据量的大小。如果你们部门每天晚上都要在两个小时内获取、加载并传输2TB的数据,你就会面对数据量的挑战。

处理速度是指当大量数据来到时,系统的处理数据能力。像Facebook 和 Twitter 这样的公司就碰到了数据处理速度的问题。这些公司每秒钟都会收到海量的短信息(tiny messages),这些数据需要被立即处理,把它们发布到社交站点,推送到相关用户(家庭成员、朋友或者追随者),触发各种事件等。

数据多样性是指系统处理的数据格式类型是不停增长的。企业检索系统已经成为各企业的标配了。类似Apache Solr这样的开源软件使基于搜索的系统越来越普遍。绝大多数非结构化的数据并非孤立存在的,有大量的结构化的数据与其相关联。我们拿一个简单的电子邮件文档来举个例子。电子邮件有很多元数据与其关联,比如发送者、接收者、接收者的顺序、发送/接收时间、发送者/接收者的企业信息(比如,发送时的头衔),等等。

这些信息是动态变化的。比如,你要分析多年的电子邮件(一些法律行业的相关部门会经常有此工作内容),当发送者或者接收者第一次进行电子邮件交流的时候,搞清楚他们当时使用的头衔是很重要的。数据的这种动态变化的特性是普遍存在的,而且也是处理的难点。

利用商用软件和硬件,大数据系统能帮助我们每天的工作,比如大数据量的抽取、传输、加载(ETL)。需要强调的是,开源Hadoop系统,这个运行在多个商用服务器上,并可通过添加更多的计算节点来扩容集群的系统,可以使得ETL(或者是ELT,这个是大数据领域的通用叫法)性能在合理的代价上获得大幅提升。

为了支持更快的数据处理速度和更加多样的数据类型,围绕着Hadoop系统和HDFS系统发展出了多个开源的大数据处理系统。新的数据格式要求我们在处理大量数据的时候对系统I/O性能有更好的管理。本书将会讲解这样的开发需求存在的目的和相关用例。

Storm(由Twitter公司发起)和Apache Flume(用来分析海量日志数据信息)是专注于数据处理速度的系统。如何选择这样的系统,取决于你需要的数据处理的“实时”程度。Storm处理数据的实时性会比Flume更好。

要明确的是,大数据是一个由多个系统组成的生态系统,这些系统都是用来处理各种复杂的业务问题。Hadoop系统是处理这些问题的解决方案的核心。理解了Hadoop系统,你就能更深刻地理解大数据生态圈中其他大数据系统的使用。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10004 0
简析市场营销中的 六 大数据科学用例
阿里云数据中台专家简要分析当前市场营销中心的六大数据科学用例。
2070 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13802 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载
《2021云上架构与运维峰会演讲合集》
立即下载