《大数据分析原理与实践》一一第1章 绪  论 1.1 什么是大数据-阿里云开发者社区

开发者社区> 华章计算机> 正文

《大数据分析原理与实践》一一第1章 绪  论 1.1 什么是大数据

简介:
+关注继续查看

本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.1节,作者:王宏志 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第1章 绪  论 1.1 什么是大数据

1.大数据的定义
“大数据”的概念起源于2008年9月《自然》(Nature)杂志刊登的名为“Big Data”的专题。2011年《科学》(Science)杂志也推出专刊“Dealing with Data”对大数据的计算问题进行讨论。谷歌、雅虎、亚马逊等著名企业在此基础上,总结了他们利用积累的海量数据为用户提供更加人性化服务的方法,进一步完善了“大数据”的概念。
根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
在维克托·迈尔–舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中,大数据指的是不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。
“大数据”研究机构Gartner将“大数据”定义为需要新处理模式才能具有更强的决策
力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2.大数据的背景
一般来说,大数据泛指巨量的数据集。当今社会,互联网尤其是移动互联网的发展,显著地加快了信息化向社会经济以及大众生活等各方面的渗透,促使了大数据时代的到来。近年来,人们能明显地感受到大数据来势迅猛。据有关资料显示,1998年,全球网民平均每月使用流量是1 MB,2003年是100 MB,而2014年是10 GB;全网流量累计达到1EB(即10亿GB)的时间在2001年是一年,在2004年是一个月,而在2013年仅需要一天,即一天产生的信息量可刻满1.88亿张DVD光盘。事实上,我国网民数居世界首位,产生的数据量也位于世界前列,这其中包括淘宝网站每天超数千万次的交易所产生的超50 TB的数据,包括百度搜索每天生成的几十PB的数据,也包括城市里大大小小的摄像头每月产生的几十PB的数据,甚至还包括医院里CT影像抑或门诊所记录的信息。总之,大到学校、医院、银行、企业的系统行业信息,小到个人的一次百度搜索、一次地铁刷卡,大数据存在于各行各业,存在于民众生活的边边角角。
另一方面,大数据因自身可挖掘的高价值而受到重视。国家的宽带化战略的实施,云计算服务的起步、物联网的广泛应用和移动互联网崛起的同时,数据处理能力也迅速发展,数据积累到一定程度,其资料属性将更加明晰,显示出开发的价值。同时,社会的节奏越来越快,要求快速反应和精细管理,急需借助对数据的分析和科学的决策,这样,我们便需要对上面所说的形形色色的海量数据进行开发。也就是说,大数据的时代来了。
有学者称,大数据将引发生活、工作和思维的革命;《华尔街日报》将大数据称为引领未来繁荣的三大技术变革之一;麦肯锡公司的报告指出,数据是一种生产资料,大数据将是下一个创新、竞争、生产力提高的前沿;世界经济论坛的报告认为大数据是新财富,价值堪比石油;等等。因此,大数据的开发利用将成为各个国家抢占的新的制高点。
3.大数据的特点
大数据是相对于一般数据而言的,目前对大数据尚缺乏权威的严格定义,通常大家用“4V”来反映大数据的特征:
1)Volume(规模性):大数据之“大”,体现在数据的存储和计算均需要耗费海量规模的资源上。规模大是大数据最重要的标志之一,事实上,数据只要有足够的规模就可以称为大数据。数据的规模越大,通常对数据挖掘所得到的事物演变规律越可信,数据的分析结果也越具有代表性。例如,美国宇航局收集和处理的气候观察、模拟数据达到32 PB;而FICO的信用卡欺诈检测系统要监测全世界超过18亿个活跃信用卡账户。不过,现在也有学者认为,社会对大数据的关注,更多地应引导到对数据资源获得与利用的重视上来,因为对于某些中小数据的挖掘也有价值,目前报道的一些大数据挖掘的应用例子,不少只是TB级的规模。
2)Velocity(高速性):大数据的另一特点在于数据增长速度快,急需及时处理。例如,大型强子对撞机实验设备中包含15亿个传感器,平均每秒钟收集超过4亿的实验数据;同样在一秒钟里,有超过3万次用户查询提交到谷歌,3万微博被用户撰写。而人们对数据处理的速度的要求也日益严格,力图跟上社会的节奏,有报道称,美国中情局就要求利用大数据将分析搜集数据的时间由63天缩短为27分钟。
3)Variety(多样性):在大数据背景下,数据在来源和形式上的多样性愈加突出。除以结构化形式存在的关系数据,网络上也存在大量的位置、图片、音频、视频等非结构化信息。其中,视频等非结构化数据占很大比例,有数据表明,到2016年,全部互联网流量中,视频数据将达到55%,那么,有理由相信,大数据中90%都将是非结构化数据。并且,大数据不仅仅在形式上表现出多元化,其信息来源也表现出多样性,大致可将其分为网络数据、企事业单位数据、政府数据、媒体数据等几种。
4)Value(高价值性):大数据价值总量大,但价值稀疏,即知识密度低。大数据以其高价值吸引了全世界的关注,据全球著名咨询公司麦肯锡报告:“如果能够有效地利用大数据来提高效率和质量,预计美国医疗行业每年通过数据获得的潜在价值可超过3000亿美元,能够使得美国医疗卫生支出降低8%。”然而,大数据的知识密度非常低,IBM副总裁CTO Dietrich表示:“可以利用Twitter数据获得用户对某个产品的评价,但是往往上百万条记录中只有很小的一部分真正讨论这款产品。”并且,虽然数据规模与数据挖掘得到的价值之间有相关性,但是两者难以用线性关系表达。这取决于数据的价值密度,同一事件的不同数据集即便有相同的规模(例如对同一观察对象收集的长时间稀疏数据和短时间密集数据),其价值也可以相差很多,因为数据集“含金量”不同,大数据中多数数据是重复的,忽略其中一些数据并不影响对其挖掘的结果。
注意,大数据之所以难处理不仅在于规模大,更大的挑战是其随时间的变化快和类型的多样性,随时间和类型的变化增加了大数据的复杂性,同时也丰富了大数据的内涵。对大数据仅仅冠以“大”这一形容词是不全面的,只不过在大数据“4V”中,规模相对于变化和类型这两个特征量来说容易定量。而且即便是单一类型的数据集,只要有足够的规模也能称得上是大数据。当然,数据的规模越大,通常对数据挖掘所得到的事物演变规律越可信,数据分析的结果也越有代表性。因此对大数据这一词汇突出“规模大”这一特征是可以理解的。
另外,大数据除了需要有足够规模的数据,还有可能涉及一定的时间或空间跨度,即要具有普遍性。例如,每分钟将一个人的身体数据记录下来以了解其身体状况,是有效的,如果将频率改为每秒钟,数据规模有所增加,但其价值并无提升。显然,数据样本密度与被观察对象有关,如风力发电机的很多传感器每毫秒就要检测一次,以检查叶片等的磨损程度。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
云起学习小记
云起学习小记
10 0
match-trade超高效的交易所撮合引擎
match-trade超高效的交易所撮合引擎
7 0
冬季实战训练营-第一期-学习报告
冬季实战训练营-第一期-学习报告
11 0
工商银行实时大数据平台建设历程及展望
中国工商银行大数据平台负责人袁一在 FFA 2021 的分享
7 0
DenseNet实战:tensorflow2.X版本,DenseNet121图像分类任务(大数据集)
本例提取了猫狗大战数据集中的部分数据做数据集,演示tensorflow2.0以上的版本如何使用Keras实现图像分类,分类的模型使用DenseNet121。本文实现的算法有一下几个特点: 1、自定义了图片加载方式,更加灵活高效,节省内存 2、加载模型的预训练权重,训练时间更短。 3、数据增强选用albumentations。
6 0
SQL必知必会(一)
对于我们而言,数据库是一个以某种有组织的方式存储的数据集合。最简单的办法就是将数据库想象成一个文件柜。这个文件柜是一个存放数据的物理位置,不管数据是什么,也不管数据是如何组织的。 数据库(DataBase) 保存有组织数据的容器(通常为一个或一组文件)
17 0
阿里云天池大赛赛题解析——机器学习篇-赛题一(7)
阿里云是国内知名的云计算、大数据、人工智能技术型公司,是阿里巴巴集团最重要的技术部门。阿里云天池是阿里云面向开发者和教育行业的资源输出部门,天池大赛是国内最大规模的人工智能算法赛事,致力于汇聚全球AI精英为企业解决真实问题。自2014年至今已举办数十次行业顶级算法赛事,全球参赛开发者超过30万人。然而对于更广大的普通开发者和大学生群体来说,高规格的算法大赛仍然具有很高的门槛。本书就是针对受众最广泛的新手人群而编写的,精选阿里巴巴最典型的人工智能算法应用案例,邀请天池大赛最顶级的获奖选手联合编撰,公开那些鲜为人知的技术秘籍,力图使每一个涉足数据智能算法技术的开发者从中获益......
9 0
飞天加速计划使用体验
对于云服务器的使用体验感受
12 0
【指标需求思考】如何做好指标类需求建设
大家一直所说的【需求】究竟有哪些?用户需求、业务需求、系统需求...... 但是今天我要给大家介绍一种我自认为一种别出心裁的需求!【指标类需求】在庞大的需求体系里,一个完整的系统设计流程是非常必要的,好则效率百倍,坏则加班熬夜。本文尝试以另一种需求管理方式来处理一种特殊的需求【指标类的需求】,希望大家能所有收获一起成长。当然不积跬步无以至千里,不断的进阶才是王道!欢迎大家一起交流!
12 0
Intel Xeon Platinum (Cooper Lake) 8369性能评测 阿里云第七代ECS服务器
Intel Xeon Platinum (Cooper Lake) 8369性能评测 阿里云第七代ECS服务器
10 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载