开发者学堂课程【大数据简史:数据大爆炸】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/89/detail/1357
数据大爆炸
内容简介
一、 大数据出现的标志性事件
1、大数据出现的标志性事件
从因特网诞生开始了真正驱动大数据爆发的一个年代性的变更。
首先来看万维网,也就是因特网的发生的故事。
Tim Nerners-Lee 在他自己的个人电脑上写下一个网页。
当时这个所谓的外国的网页,只有他自己在看,花费一年的时间,从他开始写到欧洲原子能组织内部进行宣讲,他试图说服所有人来使用这个万维网。
但是大部分人都不愿相信这个东西的价值。
然后他又花了两年的时间全市各地去做路由,才有非常少的人相信这个东西是有价值。
曾经遇到一个人在做百科全书应用,建议应该把这个百科全书应用和因特网结合在一起。
到了 2001 年,一起在《科学美国人》上发表了一篇文章。文章阐述了一个理念,如果有结构化数据,用知识去标注网络应用的能力的话,就能够实现许多神奇的应用,实际上当时描述的很多东西现在已经实现,当时是科幻,现在已是事实了。
另外一个标志性的年份是 1998 年,首次数字的存储成本比纸张背景从谷歌搜索首次亮相,成为搜索互联网数据工具,这都帮助了互联网真正成为人们日常生活工作当中常用的工具。
另一个重要的概念是互联网 2.0,当时 O'Reilly 和 MediaLive International 开了一场头脑风暴的论坛。
这令人激动的新程序和新网站都有惊人的一个规律性,互联网虽然处于一个框里,但是远远没有崩溃。
甚至比以前更重要的是,当我们在看这个活过了泡沫破裂的公司之后,他们之间似乎拥有某些共同点,就是和用户之间有一个比较强的沟通,此时也是一个转折。
用户既是网站内容的浏览者,也是网站内容的制造者。
在模式上,由单纯的读向写改变。在 2004 年,Facebook 出现,标志着人们真正成为互联网的主人,允许人向互联网自发的发布各种信息。这些信息包罗万象。
在 2005 年,Hadoop 这个开源框架被创建出来,专门用于存储和分析大数据集。
它的灵活性使它对管理非结构化数据(语音、视频、原始文本等)特别有用,我们正在越来越多地生成和收集这些数据。