数据科学(Data Science)
数据科学是一个跨学科的领域,包含所有与结构化和非结构化数据相关的内容,从准备、清理、分析和源于有用的视角开始。它结合了数学、统计学、智能数据捕获、编程、问题解决、数据清理、不同的观察角度、准备和数据对齐。
简而言之,它是对数据进行处理的几种技术和流程的组合,以获得有价值的业务视角。通过使用科学的方法、算法、流程和系统来有效地提取信息,这些信息可以被业务用来做出关键的业务决策。
大数据(Big Data)
大数据有几个特性,最著名的是数据量(volume),速度(velocity),多样性(variety)。除此以外,还有就是准确性(veracity),连通性(valence), 和价值(value) 。
Volume
这就是大数据本身的本质,有很多数据,很大数据量。而数据量本身并不使数据变得有用,所以我们需要对它进行再次的处理。
计算机的运行速度决定了没法迅速处理如此大的数据规模,所以在大量数据领域,还有类似存储,访问和处理相关的成本,可扩展性和性能等等挑战。
Velocity
这个词我有看到几个解释,类似的翻译有很多,有人认为应该翻译成时效性,我个人不这么认为。大部分的英文解释都是关于处理数据的速度。
当你处理这么多的数据时,访问速度和得到所需结果的速度是至关重要的。
举个例子,Google Flu Trends(虽然已经证明是失败的了)能够预测流感,通过实时收集数据进行运算,如果你的运算速度比较慢,处理不了那么多数据,那么在流感爆发的时候,你还没有计算出这个区域有没有流感潜伏,这就失去了时效性。所以处理速度很重要。
Variety
数据格式多样性:包含文字、影音、网页、串流等等结构性、非结构性的数据等等。
来源多样性:从动车系统传来的实时数据,从沃尔玛系统每周统计的数据等。
媒体多样性:随着多媒体的发展,用来传播的媒体也越来越多,如音频、视频、图片等等。
语义多样性:分为两个方面。一方面,举个最简单的例子,我们可以用数字来表示年龄,我们也有用小孩,青年,老人来表示年龄。另一方面,在不同语义情况下,相同的词会蕴含不用的意思。
Veracity
可疑性指的是当数据的来源变得更多元时,这些数据本身的可靠度、质量是否足够,若数据本身就是有问题的,那分析后的结果也不会是正确的。
Valence
这是最不常见到和谈到的属性。
这个属性的来源是化学里的化合价,在这里指的是数据的连接性,即连接的数据项与可能连接的总数的分数。
当两个数据相关的时候,则称这两个数据相互连接。而连接性会随着时间越来越大,导致数据关系越来越复杂,于是群体事件预测、关系变化的建模与预测等等也会越来越复杂。
Value
前面说了这么多,大数据的核心就是价值。所有的大数据的困难与问题都是如何将数据转化为价值。包括大容量和各种数据的易于访问和提供高质量分析,从而做出明智决策的价值等等。
数据分析(Data Analysis)
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。