开发者学堂课程【高校精品课-北京理工大学-大数据技术导论:大数据思维】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/857/detail/15606
大数据思维
内容介绍:
一、培养大数据思维
二、大数据思维(三个思维模式的改变)
在前面的课程里面,学习到了大数据的获取、大数据的管理、大数据的存储、大数据的处理,大数据的分析,以及大数据的理解和可视化,经常认为它是大数据分析处理的工具箱里的工具,有了工具之后,就可以去来分析大数据,大数据也经常会把它认为是金矿,需要利用工具从金矿里面把金子给挖出来。那如果想更好的把金子挖出来,一定要具有大数据的思维,利用大数据的思维来指导从大数据里面去发现价值,比如发现我们的金子。
那下面,我们将从大数据思维、谷歌流感预测、大数据分析的挑战三个方面一一讲解大数据技术的应用。第一个方面,是大数据的思维。
一、培养大数据思维
科学研究经过了四个范式,第一个范式为实验思维,第二个范式叫逻辑思维,第三个范式叫计算思维,第四个范式也是现阶段,称之为,数据思维。
在大数据时代,要通过数据思维去解决大数据时代的这些问题。我们之前没有用大数据的思维解决问题是因为我们的硬件的环境不具备,计算能力不够,技术不够成熟,即获取的技术,处理技术,存储的技术等等这些技术不够成熟,也没有那么多可用的大数据,导致在前面没有很好的去用大数据思维去解决问题,但在大数据时代,我们需要学习大数据思维,然后利用大数据思维去帮我们解决问题
二、大数据思维(三个思维模式的改变)
在学习大数据思维过程中,需要做三个转变,第一个转变,是从采样到全样的转变。第二转变,是从精确到非精确的转变,第三个转变,是从因果关系到关联关系的转变。
可以发现在上面的框里面有采样精确和因果关系,都属于在小数据时代,分析处理数据的手段和方法也是我们的思维,下面的全样非精确和关联关系是在大数据时代大数据思维处理数据的思路和方法。
采样到全样,指的是尽可能收集全面而完整的数据,尽可能把数据都收过来,这是大数据时代要做的事情。什么是精确到非精确?就是宁愿放弃数据的精确性。也要尽可能收集更多的数据,更多的数据可以弥补非精确的问题,它可能会使分析的结果更加的精确。
第三个转变,就因果关系到关联关系的转变,并不是说因果关系不重要,而是因果关系和关联关系同等重要,需要把两种思路结合起来来用,这是大数据思维的三种模式的转变。
三、大数据处理过程
大数据的处理过程,要有数据的获取与管理,数据的存储与处理,数据的分析与理解,以及结合领域的一个应用,通过大数据处理的过程,发现大数据里面的一些价值。后通过几个小案例去结合数据,领域以及价值给大家进行讲解。
第一个例子是上海外滩区域的热力图,在图里面发现有的地方,会很深,比如这些红色的区域,它会很深。有些地方相对比较浅,比如像绿色地方会更浅,深和浅实际上它代表人群的密集程度,越深说明人越多,越浅说,明人相对越少。这是通过日历图能够获得的数据。这些数据,实际上是可以通过人群的位置获得这些数据,
这些数据有什么价值?对于游客、普通的民众来讲,可以避免人群非常密集的区域,不会有拥挤,不会发生危险,对于管理者来讲,当发现人群非常密集的地区,就可以采取措施,把人群合理的疏导开,就可以避免这种踩踏事故的这种发生,这就是热力图给我们带来价值,输入这些位置的数据,经过大数据的分析处理,得到这样一张图,通过这个图,就发现更有价值的内容。更有价值信息,无论对我们普通的民众,还是对管理者来讲,都是有帮助的,当然这个图,也可以用到,就旅游场所里面,可以观察这个旅游区的人群的密集程度,可以采取比如限流对,又可以采取人群的疏导,对于民众来讲,可以避免去人群过于密集的区域去旅游,找一些人比较少的地方,这样的话,旅游的体验就会更加好。这是第一个例子,就数据分析的这个热力图能给我们带来什么。
第二个例子,这张图是某城市自行车的骑行数据的分析,
在地图里面可以看到很多红色的实心圆,这些实心圆,实际上代表自行车的停车点,一个圆就实际上就是一个停车点,以及这个停车点自行车的数量。
这张图对于骑行者来讲,找自行车,可以很方便的找到自行车,对于这个自行车投放的这些公司来讲,可以根据这张图去合理投放他的自行车的数量,也可以指导不同的公司去投放自行车,不至于有些地方自行车特别多,有的地方的自行车特别少,这是这张图给我们带来的价值。继续看这张图,
实际上是用户骑车的轨迹的分布图,不同的亮度的线代表骑行的这种线路就骑的人越多,它就这条线会越亮,这张图可以通过一些统计分析的算法去得出功能区的划分。通过骑行路线的分析,可以发现,哪些地方是住宅区,哪些地方是学区,哪些地方都是商圈,
这是可以通过骑行数据分析出来。分析出来的数据可以给政府做决策来用。可以合理的去规划学区,商圈和住宅,不至于有些地方非常的密集,有些地方又没有可用的商圈,这是骑行数据给我们带来的价值。
第三个例子,一带一路国家夜光遥感的一个灯光图,而它的数据来源是卫星对一带一路区域进行拍摄的遥感图像,通过遥感图像把灯光给提出来,白色的这个点,把它提出来之后,可以看一下它有什么价值,从九五年到01年07年13年。这个灯光的变化,我们会发现很多有价值的信息,
有些区域它变得越来越亮,说明可能这个区域经济发展越来越好,通过这样一个场景,可以把遥感动图像和我经济发展之间建立起联系,这个联系,就可以指导我们政府作为决策,也可以给一带一路国家带来信息,会更好的去建设一带一路,也可以评估一带一路整个区域的用协同的成果。
通过几个例子来说明了的数据,领域的应用,以及从数据里面可以发现的价值。大数据的这种思维以及大数据的价值,这是要讲解的第一个部分。








