什么是数据分析
就是把隐藏在数据背后的信息提炼出来,总结出内在规律,帮助更好的决策
数据分析的三个方向
现状分析(分析当下的数据)
也叫实时分析,数据产生到数据分析的间隔非常短,数据是流式的不是批式
原因分析(分析过去的数据)
也叫离线分析,批处理,比如一周一分析、一天一分析,通过总结过去的数据找到一些现状的原因
预测分析(预测未来的变化)
也叫机器学习,利用当下和过去的数据,预测未来的变化。侧重于数学算法。
数据分析的基本步骤
1.明确分析的目的和思路
分析的思路需要数据分析的方法论支撑,就像软件工程里面的一些开发模型一样,比如说用户行为理论,PEST分析法
2.数据收集
数据可能是采集(爬取)而来,数据也可能是被搬运而来(从数据库搬运)
3.数据预处理
对收集的数据进行处理,形成干净的、结构化的数据
4.数据分析
要掌握一些分析的工具和方法
5.数据可视化
将分析的结果用图表展示,因为人是视觉动物。分析结果还能进行数据挖掘
6.报告撰写
也就是数据分析的应用,总结出一些什么规律
大数据时代
数据分析的是数据,在谈数据分析之前,必须了解大数据
大数据(big data)是短时间内无法捕捉、处理、分析的数据集合
业界用5v来描述它的特征
大数据的应用场景
比如说,电商、传媒、金融、交通、电信领域、安防、医疗
大数据场景催生的两个问题
数据怎么存储的?
数据怎么计算的?
分布式和集群
分布式和集群的相同点在于都是多台机器构成
分布式在于各个机器承担的功能不一样。而集群里面的各个机器承担的功能是一样的,常被用于负载均衡
大数据场景催生的两个问题的解决
- 数据怎么存储的?
分布式存储 - 数据怎么计算的?
分布式计算