如何提高你的数据分析能力?

简介:

20161026082848702.jpg

  第一步:数据准备:(70%时间)

获取数据(爬虫,数据仓库)验证数据数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)抽样(大数据时。关键是随机)存储和归档

第二步:数据观察(发现规律和隐藏的关联)

单一变量:点图、抖动图;直方图、核密度估计;累计分布函数两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜多个变量:假色图、马赛克图、平行左边图

第三步:数据建模

推算和估算(均衡可行性和成本消耗)缩放参数模型(缩放维度优化问题)建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)

第四步:数据挖掘

选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)大数据考虑用Map/Reduce得出结论,绘制最后图表

循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。

业务分析版

“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。

1. 数据为王,业务是核心

了解整个产业链的结构制定好业务的发展规划衡量的核心指标有哪些

有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状,发现多维规律

熟悉产品框架,全面定义每个指标的运营现状对比同行业指标,挖掘隐藏的提升空间拆解关键指标,合理设置运营方法来观察效果争对核心用户,单独进行产品用研与需求挖掘

发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。

3. 规律验证,经验总结

发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。

目录
相关文章
|
18天前
|
数据挖掘 UED
数据分析
数据分析。
12 1
|
2月前
|
数据采集 机器学习/深度学习 人工智能
数据分析与理解
数据分析与理解
34 3
|
9月前
|
搜索推荐 数据挖掘
数据分析场景
数据分析场景
|
10月前
|
数据挖掘 Windows
数据分析的前世今生
数据分析的前世今生
71 0
|
10月前
|
数据采集 XML 存储
C++数据分析的应用
C++是一种功能强大的编程语言,提供高性能、高效性和灵活性,适用于各种应用程序。其中,数据分析是C++的一个重要领域,涉及大量数据的收集、处理和解释。C++可以有效处理使用HTTP、FTP、JSON、XML等各种协议和格式的网络通信和数据采集任务。
203 0
|
数据采集 SQL 算法
【数据分析】:什么是数据分析?
【数据分析】:什么是数据分析?
【数据分析】:什么是数据分析?
|
SQL 机器学习/深度学习 运维
聊聊数据分析
聊聊数据分析
129 0
|
SQL 运维 算法
做数据分析,到底要懂多少业务
小伙们经常听到这样一句话:“数据分析要懂业务!”那到底啥玩意才是业务?懂多少才算懂业务?今天跟大家分享一下。
156 0
做数据分析,到底要懂多少业务
|
监控 数据挖掘 BI
数据分析7大能力:梳理数据需求
今天分享数据分析师必备的工作能力——需求梳理。需求梳理很不起眼,甚至很多小伙伴感受不到他的存在。但它结结实实影响到大家的下班时间和绩效。
927 0
HH
|
SQL 存储 数据可视化
数据分析小结(1)
针对数据分析的小部分整理,物联网数据分析,又称Link Analytics,是阿里云为物联网开发者提供的设备智能分析服务,全链路覆盖了设备数据生成、管理(存储)、清洗、分析及可视化等环节。有效降低数据分析门槛,助力物联网开发工作。
HH
306 0