【必学基础】数据分析的基本方法

简介:

第2章 数据分析方法论


2.1数据分析的基本方法

数据分析有法可循,在分析数据时使用分析方法可以快速有效地分析数据,从数据中获取信息。常用的分析方法有对比法、拆分法、交叉法、降维法、增维法、指标法和图形法,根据业务场景选择一种或一种以上的分析方法可以让分析更加高效。

2.1.1对比法

对比法是最基本的分析方法也是数据分析的“先锋军”,分析师在开展分析时首先使用对比法,可以快速发现问题对比法分为横向和纵向两个方向。

横向对比是指跨维度的对比,比如在分析企业销售业绩的时候,将不同行业的企业销售业绩一起进行对比,这样可以知道某家企业在整个市场的地位。如中国的500强企业排行榜单,就是将不同行业的企业产值进行对比。

纵向对比是指在同一个维度的对比,比如基于行业为维度,钢铁行业的企业排行榜单;比如基于时间为维度,将今天的销售业绩和昨天、上个星期同一天进行对比,可以知道今天的销售业绩的情况。

例:小李是某天猫运营,刚接手一家新网店,欲确定该店铺的主营品类,已知该店铺经营A,B,C,D四个品类。

解:通过对比A,B,C,D四个品类的天花板,要做市场规模则选择天花板高的品类,要便于生存则选择天花板低的品类。

A品类

B品类

C品类

D品类

1580万元

780万元

605万元

1685万元

表2-1

21c687d9890f3a31ff3991882d975f936347ee02

图2-1

2.1.2拆分法

拆分法是最常用的分析方法之一,在许多领域应用非常广泛,杜邦分析法就是拆分法的经典应用。拆分法是将某个问题拆解成若干个子问题,通过研究该若干子问题从而解决问题。比如在研究销售业绩下降问题时,可以将销售业绩问题拆分成转化率、客单价和访客数这三个子问题,通过分析这三个子问题从而解决销售业绩问题。

例:某店铺的销售额大幅下降,运营欲找出销售额下降的原因。

日期

访客数

转化率

客单价

销售额

周一

1000

3.5%

100

3500

周日

2000

3.4%

100

6800

上周一

2500

3.5%

100

8750

表2-2

解:销售额下降的问题可拆分成三个子问题,分别是转化率、客单价和访客数的变化,通过表2-2结合对比法发现主要是访客数的变化引起的销售额大幅下降。可再进一步拆分访客数,访客数可分为付费访客数和免费访客数,对问题的原因进一步剖析,直到找到问题的根源。

2a58e23a1acd1279cb46045a3d9571c1a816c052

图2-2

2.1.3排序法

排序法是基于某一个度量值的大小,将观测值递增或递减的排列,每一次排列只能基于某一个度量值。排序法是从对比法中衍生的一种常用方法,百度搜索风云榜、淘宝排行榜等业内知名榜单就是重度采用排序法的产品,通过排序后的榜单,让用户快速获取目标价值信息

例:某运营收集了数个品类的数据,如表2-3所示,通过排序法列出品类榜单。

品类

交易指数

在线产品数

T恤

20178

55135570

连衣裙

43551

21868084

裤子

22664

41053642

衬衫

19592

11556930

表2-3

解:排序法只能基于某一个度量进行排序,表3中有两个度量,因此可以做出两个表单。

表2-4为基于交易指数的榜单,排名越靠前代表该品类的市场规模越大。

排名

品类

交易指数

在线产品数

1

连衣裙

43551

21868084

2

裤子

22664

41053642

3

T恤

20178

55135570

4

衬衫

19592

11556930

表2-4

表2-5为基于产品数的榜单,排名越靠前代表该品类的市场竞争越大

排名

品类

交易指数

在线产品数

1

T恤

20178

55135570

2

裤子

22664

41053642

3

连衣裙

43551

21868084

4

衬衫

19592

11556930

表2-5

2.1.4交叉法

交叉法是对比法和拆分法的结合,是将有一定关联的两个或以上的维度和度量值排列在统计表内进行对比分析,在小于等于三维的情况下可以灵活使用图表进行展示。当维度大于三维时选用统计表展示,此时也称之为多维分析法。比如在研究市场定价时,经常将产品特征和定价作为维度,销售额作为度量值进行分析。

例:有以下数据,利用交叉法分析不同性别的差异

性别

品类

消费金额

零食

68

耳机

180

零食

155

耳机

42

表2-6

解:将表2-6转变成二维交叉表,如表2-7所示,通过表2-7可以直观地观察到男性和女性用户在消费偏好上的差异,男性更愿意在耳机上消费,女性则更愿意在零食上消费。

性别 品类

零食

耳机

68

180

155

42

表2-7

2.1.5降维法

降维法是在数据集字段过多时,分析干扰因素太多,通过找到并分析核心指标可以提高分析精度,或者通过主成分分析、因子分析等统计学方法将高维转变成低维。比如在分析店铺数据时,根据业务问题的核心提取主要的两到四个核心指标,进行分析。

例:根据以下字段评估店铺的综合情况

转化率

销售额

客单价

访客数

动销率

连带率

好评率

纠纷率

上新率

解:对指标进行分类,将店铺的评估分成产品运营能力、店铺获客能力和店铺服务能力。

反映店铺产品运营能力的指标有:

动销率

连带率

上新率

反映店铺获客能力的指标有:

转化率

销售额

客单价

访客数

反映店铺服务能力的指标有:

好评率

纠纷率

基于每个能力维度下的指标,综合评估出每个能力的分数。

可使用数据归一化[1]的方法或者熵值法[2]计算分数,达到综合评估的目的。

2.1.6增维法

增维法是在数据集的字段过少或信息量不足时,为了便于业务人员分析,通过计算衍生出更加直观的指标。比如在分析关键词时,将搜索人气除以商品数量得到一个新的指标,定义为关键词的竞争指数。

例:计算关键词的竞争度,基于业务经验,竞争度=搜索人气*点击率*支付转化率÷在线商品数,得到的指标为正指标,数值越大越好。

关键词

搜索人气

点击率

在线商品数

支付转化率

竞争度

A

32,914

152.95%

165,118

6.92%

0.021

B

11,736

132.03%

3,199

3.99%

0.193

C

10,274

162.75%

55,774

8.55%

0.026

D

9,245

222.64%

4,198

3.71%

0.182

E

7,977

138.58%

23,718

6.89%

0.032

表2-8

2.1.7指标法

指标法是分析的基本方法之一,通过汇总值、平均值、标准差、等一系列的统计指标研究分析数据。指标法更适合用于多维的数据。

例:表2-9是淘宝搜索某关键词按人气排名前5的商品数据,通过指标法描述各个度量。

排名

售价

销售额

评价人数

DSR_物流分

DSR_描述分

DSR_服务分

1

680

115600

151

4.61

4.74

4.76

2

3680

629280

16

4.98

4.98

4.98

3

2180

372780

902

4.95

4.95

4.96

4

2180

374960

2363

4.92

4.93

4.94

5

2199

380427

958

4.95

4.97

4.95

表2-9

使用指标法描述度量后的结果,如表2-10所示。

排名

售价

销售额

评价人数

DSR_物流分

DSR_描述分

DSR_服务分

计数

5

5

5

5

5

5

缺失值

0

0

0

0

0

0

均值

2184

374609

878

4.88

4.91

4.92

汇总

10919

1873047

4390

24.41

24.57

24.59

标准差

949

162469

835

0.14

0.09

0.08

表2-10

2.1.8图形法

图形法是分析的基本方法之一,通过柱形图、折线图、散点图等一系列的统计图形直观地研究分析数据。图形法适合用于低维的数据。

例:表2-11淘宝搜索某关键词按人气排名前220的商品数据,通过图形法分析这些售价的分布

排名

售价

销售额

评价人数

DSR_物流分

DSR_描述分

DSR_服务分

1

680

115600

151

4.61

4.74

4.76

2

3680

629280

16

4.98

4.98

4.98

3

2180

372780

902

4.95

4.95

4.96

……

……

……

……

……

……

……

220

150

547800

33206

4.75

4.63

4.74

表2-11

图2-3是基于售价分组后绘制的直方图,可以直观地观察各个价格区间包含商品的个数,商品售价分布主要集中在[118,588],[1058,1998]两个区间。

814d27a888bb0925576dc440568ee31ae69db93b

图2-3


原文发布时间为:2018-08-23

本文作者:陈海城

本文来自云栖社区合作伙伴“零一”,了解相关信息可以关注“零一”。

相关文章
|
2月前
|
数据可视化 数据挖掘 数据管理
问卷调查数据分析指南!掌握方法,精准把握用户需求!
本文介绍了如何利用自定义报表、交叉报表和过滤器进行问卷调查数据分析。文章首先区分了定量和定性数据,强调了定量数据在分析中的重要性,并列举了客户体验(CSAT、CES、NPS)和市场调研的关键指标。接着,提到了定性数据分析方法,如情感分析和词云图。文章还讨论了自定义报表、交叉报表和过滤器在数据筛选和相关性探索中的作用,以及收集器在多源数据收集上的应用。最后,强调了仪表板在数据可视化和比较中的优势,并推荐了Zoho Survey作为综合的数据管理平台。
232 0
问卷调查数据分析指南!掌握方法,精准把握用户需求!
|
2月前
|
搜索推荐 数据挖掘 C++
数据分析方法-对比分析和用户画像
数据分析方法-对比分析和用户画像
98 1
数据分析方法-对比分析和用户画像
|
2月前
|
数据可视化 数据挖掘 Linux
Python数据分析(四)——plot方法
Python数据分析(四)——plot方法
|
2月前
|
机器学习/深度学习 数据采集 存储
基于振弦采集仪的工程监测数据分析方法研究
基于振弦采集仪的工程监测数据分析方法研究主要涉及以下几个方面:
基于振弦采集仪的工程监测数据分析方法研究
|
7月前
|
机器学习/深度学习 数据采集 运维
重要的数据分析方法:时间序列分析
重要的数据分析方法:时间序列分析
144 1
重要的数据分析方法:时间序列分析
|
2月前
|
供应链 搜索推荐 数据挖掘
数据分析方法与模型
数据分析方法与模型
|
8月前
|
数据挖掘 索引 Python
【Python】数据分析:numpy的常用方法
【Python】数据分析:numpy的常用方法
54 0
|
9月前
|
机器学习/深度学习 运维 数据可视化
chat GPT在常用的数据分析方法中的应用
ChatGPT在常用的数据分析方法中有多种应用,包括描述统计分析、探索性数据分析、假设检验、回归分析和聚类分析等。下面将详细介绍ChatGPT在这些数据分析方法中的应用。 1. 描述统计分析: 描述统计分析是对数据进行总结和描述的方法,包括计算中心趋势、离散程度和分布形状等指标。ChatGPT可以帮助你理解和计算这些描述统计指标。你可以向ChatGPT询问如何计算平均值、中位数、标准差和百分位数等指标,它可以给出相应的公式和计算方法。此外,ChatGPT还可以为你提供绘制直方图、箱线图和散点图等图表的方法,帮助你可视化数据的分布和特征。 2. 探索性数据分析: 探索性数据分析是对数据进行探
200 0
|
10月前
|
人工智能 大数据 数据挖掘
只知道ABtest?测试方法还有这些,数据分析师都得掌握!
只知道ABtest?测试方法还有这些,数据分析师都得掌握!