本节书摘来自华章计算机《R语言数据分析与挖掘实战》一书中的第3章,第3.2节,作者 张良均,云伟标,王路,刘晓勇,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3.2 数据特征分析
对数据进行质量分析以后,接下来可通过绘制图表、计算某些特征量等手段进行数据的特征分析。
3.2.1 分布分析
分布分析能揭示数据的分布特征和分布类型。对于定量数据,欲了解其分布形式是对称的还是非对称的、发现某些特大或特小的可疑值,可做出频率分布表、绘制频率分布直方图、绘制茎叶图进行直观地分析;对于定性数据,可用饼形图和条形图直观地显示分布情况。
1.定量数据的分布分析
对于定量变量,选择“组数”和“组宽”是做频率分布分析时最主要的问题,一般按照以下步骤:
1)求极差;
2)决定组距与组数;
3)决定分点;
4)列出频率分布表;
5)绘制频率分布直方图。
遵循的主要原则有:
1)各组之间必须是相互排斥的;
2)各组必须将所有的数据包含在内;
3)各组的组宽最好相等。
下面结合具体实例运用分布分析对定量数据进行特征分析:
表3-2是描述菜品捞起生鱼片在2014年第二个季度的销售数据,绘制销售量的频率分布表、频率分布图,对该定量数据做出相应的分析。
(1)求极差
(2)决定组距与组数
这里根据业务数据的含义,可取组距为500。
(3)决定分点
分布区间如表3-3所示。
(4)列出频率分布表
根据分组区间得到如表3-4所示的频率分布表。其中,第1列将数据所在的范围分成若干组段,其中第1个组段要包括最小值,最后一个组段要包括最大值。习惯上将各组段设为左闭右开的半开区间,如第1个分组为[0,500)。第2列组中值是各组段的代表值,由本组段的上、下限相加除以2得到。第3列和第4列分别为频数和频率。第5列是累计频率,是否需要计算该列视情况而定。
(5)绘制频率分布直方图
若以2014年第二季度捞起生鱼片每天的销售额为横轴,以各组段的频率密度(频率与组距之比)为纵轴,表3-4的数据可绘制成频率分布直方图,如图3-3所示。
2.定性数据的分布分析
对于定性变量,常常根据变量的分类类型来分组,可以采用饼形图和条形图来描述定性变量的分布。
饼形图的每一个扇形部分代表每一类型的百分比或频数,根据定性变量的类型数目将饼形图分成几个部分,每一部分的大小与每一类型的频数成正比;条形图的高度代表每一类型的百分比或频数,条形图的宽度没有意义。
图3-4和图3-5是菜品A、B、C在某段时间的销售量分布图。
3.2.2 对比分析
对比分析是指把两个相互联系的指标进行比较,从数量上展示和说明研究对象规模的大小,水平的高低,速度的快慢,以及各种关系是否协调。特别适用于指标间的横纵向比较、时间序列的比较分析。在对比分析中,选择合适的对比标准是十分关键的步骤,选择合适,才能做出客观的评价,选择不合适,评价可能得出错误的结论。
对比分析主要有以下两种形式:
(1)绝对数比较
它是利用绝对数进行对比,从而寻找差异的一种方法。
(2)相对数比较
它是由两个有联系的指标对比计算的,用以反映客观现象之间数量联系程度的综合指标,其数值表现为相对数。由于研究目的和对比基础不同,相对数可以分为以下几种:
1)结构相对数:将同一总体内的部分数值与全部数值对比求得比重,用以说明事物的性质、结构或质量。例如,居民食品支出额占消费支出总额比重、产品合格率等。
2)比例相对数:将同一总体内不同部分的数值对比,表明总体内各部分的比例关系,如人口性别比例、投资与消费比例等。
3)比较相对数:将同一时期两个性质相同的指标数值对比,说明同类现象在不同空间条件下的数量对比关系。例如,不同地区商品价格对比,不同行业、不同企业间某项指标对比等。
4)强度相对数:将两个性质不同但有一定联系的总量指标对比,用以说明现象的强度、密度和普遍程度。例如,人均国内生产总值用“元/人”表示,人口密度用“人/平方公里”表示,也有用百分数或千分数表示的,如人口出生率用‰表示。
5)计划完成程度相对数:是某一时期实际完成数与计划数对比,用以说明计划完成程度。
6)动态相对数:将同一现象在不同时期的指标数值对比,用以说明发展方向和变化的速度,如发展速度、增长速度等。
拿各菜品的销售数据来看,从时间的维度上分析,可以看到甜品部A、海鲜部B、素菜部C三个部门之间的销售金额随时间的变化趋势,了解在此期间哪个部门的销售金额较高,趋势比较平稳,如图3-6所示。也可以从单一部门(如海鲜部)做分析,了解各月份的销售对比情况,如图3-7所示。
从总体来看,三个部门的销售金额呈递减趋势;部门A和部门C的递减趋势比较平稳;部门B销售金额下降的趋势比较明显,可以进一步分析造成这种现象的业务原因,可能是原材料不足。
3.2.3 统计量分析
用统计指标对定量数据进行统计描述,常从集中趋势和离中趋势两个方面进行分析。
平均水平的指标是对个体集中趋势的度量,使用最广泛的是均值和中位数;反映变异程度的指标则是对个体离开平均水平的度量,使用较广泛的是标准差(方差)、四分位数间距。
1.集中趋势度量
(1)均值
均值是所有数据的平均值。
如果求n个原始观察数据的平均数,计算公式为:
有时,为了反映在均值中不同成分所占的不同重要程度,为数据集中的每一个xi赋予wi,这就得到了加权均值的计算公式:
类似地,频率分布表(如表3-4)的平均数可以使用下式计算:
式中,x1,x2,…,xk分别为k个组段的组中值;f1,f2,…,fk分别为k个组段的频率。这里的fi起了权重的作用。
作为一个统计量,均值的主要问题是对极端值很敏感。如果数据中存在极端值或者数据是偏态分布的,那么均值就不能很好地度量数据的集中趋势。为了消除少数极端值的影响,可以使用截断均值或者中位数来度量数据的集中趋势。截断均值是去掉高、低极端值之后的平均数。
(2)中位数
中位数是将一组观察值从小到大按顺序排列,位于中间的那个数据。即在全部数据中,小于和大于中位数的数据个数相等。
将某一数据集x:{x1,x2,…,xn} 从小到大排序:{x(1),x(2),…,x(n)}。
当n为奇数时
当n为偶数时
(3)众数
众数是指数据集中出现最频繁的值。众数并不经常用来度量定性变量的中心位置,更适用于定性变量。众数不具有唯一性。
2.离中趋势度量
(1)极差
极差=最大值-最小值
极差对数据集的极端值非常敏感,并且忽略了位于最大值与最小值之间的数据是如何分布的。
(2)标准差
标准差度量数据偏离均值的程度,计算公式为:
(3)变异系数
变异系数度量标准差相对于均值的离中趋势,计算公式为:
变异系数主要用来比较两个或多个具有不同单位或不同波动幅度的数据集的离中趋势。
(4)四分位数间距
四分位数包括上四分位数和下四分位数。将所有数值由小到大排列并分成四等份,处于第一个分割点位置的数值是下四分位数,处于第二个分割点位置(中间位置)的数值是中位数,处于第三个分割点位置的数值是上四分位数。
四分位数间距是上四分位数QU与下四分位数QL之差,其间包含了全部观察值的一半。其值越大,说明数据的变异程度越大;反之,说明变异程度越小。
针对餐饮销量数据进行统计量分析,其R语言代码如代码清单3-2所示。
我们通过上面的程序已经得到餐饮销量数的统计量情况:销量数据均值:2744.5954,中位数:2655.9,极差:3200.2,标准差:424.7394,变异系数:0.15475,四分位数间距:566.65。
3.2.4 周期性分析
周期性分析是探索某个变量是否随着时间变化而呈现出某种周期变化趋势。时间尺度相对较长的周期性趋势有年度周期性趋势、季节性周期性趋势,相对较短的有月度周期性趋势、周度周期性趋势,甚至更短的天、小时周期性趋势。
例如,要对某单位用电量进行预测,可以先分析该用电单位日用电量的时序图,以此来直观地估计其用电量变化趋势。
图3-8是某用电单位A在2014年9月日用电量的时序图;图3-9是用电单位A在2013年9月日用电量的时序图。
总体来看用电单位A的2014年9月日用电量呈现出周期性,以周为周期,因为周六周日不上班,所以周末用电量较低。工作日和非工作日的用电量比较平稳,没有太大的波动。而2013年9月日用电量总体呈现出递减的趋势,同样周末的用电量是最低的。
3.2.5 贡献度分析
贡献度分析又称帕累托分析,它的原理是帕累托法则又称20/80定律。同样的投入放在不同的地方会产生不同的效益。例如,对一个公司来讲,80%的利润常常来自于20%最畅销的产品,而其他80%的产品只产生了20%的利润。
就餐饮企业来讲,应用贡献度分析可以重点改善某菜系盈利最高的前80%的菜品,或者重点发展综合影响最高的80%的部门。这种结果可以通过帕累托图直观地呈现出来。图3-10是海鲜系列的十个菜品A1~A10某个月的盈利额(已按照从大到小排序)。
由图3-10可知,菜品A1~A7共7个菜品,占菜品种类数的70%,总盈利额约占该月盈利额的85%。根据帕累托法则,应该增加对菜品A1~A7的成本投入,减少对菜品A8~A10的投入以获得更高的盈利额。
表3-5是餐饮系统对应的菜品盈利数据示例。
其R语言代码如代码清单3-3所示。
3.2.6 相关性分析
分析连续变量之间线性相关程度的强弱,并用适当的统计指标表示出来的过程称为相关分析。
1.直接绘制散点图
判断两个变量是否具有线性相关关系最直观的方法是直接绘制散点图,如图3-11所示。
2.绘制散点图矩阵
需要同时考察多个变量间的相关关系时,一一绘制它们间的简单散点图会十分麻烦。此时可利用散点图矩阵来同时绘制各变量间的散点图,从而快速发现多个变量间的主要相关性,这在进行多元线性回归时显得尤为重要。
散点图矩阵如图3-12所示。
3.计算相关系数
为了更加准确地描述变量之间的线性相关程度,可以通过计算相关系数进行相关分析。在二元变量的相关分析过程中比较常用的有Pearson相关系数、Spearman秩相关系数和判定系数。
(1)Pearson相关系数
Pearson相关系数一般用于分析两个连续性变量之间的关系,其计算公式如下:
(2)Spearman秩相关系数
Pearson线性相关系数要求连续变量的取值服从正态分布。不服从正态分布的变量、分类或等级变量之间的关联性可采用Spearman秩相关系数,也称等级相关系数来描述。
其计算公式如下:
对两个变量成对的取值分别按照从小到大(或者从大到大小)顺序编秩,Ri代表xi的秩次,Qi代表yi的秩次,Ri-Qi为xi、yi的秩次之差。
下面给出一个变量x=(x1,x2,…,xi,…,xn)秩次的计算过程:
对于一个变量,相同的取值必须有相同的秩次,所以在计算中采用的秩次是排序后所在位置的平均值。
易知,只要两个变量具有严格单调的函数关系,那么它们就是完全Spearman相关的,这与Pearson相关不同,Pearson相关只有在变量具有线性关系时才是完全相关的。
上述两种相关系数在实际应用计算中都要对其进行假设检验,使用t检验方法检验其显著性水平以确定其相关程度。研究表明,在正态分布假定下,Spearman秩相关系数与Pearson相关系数在效率上是等价的,而对于连续测量数据,更适合用Pearson相关系数进行分析。
(3)判定系数
判定系数是相关系数的平方,用r2表示;用来衡量回归方程对y的解释程度。判定系数取值范围:0≤r2≤1。r2越接近于1,表明x与y之间的相关性越强;r2越接近于0,表明两个变量之间几乎没有直线相关关系。
餐饮系统中可以统计得到不同菜品的日销量数据,数据示例如表3-6所示。
分析这些菜品销售量之间的相关性可以得到不同菜品之间的关系,如替补菜品、互补菜品或者没有关系,为原材料采购提供参考。其R语言代码如代码清单3-4所示。
运行上面的代码,可以得到下面的结果:
由于缺失值的出现,相关系数计算结果中也出现了一个NA,但是没有影响其他菜品的相关系数。从上面的结果可以看到如果顾客点了“百合酱蒸凤爪”,则点“翡翠蒸香茜饺”、“金银蒜汁蒸排骨”、“香煎萝卜糕”、“铁板酸菜豆腐”、“香煎韭菜饺”等主食类的相关性比较低,反而点“乐膳真味鸡”、“生炒菜心”、“原汁原味菜心”的相关性比较高。