数据偏度介绍和处理方法

简介: 偏度(skewness)是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部(tail)在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质,即数据相对于平均值的分布情况。

有时,正态分布倾向于向一边倾斜。这是因为数据大于或小于平均值的概率更高,因此使得分布不对称。这也意味着数据不是均匀分布的。

偏度可以与其他描述性统计一起描述变量的分布。通过偏度也可以判断变量是否为正态分布。因为正态分布的偏度为零,是许多统计过程的假设。

偏度分类

分布可以有右偏度(或正偏度)、左偏度(或负偏度)或零偏度。右偏态分布在其峰值的右侧较长,而左偏态分布在其峰值的左侧较长。

1、零偏度

—当一个分布的偏度为零时,它是对称的。它的左右两边是镜像。正态分布的偏度为零,但不是只有正态分布的偏度为零。任何对称分布,如均匀分布或某些双峰分布,偏度都是零。

检查变量是否具有倾斜分布的最简单方法是将其绘制成直方图。

分布近似对称,观测值在峰值的左右两侧分布相似。因此分布的偏度近似为零。

在零偏度的分布中,平均值和中位数是相等的,也就是说:

mean = median

2、右偏(正偏)

右偏分布在其峰值的右侧比其左侧更长。右偏也被称为正偏。它表明在分布的极端一端有观测值,但它们相对较少。右偏分布的右侧有一条长尾。

分布是右偏的,因为它在峰值右侧的时间更长。右偏分布的均值几乎总是大于中位数。这是因为极值(尾部的值)对均值的影响大于中位数。

mean > median

3、左偏(负偏)

左偏分布的峰值左侧比右侧更长。左偏分布的左侧有一条长尾。左偏也被称为负偏。

这个分布是左偏的,因为它在峰值的左侧更长。左偏分布的均值几乎总是小于中位数。

mean < median

偏度计算

有几个公式可以用来测量偏度。其中最简单的是皮尔逊中值偏度。它就是利用了上面我们说的偏态分布中均值和中位数不相等来计算的。

皮尔逊中位数偏度是计算均值和中位数之间有多少个标准差。

真实的观测很少有刚好为0的皮尔逊偏中值。因为如果数据的值接近于0,则可以认为它具有零偏度,但是在实际数据中很少有没有零偏度的分布数据。

例如,我们每年观测到的太阳黑子数量的Pearson中位数偏度:平均值= 48.6,中位数= 39,标准差= 39.5。那么公式如下:

如果该值介于:

·-0.5和0.5,值的分布几乎对称

·-1和-0.5之间为负偏斜,0.5到1之间为正偏斜。偏度适中。

·如果偏度小于-1(负偏)或大于1(正偏),则数据是高度偏斜。

如何处理有偏度数据

如果你的统计过程需要正态分布并且你的数据是倾斜的,你通常有三个选择:

  • 什么也不做:许多统计检验,包括t检验、方差分析和线性回归,对偏斜数据不太敏感。特别是如果偏斜是轻微或中度的,最好的办法就是忽略它。
  • 数据转换:通过对数据应用某种变换,可以调整数据的分布形状,使其更接近对称分布。常见的数据转换方法包括取对数、开方、平方根等。这些转换可以减小或消除数据的偏度。
  • 使用不同的模型:你可能想选择一个不假设正态分布的模型,非参数测试或广义线性模型可能更适合您的数据。比如说非参数方法:如果数据的偏度较大,而且无法通过简单的转换来纠正,可以考虑使用非参数统计方法。非参数方法不依赖于分布的假设,而是直接对数据进行分析,例如使用中位数作为代表性的位置测度,而不是平均值。
  • 分组分析:如果数据集中存在明显的子群体,可以考虑对数据进行分组分析。通过将数据分成多个子群体,并对每个子群体进行单独的分析,可以更好地了解数据的特征和偏度情况。
  • 针对特定问题采取相应的方法:根据具体的数据和分析目的,可以采用特定的方法来处理偏度数据。例如,在回归分析中,可以使用偏度稳定转换(skewness-stabilizing transformation)来调整数据的偏度,以满足回归模型的假设。

下表总结了一些常用数据变换:

总结

数据的偏度是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部在平均值的哪一侧更重或更长。通过计算偏度,可以更好地了解数据的分布特征,并在需要时采取适当的数据处理或分析方法。但是需要注意的是,偏度只是数据分布的一种度量,不能完全代表数据的整体特征,因此在分析数据时需要综合考虑其他统计指标和可视化方法。

https://avoid.overfit.cn/post/357fff159a5f41e68be87e56d6530726

作者:Dhaval Raval

目录
相关文章
|
机器学习/深度学习 算法 数据可视化
浅析特征数据离散化的几种方法(上)
什么是离散化? 离散化就是把无限空间中有限的个体映射到有限的空间中去,以此提高算法的时空效率。通俗的说,离散化是在不改变数据相对大小的条件下,对数据进行相应的缩小。例如:
|
7天前
极值分析:分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列
极值分析:分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列
25 0
极值分析:分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列
|
5月前
|
数据挖掘
抽样方法
抽样方法
65 0
|
4月前
|
算法 定位技术
插值、平稳假设、本征假设、变异函数、基台、块金、克里格、线性无偏最优…地学计算概念及公式推导
插值、平稳假设、本征假设、变异函数、基台、块金、克里格、线性无偏最优…地学计算概念及公式推导
|
9月前
|
机器学习/深度学习
实践|随机森林中缺失值的处理方法
实践|随机森林中缺失值的处理方法
157 0
|
10月前
|
数据挖掘
假设检验多重比较的P值修正
在进行假设检验时,我们通常会使用P值来判断样本数据是否支持原假设。当我们进行多重比较时,也就是对多个假设进行检验时,如果不进行P值修正,就会出现多重比较问题。多重比较问题指的是在进行多次假设检验时,由于进行多次检验,就会增加发生假阳性的概率,从而导致P值的误判。这种误判可能会导致我们错误地拒绝原假设或者错误地接受备择假设,从而影响数据分析的准确性和可靠性。为了避免多重比较问题,进行P值修正可以有效地避免多重比较问题的发生。
368 0
|
测试技术
参数与非参数检验:理解差异并正确使用
数据科学是一个快速发展的领域,它在很大程度上依赖于统计技术来分析和理解复杂的数据集。这个过程的一个关键部分是假设检验,它有助于确定从样本中获得的结果是否可以推广到总体。
205 0
torch中对一个行向量使用sigmoid函数转换成概率,如果这个行向量包含的元素有几千上万个,这可能会导致转换成的概率再抽样效果不好,应该怎么解决这个问题
可以尝试使用softmax函数进行转换,它可以处理具有多个值的行向量,并将其转换为概率分布。另外,可以考虑使用截断技术(如Top-K),减少概率中过小的部分,以提高采样效果。
|
PyTorch 算法框架/工具
torch 如何实现两点分布采样,要求采100个样本,其中20个样本为数字1,80个为数字2
可以使用 PyTorch 中的 torch.distributions 模块实现两点分布采样。具体来说,可以使用 Categorical 分布将数字1和数字2的概率分别设为0.2和0.8,然后调用 sample() 方法进行采样。可以先使用 torch.ones() 和 torch.zeros() 函数生成分别包含20个数字1和80个数字2的张量,然后使用 torch.cat() 函数将它们拼接在一起,再使用 torch.randperm() 函数对其进行打乱。
276 0
|
数据可视化 Python
如何检测时间序列中的异方差(Heteroskedasticity)
时间序列中非恒定方差的检测与处理,如果一个时间序列的方差随时间变化,那么它就是异方差的。否则数据集是同方差的。 异方差性影响时间序列建模。因此检测和处理这种情况非常重要。
441 0