数据偏度介绍和处理方法

简介: 偏度(skewness)是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部(tail)在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质,即数据相对于平均值的分布情况。

有时,正态分布倾向于向一边倾斜。这是因为数据大于或小于平均值的概率更高,因此使得分布不对称。这也意味着数据不是均匀分布的。

偏度可以与其他描述性统计一起描述变量的分布。通过偏度也可以判断变量是否为正态分布。因为正态分布的偏度为零,是许多统计过程的假设。

偏度分类

分布可以有右偏度(或正偏度)、左偏度(或负偏度)或零偏度。右偏态分布在其峰值的右侧较长,而左偏态分布在其峰值的左侧较长。

1、零偏度

—当一个分布的偏度为零时,它是对称的。它的左右两边是镜像。正态分布的偏度为零,但不是只有正态分布的偏度为零。任何对称分布,如均匀分布或某些双峰分布,偏度都是零。

检查变量是否具有倾斜分布的最简单方法是将其绘制成直方图。

分布近似对称,观测值在峰值的左右两侧分布相似。因此分布的偏度近似为零。

在零偏度的分布中,平均值和中位数是相等的,也就是说:

mean = median

2、右偏(正偏)

右偏分布在其峰值的右侧比其左侧更长。右偏也被称为正偏。它表明在分布的极端一端有观测值,但它们相对较少。右偏分布的右侧有一条长尾。

分布是右偏的,因为它在峰值右侧的时间更长。右偏分布的均值几乎总是大于中位数。这是因为极值(尾部的值)对均值的影响大于中位数。

mean > median

3、左偏(负偏)

左偏分布的峰值左侧比右侧更长。左偏分布的左侧有一条长尾。左偏也被称为负偏。

这个分布是左偏的,因为它在峰值的左侧更长。左偏分布的均值几乎总是小于中位数。

mean < median

偏度计算

有几个公式可以用来测量偏度。其中最简单的是皮尔逊中值偏度。它就是利用了上面我们说的偏态分布中均值和中位数不相等来计算的。

皮尔逊中位数偏度是计算均值和中位数之间有多少个标准差。

真实的观测很少有刚好为0的皮尔逊偏中值。因为如果数据的值接近于0,则可以认为它具有零偏度,但是在实际数据中很少有没有零偏度的分布数据。

例如,我们每年观测到的太阳黑子数量的Pearson中位数偏度:平均值= 48.6,中位数= 39,标准差= 39.5。那么公式如下:

如果该值介于:

·-0.5和0.5,值的分布几乎对称

·-1和-0.5之间为负偏斜,0.5到1之间为正偏斜。偏度适中。

·如果偏度小于-1(负偏)或大于1(正偏),则数据是高度偏斜。

如何处理有偏度数据

如果你的统计过程需要正态分布并且你的数据是倾斜的,你通常有三个选择:

  • 什么也不做:许多统计检验,包括t检验、方差分析和线性回归,对偏斜数据不太敏感。特别是如果偏斜是轻微或中度的,最好的办法就是忽略它。
  • 数据转换:通过对数据应用某种变换,可以调整数据的分布形状,使其更接近对称分布。常见的数据转换方法包括取对数、开方、平方根等。这些转换可以减小或消除数据的偏度。
  • 使用不同的模型:你可能想选择一个不假设正态分布的模型,非参数测试或广义线性模型可能更适合您的数据。比如说非参数方法:如果数据的偏度较大,而且无法通过简单的转换来纠正,可以考虑使用非参数统计方法。非参数方法不依赖于分布的假设,而是直接对数据进行分析,例如使用中位数作为代表性的位置测度,而不是平均值。
  • 分组分析:如果数据集中存在明显的子群体,可以考虑对数据进行分组分析。通过将数据分成多个子群体,并对每个子群体进行单独的分析,可以更好地了解数据的特征和偏度情况。
  • 针对特定问题采取相应的方法:根据具体的数据和分析目的,可以采用特定的方法来处理偏度数据。例如,在回归分析中,可以使用偏度稳定转换(skewness-stabilizing transformation)来调整数据的偏度,以满足回归模型的假设。

下表总结了一些常用数据变换:

总结

数据的偏度是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部在平均值的哪一侧更重或更长。通过计算偏度,可以更好地了解数据的分布特征,并在需要时采取适当的数据处理或分析方法。但是需要注意的是,偏度只是数据分布的一种度量,不能完全代表数据的整体特征,因此在分析数据时需要综合考虑其他统计指标和可视化方法。

https://avoid.overfit.cn/post/357fff159a5f41e68be87e56d6530726

作者:Dhaval Raval

目录
相关文章
|
Ubuntu
ubuntu 软 raid配置
ubuntu 软 raid配置
4489 2
|
6月前
|
人工智能 安全 API
Claude和GPT全买了,AI用起来为啥还是不好用?老金来告你!
先说一个可能不太舒服的结论。 AI用得好不好,跟工具几乎没关系。 老金我在一开始认为模型越好就行了。 换了Claude、GPT、Gemini轮着试。 结果发现不对——同样的工具,不同人用出来的效果完全不同。 你可以做一个实验。 找两个同事,一个干过三年产品,一个刚入行。 让他们用同一个AI,写一份竞品分析报告。 资深的人出来的东西,方向对,框架稳。 该查哪些数据口径心
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
2822 0
|
8月前
|
安全 机器人 Linux
零基础零技术|OpenClaw阿里云+本地多系统部署+千问/Coding Plan API配置+钉钉接入全指南
OpenClaw(原Clawdbot,昵称“龙虾”)是一款开源AI自动化代理框架,核心功能是通过自然语言指令拆解,调用各类技能完成文件管理、办公协同、数据抓取、代码生成等重复性任务,无需手动编写脚本,大幅提升个人与轻量团队的工作效率。其核心依赖大模型提供推理能力,自身不具备独立的自然语言理解与任务规划能力,因此部署流程、API配置以及办公工具接入,成为零基础用户落地OpenClaw的核心痛点。
1201 0
|
网络协议 API 网络安全
永久独立IP服务器解析与选择指南
关于“永久独立IP服务器”,这个概念需要从技术和商业两个层面来理解,小编为您整理发布。
|
编解码 NoSQL Java
使用Spring Boot + Redis 队列实现视频文件上传及FFmpeg转码的技术分享
【8月更文挑战第30天】在当前的互联网应用中,视频内容的处理与分发已成为不可或缺的一部分。对于视频平台而言,高效、稳定地处理用户上传的视频文件,并对其进行转码以适应不同设备的播放需求,是提升用户体验的关键。本文将围绕使用Spring Boot结合Redis队列技术来实现视频文件上传及FFmpeg转码的过程,分享一系列技术干货。
1373 4
|
开发者 Python
Python中的match-case语句:更优雅的模式匹配
Python中的match-case语句:更优雅的模式匹配
|
存储 数据采集 数据可视化
Python自动化分析知网文献:爬取、存储与可视化
Python自动化分析知网文献:爬取、存储与可视化
|
数据采集 机器学习/深度学习 数据可视化
最大值归一化介绍
【10月更文挑战第2天】
1536 0
|
数据采集 资源调度 算法
【数据挖掘】十大算法之K-Means K均值聚类算法
K-Means聚类算法的基本介绍,包括算法步骤、损失函数、优缺点分析以及如何优化和改进算法的方法,还提到了几种改进的K-Means算法,如K-Means++和ISODATA算法。
2763 4

热门文章

最新文章