数据科学异常值检测原理—经验法则

简介: 说明数据清洗时常用的检测异常值方法之一,经验法则的原理

前提:

数据样本符合标准正态分布,正态分布的核心是中心极限定理即:如果一个事物受到多种因素的影响,不管每个因素本身是什么分布,它们加总后,结果的平均值就是正态分布。如果要符合正态分布则这些因素必须彼此独立,彼此不独立的各项因素会互相加强影响,那么就构不成正态分布。(还有对数正态分布是指各种因素对结果的影响不是相加,而是相乘)

经验法则原理:

数据科学异常值检测原理—经验法则
标准正态分布下的曲线为钟型曲线,期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。因此对于一组数据,如果符合正态分布,则可以通过经验法则来检测异常值,同图中可以发现,68.2%的测量值落在μ值处正负一个标准差σ的区间内,95.4%的测量值将落在μ值处正负两个标准差σ的区间内,99.7%的值落在μ值处正负三个标准差σ的区间内。因此,对于一组符合正态分布的数据,如果某个值距离μ值超过三个标准差σ则可以判断这个值属于异常数据。
image.png

计算步骤:

μ值:μ是遵从正态分布的随机变量的均值,由于前提是各种因素对结果的影响为相加,因此μ值的计算可以为样本数据的算术平均值。
标准差σ:所有数据减去其平均值的平方和,所得结果除以该组数之个数N(数据集为总体数据情况,一般用于大数据算法)或者个数N减1(数据集为样本数据情况,认为数据集不是总体数据而是总体数据的一部分,一般用于统计学),再把所得值开根号,所得之数就是这组数据的标准差。
image.png

数据科学异常值检测原理—经验法则

判断逻辑:计算μ+3σ,μ-3σ,当单个数据大于μ+3σ或者小于μ-3σ时,认为此数据为异常值,因为按照经验法则,此数据在数据集的99.7%范围外。

目录
相关文章
|
SQL 机器学习/深度学习 存储
七大经典技术场景!Apache Flink 在多维领域应用的 40+ 实践案例
随着 Apache Flink 自身的发展,越来越多的企业选择 Apache Flink 应用于自身的业务场景,如底层平台建设、实时数仓、实时推荐、实时分析、实时大屏、风控、数据湖等场景中,解决实时计算的需求。
七大经典技术场景!Apache Flink 在多维领域应用的 40+ 实践案例
|
Java
【Java基础】Java8 使用 stream().sorted()对List集合进行排序
【Java基础】Java8 使用 stream().sorted()对List集合进行排序
1238 0
|
9月前
|
存储 机器学习/深度学习 弹性计算
阿里云服务器2核4G、4核8G、8核16G选经济型、通用算力型和计算型哪个实例更好?
阿里云服务器提供经济型e、通用算力型u2a、计算型c9i三种实例,适配2核4G至8核16G配置。经济型e实例以共享CPU调度、低成本(如2核2G年付99元)适合轻量网站及开发测试;u2a实例基于AMD EPYC处理器,算力提升20%-40%,支持高I/O突发,适合企业级应用及中小型数据库;c9i实例搭载CIPU架构与Intel至强处理器,网络延迟<1ms,IOPS达百万级,适合机器学习推理、高并发游戏等高性能场景。用户需结合业务阶段、预算及性能需求选择最优实例。
1152 3
|
程序员 测试技术 开发者
为什么多数程序员都不做个人独立开发?技术干货分享
【10月更文挑战第1天】在软件开发这个充满无限可能的领域里,个人独立开发似乎是一个极具吸引力的选项。然而,现实却是大多数程序员选择了在公司或团队中工作,而非走上个人独立开发的道路。本文将深入探讨这一现象背后的原因,并结合技术学习的角度,为大家带来一些实用的技术干货。
749 1
|
监控 Linux iOS开发
PyCharm启动项目和调试项目
本文介绍了在 PyCharm 中启动和调试 Python 项目的详细步骤,涵盖单文件运行、配置管理、命令行工具使用、断点调试、变量监控、远程调试及常见问题解决方案,帮助开发者高效利用 PyCharm 的调试功能提升开发效率。
2814 4
|
SQL 缓存 分布式计算
C#如何处理上亿级数据的查询效率
C#如何处理上亿级数据的查询效率
584 2
|
人工智能 JSON 搜索推荐
猫步简历 - 开源免费AI简历生成器 | 一键导出PDF/JSON
猫步简历是一款免费开源的AI简历生成器,帮助用户轻松创建独特、专业的简历。支持导出超高清PDF、图片、JSON等多种格式,并提供AI智能创作、润色和多语种切换等功能。拥有海量模板、高度定制化模块及完善的后台管理系统,助力求职者脱颖而出。官网:https://maobucv.com,GitHub开源地址:https://github.com/Hacker233/resume-design。
5224 10
|
消息中间件 Java Kafka
Spring Boot与Kafka的集成应用
Spring Boot与Kafka的集成应用
2464 0
|
前端开发 数据库
【Stream流】Sort排序详解
【Stream流】Sort排序详解
617 0

热门文章

最新文章