利用Shap值进行异常值检测

简介: 利用Shap值进行异常值检测


目录

SHAP的简介

SHAP是如何评价树模型中的特征对于结果的贡献度?

利用Shap值进行异常值检测


SHAP的简介

SHAP,沙普利值,SHapley Additive exPlanations,沙普利添加和解释,是一种博弈论方法,是博弈论大师Lloyd S. Shapley(劳埃德·沙普利)提出来的一种针对合作博弈的解决方案。它被用于解释任何机器学习模型的输出。 它使用博弈论中的经典 Shapley 值及其相关扩展将最优信用分配与局部解释联系起来。

SHAP方法,现在经常用来解释大多数机器学习模型的输出。几乎可以给所有机器学习、深度学习提供一个解释的方案,包括树模型、线性模型以及神经网络模型。

官方文档Welcome to the SHAP documentation — SHAP latest documentation

githubGitHub - slundberg/shap: A game theoretic approach to explain the output of any machine learning model.

SHAP是如何评价树模型中的特征对于结果的贡献度

从博弈论的角度,把数据集中的每一个特征变量当成一个玩家,用该数据集去训练模型得到预测的结果,可以看成众多玩家合作完成一个项目的收益。Shapley value通过考虑各个玩家做出的贡献,来公平的分配合作的收益。

利用Shap值进行异常值检测


相关文章
|
2月前
|
算法
R语言Outliers异常值检测方法比较
R语言Outliers异常值检测方法比较
|
2月前
|
算法
R语言异常值检测方法比较
R语言异常值检测方法比较
|
2月前
|
算法 数据可视化 API
使用PyOD进行异常值检测
异常值检测各个领域的关键任务之一。PyOD是Python Outlier Detection的缩写,可以简化多变量数据集中识别异常值的过程。在本文中,我们将介绍PyOD包,并通过实际给出详细的代码示例
70 0
|
11月前
|
数据采集 Python
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念](二)
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念](二)
|
11月前
|
数据采集 Python 数据可视化
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念](三)
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念](三)
|
8月前
Transformer时间序列预测-多变量输入-单变量输出+多变量输出,完整代码数据,可直接运行
Transformer时间序列预测-多变量输入-单变量输出+多变量输出,完整代码数据,可直接运行
168 0
|
10月前
|
机器学习/深度学习 数据采集 算法
快速找到离群值的三种方法
本文将介绍3个在数据集中查找离群值的Python方法
256 0
快速找到离群值的三种方法
|
11月前
|
数据采集 Python
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念](一)
[Python] 数据预处理(缺失值、异常值、重复值) [相关方法参数说明、代码示例、相关概念]
|
机器学习/深度学习 算法 Linux
时间序列异常点检测算法(Smoothed z-score algorithm)
时间序列异常点检测算法(Smoothed z-score algorithm)
|
机器学习/深度学习 PyTorch 算法框架/工具
自编码器实现异常值检测?
自编码器可以用于异常值检测的一个常见方法是使用重构误差。具体地,你可以将自编码器训练用于将输入数据重新构造出来。然后,对于给定的输入数据,你可以将其传递到自编码器中并计算其重构误差。如果重构误差很大,那么这个输入数据可能是异常值。 下面是一个可能的步骤: 准备数据:将输入数据分成特征和标签,其中特征是前7列,标签是最后一列。然后,将特征标准化,以便它们具有相似的尺度。 创建自编码器:使用keras或pytorch等框架来创建一个自编码器。自编码器的输入和输出应该具有相同的形状,也就是前7列特征的形状。 训练自编码器:将准备好的数据用于训练自编码器。自编码器应该在输入数据上拟合得很好,并
426 0