利用Shap值进行异常值检测

简介: 利用Shap值进行异常值检测


目录

SHAP的简介

SHAP是如何评价树模型中的特征对于结果的贡献度?

利用Shap值进行异常值检测


SHAP的简介

SHAP,沙普利值,SHapley Additive exPlanations,沙普利添加和解释,是一种博弈论方法,是博弈论大师Lloyd S. Shapley(劳埃德·沙普利)提出来的一种针对合作博弈的解决方案。它被用于解释任何机器学习模型的输出。 它使用博弈论中的经典 Shapley 值及其相关扩展将最优信用分配与局部解释联系起来。

SHAP方法,现在经常用来解释大多数机器学习模型的输出。几乎可以给所有机器学习、深度学习提供一个解释的方案,包括树模型、线性模型以及神经网络模型。

官方文档Welcome to the SHAP documentation — SHAP latest documentation

githubGitHub - slundberg/shap: A game theoretic approach to explain the output of any machine learning model.

SHAP是如何评价树模型中的特征对于结果的贡献度

从博弈论的角度,把数据集中的每一个特征变量当成一个玩家,用该数据集去训练模型得到预测的结果,可以看成众多玩家合作完成一个项目的收益。Shapley value通过考虑各个玩家做出的贡献,来公平的分配合作的收益。

利用Shap值进行异常值检测


相关文章
|
2月前
|
数据可视化
如何使用四分位距方法来识别数据中的异常值?
如何使用四分位距方法来识别数据中的异常值?
|
4月前
|
机器学习/深度学习 运维 算法
Python基于局部离群因子LOF算法(LocalOutlierFactor)实现信用卡数据异常值检测项目实战
Python基于局部离群因子LOF算法(LocalOutlierFactor)实现信用卡数据异常值检测项目实战
|
6月前
|
算法
R语言Outliers异常值检测方法比较
R语言Outliers异常值检测方法比较
|
6月前
|
机器学习/深度学习 运维 算法
【视频】检测异常值的4种方法和R语言时间序列分解异常检测
【视频】检测异常值的4种方法和R语言时间序列分解异常检测
|
6月前
|
算法
R语言异常值检测方法比较
R语言异常值检测方法比较
|
6月前
|
算法 数据可视化 API
使用PyOD进行异常值检测
异常值检测各个领域的关键任务之一。PyOD是Python Outlier Detection的缩写,可以简化多变量数据集中识别异常值的过程。在本文中,我们将介绍PyOD包,并通过实际给出详细的代码示例
111 0
|
机器学习/深度学习 数据采集 算法
快速找到离群值的三种方法
本文将介绍3个在数据集中查找离群值的Python方法
367 0
快速找到离群值的三种方法
|
资源调度 算法 关系型数据库
概率图推断之变量消除算法
事实证明,推理是一项颇具挑战的任务。对于很多我们感兴趣的概率,要准确回答这些问题都是NP难题。至关重要的是,推理是否容易处理取决于描述概率的图的结构。尽管有些问题很难解决,我们仍然可以通过近似推理方法获得有用的答案。
261 0
概率图推断之变量消除算法
|
数据挖掘
假设检验多重比较的P值修正
在进行假设检验时,我们通常会使用P值来判断样本数据是否支持原假设。当我们进行多重比较时,也就是对多个假设进行检验时,如果不进行P值修正,就会出现多重比较问题。多重比较问题指的是在进行多次假设检验时,由于进行多次检验,就会增加发生假阳性的概率,从而导致P值的误判。这种误判可能会导致我们错误地拒绝原假设或者错误地接受备择假设,从而影响数据分析的准确性和可靠性。为了避免多重比较问题,进行P值修正可以有效地避免多重比较问题的发生。
558 0
|
机器学习/深度学习 算法 Linux
时间序列异常点检测算法(Smoothed z-score algorithm)
时间序列异常点检测算法(Smoothed z-score algorithm)