信用评分系统运行原理上篇(2)

简介: 信用评分系统运行原理上篇(2)
  • 使用2来代替大于2的值


revNew = []
for val in df.RevolvingUtilizationOfUnsecuredLines:
    if val <= 2:
        revNew.append(val)
    else:
        revNew.append(2.)


再次分箱


image.png


对age分箱


df.age.plot.box(grid=True)


image.png


发现 age 属性中存在0值情况,而这些数据明显是异常值,因此对其进行处理
df = df[df["age"] > 0]


对三个属性进行分箱


df.boxplot(column=["NumberOfTime30-59DaysPastDueNotWorse", "NumberOfTime60-89DaysPastDueNotWorse", "NumberOfTimes90DaysLate"],rot=30)
rot:int或float,默认为0 标签的旋转角度(以度为单位)相对于屏幕坐标


image.png


上面的箱线图可以看出 NumberOfTime30-59DaysPastDueNotWorse,NumberOfTime60-89DaysPastDueNotWorse,NumberOfTimes90DaysLate三个特征都存在两个异常值


查看具体的异常值


df["NumberOfTime30-59DaysPastDueNotWorse"].unique()
df["NumberOfTime60-89DaysPastDueNotWorse"].unique()
df["NumberOfTimes90DaysLate"].unique()


image.png


可以看出96和98是异常值数据


  • 用指定列数据的中位数来替换异常值


def replaceOutlier(data):
    New = []
    med = data.median()
    for val in data:
        if ((val == 98) | (val == 96)):
            New.append(med)
        else:
            New.append(val)
    return New


删除了异常值之后 再看这3个列的箱线图


image.png


查看DebtRatio的箱线图


image.png


image.png


第一个参数是 指定列数据
第二个参数是 阈值
如果列数据是数组 则转换成array
shape返回是数据表的矩阵行列数
对于矩阵的行数 也可以使len(x)函数输出的矩阵长度 也就是所谓的行数
对数列中的每一行取中位数
再用每一行中的每一个数据减去中位数 
再对差值取中位数
再用一个公式 norm.ppf(0.75) * (每个数据和中位数差距) / 每个中位数的中位数 得到一个异常值分值 
分值大于阈值的话 返回true
分值小于阈值返回false
目录
打赏
0
0
0
0
19
分享
相关文章
|
7月前
|
JavaSE——模拟双色球业务(双色球业务介绍、总体实现步骤分析,代码+运行结果)
JavaSE——模拟双色球业务(双色球业务介绍、总体实现步骤分析,代码+运行结果)
100 7
|
7月前
技术经验分享:i++++i区别模拟实现
技术经验分享:i++++i区别模拟实现
28 0
三十六、Linux性能优化实战学习笔记-套路篇:怎么评估系统的网络性能?
三十六、Linux性能优化实战学习笔记-套路篇:怎么评估系统的网络性能?
238 0
选择文库系统的时候需要重点注意和对比哪些东西?
本人程序员出身,接近15年的代码经验,对互联网产品和运营也一直在实践和研究,尤其是对文库产品有着深度理解,因为我自己也一直在运营文库项目。下面是我站在一个普通站长角度给出的一些经验,如果你也想做一个文库网站或文库平台,需要选择一套文库系统产品,请从下面几点出发去做对比,最终做出正确选择。
选择文库系统的时候需要重点注意和对比哪些东西?
【优化技术专题】「系统性能调优实战」终极关注应用系统性能调优及原理剖析(上册)
【优化技术专题】「系统性能调优实战」终极关注应用系统性能调优及原理剖析(上册)
166 0
【优化技术专题】「系统性能调优实战」终极关注应用系统性能调优及原理剖析(下册)
【优化技术专题】「系统性能调优实战」终极关注应用系统性能调优及原理剖析(下册)
150 0
信用评分系统运行原理上篇(3)
信用评分系统运行原理上篇(3)
190 0
信用评分系统运行原理上篇(3)
信用评分系统运行原理下篇(1)
信用评分系统运行原理下篇(1)
202 0
信用评分系统运行原理下篇(1)
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等