【视频】N-Gram、逻辑回归反欺诈模型文本分析招聘网站欺诈可视化讲解|附数据代码2

简介: 【视频】N-Gram、逻辑回归反欺诈模型文本分析招聘网站欺诈可视化讲解|附数据代码

【视频】N-Gram、逻辑回归反欺诈模型文本分析招聘网站欺诈可视化讲解|附数据代码1:https://developer.aliyun.com/article/1501318


R语言逻辑回归模型分析汽车购买行为

数据描述

用R语言做logistic regression,建模及分析报告,得出结论,数据有一些小问题,  现已改正重发:改成以“是否有汽车购买意愿(1买0不买)”为因变量,以其他的一些  项目为自变量,来建模分析,目的是研究哪些变量对用户的汽车购买行为的影响较为  显著。

问题描述

 我们尝试并预测个人是否可以根据数据中可用的人口统计学变量使用逻辑回归预测是否有汽车购买意愿(1买0不买)。 在这个过程中,我们将:

1.导入数据

2.检查类别偏差

3.创建训练和测试样本

4.建立logit模型并预测测试数据

5.模型诊断

数据描述分析

查看部分数据

dccce66c1aa43a2f44b80e4ffd9cf6f1.png 对数据进行描述统计分析:

d0aad90fbb02d7535d4f5394edb5a5bc.png

从上面的结果中我们可以看到每个变量的最大最小值中位数和分位数等等。

9e791da40cfcbad0b030588eeb893140.png

检查类偏差

 

理想情况下,Y变量中事件和非事件的比例大致相同。所以,我们首先检查因变量是否有汽车购买意愿中的类的比例。

c339a183478c15c14d1140166f98a409.png

显然,不同购买意愿.人群比例 有偏差 。所以我们必须以大致相等的比例对观测值进行抽样,以获得更好的模型。

建模分析

创建训练和试验样本

解决类别偏差问题的一个方法是以相等的比例绘制训练数据(开发样本)的0和1。在这样做的时候,我们将把其余的inputData不包含在testData 中。

构建Logit模型和预测

全变量模型

  fbeee1a6074aa22ae58f246c2f564db6.png


从全变量模型的结果来看,可以发现得到的模型变量并不显著,因此需要重新建模

筛选出显著的变量:

逐步回归筛选后模型

ad0a777e887342ea8a775ff813869bfb.png

从上面的回归结果中,我们可以看到公共汽.电.车车辆数.辆.,公交客运总量.万人次. ,私人汽车保有量.辆.,地铁长度 ,日最高温度.F.的最大值 ,摩托车数量  对是否有汽车购买意愿有重要的影响。从中同时可以看到公交客运总量.万人次. ,私人汽车保有量.辆.,地铁长度 , 日最高温度.F.的最大值和是否有汽车购买意愿存在正相关的关系。

确定模型的最优预测概率截止值

默认的截止预测概率分数为0.5或训练数据中1和0的比值。 但有时,调整概率截止值可以提高开发和验证样本的准确性。InformationValue :: optimalCutoff功能提供了找到最佳截止值以提高1,0,1和0的预测的方法,并减少错误分类错误。 可以计算最小化上述模型的错误分类错误的最优分数。

 

misClassError(testData$是否有汽车购买意愿.1买0不买., predicted, threshold = optCutOff)

0c59d13e6e5a72f52e044a09fd2c7644.png

ROC

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系,它通过将连续变量设定出多个不同的临界值,从而计算出一系列敏感性和特异性,再以敏感性为纵坐标、(1-特异性)为横坐标绘制成曲线,曲线下面积越大,诊断准确性越高。在ROC曲线上,最靠近坐标图左上方的点为敏感性和特异性均较高的临界值。

ab407b68a0344305143d76207fc9ef24.png


上述型号的ROC曲线面积为61%,相当不错。

 

一致性

简单来说,在1-0  的所有组合中,一致性是预测对的百分比 ,一致性越高,模型的质量越好。

bf614184dd264d99b07d5367054fb5c1.png

上述的61%的一致性确实是一个很好的模型。

特异性和敏感性

敏感度(或真正正率)是模型正确预测的1(实际)的百分比,而特异性是0(实际)正确预测的百分比。特异性也可以计算为1-假阳性率。

 

specificity(testData$是否有汽车购买意愿.1买0不买., predicted, threshold = optCutOff)


eb182f5b5f3ca12ec3896ad48a88270d.png

以上数字是在不用于训练模型的验证样本上计算的。所以测试数据的真实检测率为99%是好的。

相关文章
|
11月前
2024年全国数学建模B题赛后感
2024年参加全国大学生数学建模比赛,我们选择了B题。然而,团队中只有我真正参与解题,其他成员因缺乏相关知识几乎无法协助。三天三夜,我独自完成代码、论文撰写等工作,期间经历了数据调试与参数优化的艰难过程。尽管最终提交时发现忘了写标题,但幸运地获得省一等奖。这次经历虽累,但也让我明白团队协作和赛前准备的重要性,成果来之不易,努力终有回报!
284 1
|
存储 JSON 算法
N 种值得一看的前后端鉴权方案
先赞后看,Java进阶一大半各位hao,我是南哥。记得前几天南哥在牛客看到一条面试题:工作的鉴权怎么做的,了解常用的鉴权方案吗?不得不说,哪怕进入一家小型的互联网公司,他们的鉴权方案这类基础建设早已搭建好,在工作中用到的更多是前人搭建好的方案。遇到这道题,如果自己没去提前了解,回答起来容易太浅显。
533 1
N 种值得一看的前后端鉴权方案
|
存储 数据库 虚拟化
无缝过渡:企业级服务器迁移的策略与最佳实践
【10月更文挑战第4天】随着企业数字化转型的加速,服务器迁移成为企业IT基础设施升级的重要环节。本文从架构与规划的视角,探讨了企业级服务器迁移的策略与最佳实践,旨在帮助企业实现无缝过渡,降低迁移风险,提高迁移效率。
1024 4
|
12月前
|
Shell 网络安全 虚拟化
XPipe:一款新型开源终端管理神器
XPipe 是一款创新的 Shell 连接中心和远程文件管理器,它能够让你从本地机器轻松访问整个服务器基础设施。这款工具运行在你已安装的命令行程序之上,无需在远程系统上进行任何额外配置。因此,如果你通常使用 CLI 工具(如 ssh、docker、kubectl 等)来连接服务器,你可以直接在 XPipe 上使用这些工具,极大地简化了操作流程。
648 15
XPipe:一款新型开源终端管理神器
基于卡尔曼滤波的系统参数辨识matlab仿真
此程序采用卡尔曼滤波技术实现系统参数在线辨识,通过MATLAB 2022a仿真展现参数收敛过程、辨识误差,并比较不同信噪比下系统性能。卡尔曼滤波递归地结合历史估计与当前观测,优化状态估计。参数辨识中,系统参数被视为状态变量,通过迭代预测和更新步骤实现在线估计,有效处理了线性系统中的噪声影响。
464 12
|
Java Spring
快速解决Spring Boot跨域困扰:使用CORS实现无缝跨域支持
这是一个简单的配置示例,用于在Spring Boot应用程序中实现CORS支持。根据你的项目需求,你可能需要更详细的配置来限制允许的来源、方法和标头。
1512 3
|
JavaScript 前端开发 数据可视化
6 个用于 3D 网页图形渲染的最佳 WebGL 库
现代前端、游戏和Web开发正是WebGL可以转化为数字杰作的东西。使用GPU绘制在浏览器屏幕上生成的矢量元素,WebGL创建交互式Web图形,从而获得用户体验。视觉元素的质量和复杂性使该工具在HTML或CSS等其他方法中脱颖而出。
989 0
|
SQL 数据采集 数据挖掘
SQL DISTINCT关键字的使用
SQL DISTINCT关键字的使用
|
存储 消息中间件 监控
曹操出行基于Hologres+Flink的实时数仓建设
曹操出行实时计算负责人-林震对于曹操出行基于Hologres+Flink的实时数仓建设进行演讲
|
存储 缓存 安全
App极限瘦身 | 动态下发so(1)
App极限瘦身 | 动态下发so
541 0
App极限瘦身 | 动态下发so(1)

热门文章

最新文章