R语言缺失数据变量选择LASSO回归:Bootstrap重(再)抽样插补和推算

简介: R语言缺失数据变量选择LASSO回归:Bootstrap重(再)抽样插补和推算

全文链接:http://tecdat.cn/?p=30726


在存在缺失数据的情况下,需要根据缺失数据的机制和用于处理缺失数据的统计方法定制变量选择方法。我们专注于可以与插补相结合的随机和变量选择方法的缺失方法点击文末“阅读原文”获取完整代码数据


我们围绕自举Bootstrap插补和稳定性选择技术进行一些咨询,帮助客户解决独特的业务问题,后者是为完全观察的数据而开发的。所提出的方法是通用的,可以应用于广泛的设置。仿真研究表明,与几种针对低维和高维问题的现有方法相比,BI-SS的性能是最好的或接近最好的,并且对变量选择方面的参数值调整相对不敏感。


引言


变量选择已经广泛研究了完全观察到的数据,现有方法包括基于AIC的经典方法(Akaike,1974)和现代正则化方法,如套索(Tibshirani,1996)。与完全观测的数据相比,在存在缺失数据的情况下,变量选择出现了新的挑战。特别是,存在不同的缺失数据机制,对于每种机制,都有不同的统计方法来处理缺失数据。因此,变量选择方法需要根据缺失的数据机制和所使用的统计方法进行调整。Little和Rubin(2002)和Tsiatis(2006)一起对处理缺失数据的现有统计方法进行了全面回顾。


本文重点研究了随机缺失(MAR)。根据MAR研究了变量选择,并对用于处理缺失数据的统计方法进行了研究。

### 具有非正态变量的示例数据集
set.seed(1000)
n <- 50
x1 <- round(runif(n,0.5,3.5))
x2 <- as.factor(c(rep(1,10),rep(2,25),rep(3,15)))


Bootstrap插补


随机创建缺失值

dat <- mice(data1)
complete(dat)


稳定性选择与自举插补相结合


train <- data[trainindex,1:6]
calibrate <- data[-trainindex,1:6]
plot(train)

Bootstrap插补


套索LASSO回归

lambda的最优值是通过交叉验证选择的。

点击标题查阅往期内容


PYTHON链家租房数据分析:岭回归、LASSO、随机森林、XGBOOST、KERAS神经网络、KMEANS聚类、地理可视化


01

02

03

04

Bolasso与自举插补相结合


beta.rescaled <- beta
for(j in 1:nrow(beta.rescaled)){
  beta.rescaled[j,] <- beta.rescaled[j,]*beta.scale

计算RSS


讨论


本文研究了一种在缺少数据的情况下进行变量选择的通用重采样方法,数值结果表明,对低维和高维问题都具有较好的性能。当专注于回归分析时,所提出的方法可以解读为适用于其他类型的分析。在我们感兴趣的背景下,将标准误差处理为参数估计是一项具有挑战性的任务。一种方法是将现有的获取标准误差的方法应用于仅限于变量选择过程选择的预测器的原始数据。


相关文章
|
1月前
|
Web App开发 数据可视化 数据挖掘
利用R语言进行聚类分析实战(数据+代码+可视化+详细分析)
利用R语言进行聚类分析实战(数据+代码+可视化+详细分析)
|
1月前
|
数据采集 数据可视化
利用R语言进行因子分析实战(数据+代码+可视化+详细分析)
利用R语言进行因子分析实战(数据+代码+可视化+详细分析)
|
1月前
|
移动开发 数据可视化
广义线性模型beta二项分布的淋巴结疾病风险预测可视化R语言2实例合集|附数据代码
广义线性模型beta二项分布的淋巴结疾病风险预测可视化R语言2实例合集|附数据代码
|
1月前
|
机器学习/深度学习 人工智能 数据可视化
【视频】R语言支持向量回归SVR预测水位实例讲解|附代码数据
【视频】R语言支持向量回归SVR预测水位实例讲解|附代码数据
|
1月前
|
数据可视化 数据挖掘 API
【R语言实战】聚类分析及可视化
【R语言实战】聚类分析及可视化
|
1月前
|
机器学习/深度学习 数据可视化
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为2
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为
|
1月前
利用R语言进行典型相关分析实战
利用R语言进行典型相关分析实战
|
1月前
|
机器学习/深度学习 算法
R语言分类回归分析考研热现象分析与考研意愿价值变现
R语言分类回归分析考研热现象分析与考研意愿价值变现
|
1月前
|
数据可视化 定位技术
R语言贝叶斯INLA空间自相关、混合效应、季节空间模型、SPDE、时空分析野生动物数据可视化
R语言贝叶斯INLA空间自相关、混合效应、季节空间模型、SPDE、时空分析野生动物数据可视化
|
1月前
|
机器学习/深度学习 数据可视化 算法
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为1
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为