【视频】什么是非线性模型与R语言多项式回归、局部平滑样条、 广义相加GAM分析工资数据|数据分享（上）：https://developer.aliyun.com/article/1492364
广义加性模型
GAM模型提供了一个通用框架，可通过允许每个变量的非线性函数扩展线性模型，同时保持可加性。
具有平滑样条的GAM并不是那么简单，因为不能使用最小二乘。取而代之的 是使用一种称为_反向拟合_的方法 。
GAM的优缺点
优点
- GAM允许将非线性函数拟合到每个预测变量，以便我们可以自动对标准线性回归会遗漏的非线性关系进行建模。我们不需要对每个变量分别尝试许多不同的转换。
- 非线性拟合可以潜在地对因变量_Y_做出更准确的预测 。
- 因为模型是可加的，所以我们仍然可以检查每个预测变量对_Y_的影响， 同时保持其他变量不变。
缺点
- 主要局限性在于该模型仅限于累加模型，因此可能会错过重要的交互作用。
范例
多项式回归和分段函数
1. library(ISLR) 2. attach(Wage)
我们可以轻松地使用来拟合多项式函数，然后指定多项式的变量和次数。该函数返回正交多项式的矩阵，这意味着每列是变量的变量的线性组合 age， age^2， age^3，和 age^4。如果要直接获取变量，可以指定 raw=TRUE，但这不会影响预测结果。它可用于检查所需的系数估计。
1. fit = lm(wage~poly(age, 4), data=Wage) 2. kable(coef(summary(fit)))
现在让我们创建一个ages 我们要预测的向量。最后，我们将要绘制数据和拟合的4次多项式。
1. ageLims <- range(age) 2. age.grid <- seq(from=ageLims[1], to=ageLims[2]) 4. pred <- predict(fit, newdata = list(age = age.grid), 5. se=TRUE)
1. plot(age,wage,xlim=ageLims ,cex=.5,col="darkgrey") 2. lines(age.grid,pred$fit,lwd=2,col="blue") 3. matlines(age.grid,se.bands,lwd=2,col="blue",lty=3)
在这个简单的示例中，我们可以使用ANOVA检验 。
2. ## Analysis of Variance Table 3. ## 4. ## Model 1: wage ~ age 5. ## Model 2: wage ~ poly(age, 2) 6. ## Model 3: wage ~ poly(age, 3) 7. ## Model 4: wage ~ poly(age, 4) 8. ## Model 5: wage ~ poly(age, 5) 9. ## Res.Df RSS Df Sum of Sq F Pr(>F) 10. ## 1 2998 5022216 11. ## 2 2997 4793430 1 228786 143.59 <2e-16 *** 12. ## 3 2996 4777674 1 15756 9.89 0.0017 ** 13. ## 4 2995 4771604 1 6070 3.81 0.0510 . 14. ## 5 2994 4770322 1 1283 0.80 0.3697 15. ## --- 16. ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
我们看到，_M_1 与二次模型 相比，p值 _M_2 实质上为零，这表明线性拟合是不够的。因此，我们可以得出结论，二次方或三次模型可能更适合于此数据，并且偏向于简单模型。
我们也可以使用交叉验证来选择多项式次数。
在这里，我们实际上看到的最小交叉验证误差是针对4次多项式的，但是选择3次或2次模型并不会造成太大损失。接下来，我们考虑预测个人是否每年收入超过25万。
但是，概率的置信区间是不合理的，因为我们最终得到了一些负概率。为了生成置信区间，更有意义的是转换对 _数_ 预测。
绘制：
1. plot(age,I(wage>250),xlim=ageLims ,type="n",ylim=c(0,.2)) 2. lines(age.grid,pfit,lwd=2, col="blue") 3. matlines(age.grid,se.bands,lwd=1,col="blue",lty=3)
逐步回归函数
在这里，我们需要拆分数据。
table(cut(age, 4))
1. ## 2. ## (17.9,33.5] (33.5,49] (49,64.5] (64.5,80.1] 3. ## 750 1399 779 72
1. fit <- lm(wage~cut(age, 4), data=Wage) 2. coef(summary(fit))
1. ## Estimate Std. Error t value Pr(>|t|) 2. ## (Intercept) 94.158 1.476 63.790 0.000e+00 3. ## cut(age, 4)(33.5,49] 24.053 1.829 13.148 1.982e-38 4. ## cut(age, 4)(49,64.5] 23.665 2.068 11.443 1.041e-29 5. ## cut(age, 4)(64.5,80.1] 7.641 4.987 1.532 1.256e-01
splines 样条函数
在这里，我们将使用三次样条。
由于我们使用的是三个结的三次样条，因此生成的样条具有六个基函数。
2. ## [1] 3000 6 3. dim(bs(age, df=6)) 5. ## [1] 3000 6 6. ## 25% 50% 75% 7. ## 33.75 42.00 51.00
拟合样条曲线。
我们也可以拟合平滑样条。在这里，我们拟合具有16个自由度的样条曲线，然后通过交叉验证选择样条曲线，从而产生6.8个自由度。
2. fit2$df 4. ## [1] 6.795 5. lines(fit, col='red', lwd=2) 6. lines(fit2, col='blue', lwd=1) 7. legend('topright', legend=c('16 DF', '6.8 DF'), 8. col=c('red','blue'), lty=1, lwd=2, cex=0.8)
局部回归
执行局部回归。
GAMs
现在，我们使用GAM通过年份，年龄和受教育程度的样条来预测工资。由于这只是具有多个基本函数的线性回归模型，因此我们仅使用 lm() 函数。
为了拟合更复杂的样条曲线 ，我们需要使用平滑样条曲线。
绘制这两个模型
year 是线性的。我们可以创建一个新模型，然后使用ANOVA检验 。
2. ## Analysis of Variance Table 3. ## 4. ## Model 1: wage ~ ns(age, 5) + education 5. ## Model 2: wage ~ year + s(age, 5) + education 6. ## Model 3: wage ~ s(year, 4) + s(age, 5) + education 7. ## Res.Df RSS Df Sum of Sq F Pr(>F) 8. ## 1 2990 3712881 9. ## 2 2989 3693842 1 19040 15.4 8.9e-05 *** 10. ## 3 2986 3689770 3 4071 1.1 0.35 11. ## --- 12. ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
似乎添加线性year 成分要比不添加线性 成分的GAM好得多。
2. ## 3. ## Deviance Residuals: 4. ## Min 1Q Median 3Q Max 5. ## -119.43 -19.70 -3.33 14.17 213.48 6. ## 7. ## (Dispersion Parameter for gaussian family taken to be 1236) 8. ## 9. ## Null Deviance: 5222086 on 2999 degrees of freedom 10. ## Residual Deviance: 3689770 on 2986 degrees of freedom 11. ## AIC: 29888 12. ## 13. ## Number of Local Scoring Iterations: 2 14. ## 15. ## Anova for Parametric Effects 16. ## Df Sum Sq Mean Sq F value Pr(>F) 17. ## s(year, 4) 1 27162 27162 22 2.9e-06 *** 18. ## s(age, 5) 1 195338 195338 158 < 2e-16 *** 19. ## education 4 1069726 267432 216 < 2e-16 *** 20. ## Residuals 2986 3689770 1236 21. ## --- 22. ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 23. ## 24. ## Anova for Nonparametric Effects 25. ## Npar Df Npar F Pr(F) 26. ## (Intercept) 27. ## s(year, 4) 3 1.1 0.35 28. ## s(age, 5) 4 32.4 <2e-16 *** 29. ## education 30. ## --- 31. ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
在具有非线性关系的模型中， 我们可以再次确认year 对模型没有贡献。
接下来，我们 将局部回归拟合GAM 。
在调用GAM之前，我们还可以使用局部回归来创建交互项。
我们可以 绘制结果曲面图 。
