原文链接：http://tecdat.cn/?p=24141

在这个视频中，我们转向简单线性回归中的贝叶斯推断。 我们将使用一个参照先验分布，它提供了频率主义解决方案和贝叶斯答案之间的联系。 然后在R语言中用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资数据 （查看文末了解数据获取方式）。

为了说明这些想法，我们将使用一个例子来预测身体脂肪。 获得准确的体脂测量值是很昂贵的，而且在家里也不容易做到。

相反，可以使用现成的测量值（如腹围）来预测体脂百分比的预测模型是很容易使用的，而且价格低廉。

图中显示了从水下称重得到的体脂百分比和多名男性的腹围。

为了预测体脂，我们可以从一个线性回归开始，在散点图中加入了回归线。

这条线的估计斜率为0.63，截距约为-39%。 每增加一厘米，我们预计体脂会增加0.63%。 负的截距过程作为一个物理模型没有意义，但预测一个腰围为0厘米的男性也没有意义。 尽管如此，这个线性回归可能是一个准确的近似值，用于预测目的。 随着测量结果在这个人群的观察范围内。

我们的最佳估计线使用α和β的通常平方估计值来获得拟合值和预测值。

提供拟合误差估计的残差是观察值和预测值之间的差异，用于诊断以及估计sigma平方。 这是通过平均平方误差，即平方误差之和除以自由度。

记住，剩余自由度是样本量减去模型中的回归系数。

模型和先验

让我们从基准的角度来看看估计的情况。 我们将从与OLS相同的模型开始，但有一个额外的假设，即误差是正态分布的常数变体。

我们经常加上这个假设，以获得具有常数平方的置信区间。 因此，在频率主义回归中经常使用的任何诊断图都可以在这里用来检查这个假设。

对于共轭分析，先验是以西格玛为条件的回归系数的双变量正态分布。Sigma在这里提供了响应的单位比例。

从边际上看，α是正态分布，给定西格玛的平方，以注意不在这个无单位规模参数作为子α的方差控制。 同样地，β是正态分布，给定西格玛的平方，其平均值为b0，方差控制由参数S次β。

阿尔法和贝塔之间的协方差，是西格玛平方乘以一个参数，这个参数描述了我们对阿尔法和贝塔如何共同变化的先验信念。 如果s alpha beta是0，那么先验的信念是，alpha将独立于beta，条件是sigma平方。

为了完成规范，我们使用共轭先验sigma平方，其中1动方差有一个自由度为N的gamma分布，sigma平方不是对sigma平方的先验估计。 这与我们在以前的视频中使用的先验相似。 由于共轭的关系，后验分布将是正态伽马分布，有简单的规则来更新参数。

参照先验和后验分布

提供一个贝叶斯分析作为起点是很有用的。 参照先验分布是作为那些方差参数到无穷大时的正态分布的极限得到的，并且在α和β中是平坦或均匀的。 而共轭伽马先验的极限，先验自由度为0，提供了我们在以前视频中使用的西格玛平方的参照先验。

与之相关的β的参照后验是一个以OLS估计值为中心的学生t分布，其尺度与OLS标准误差相同。 自由度是n减2，就像在频率分析中一样。

同样，α的边际后验分布也是一个学生t分布，其中心和尺度由OLS估计值给出。

利用这些参数的联合分布，我们可以得到x的任何值的预期体脂分布，这是一个学生t分布，有n减2的自由度。 估计值由OLS估计值给出。

使用统计软件，我们可以得到参数估计值、标准差和95%置信区间。 你应该能够确认，当我们使用这个参照先验时，贝叶斯估计值与频率主义估计值相同。

参数估计

参数、拟合值或预测的置信区间都是以后验均值加或减适当的t-quantile乘以标准差得到的。 主要区别在于对区间的解释。 例如，根据数据，我们现在认为，腰围每增加10厘米，体脂将增加5.8%至6.9%的可能性是95%。 当然，这个模型是一个近似值，所以要小心任何因果关系的解释，然而，它仍然可以对预测有帮助。

预测体脂

对于预测身体脂肪，我们将使用后验预测分布。

如果我们知道参数，一个新的观察将只是通过取平均值来获得，基于我们的人口回归方程加上相关的不确定性，描述个体偏离人口平均值和x的程度。

鉴于手头的数据，我们的后验预测分布是一个具有n-2个自由度的t分布。 预测新值的最佳估计是人口线的后验平均值。 这与我们之前计算的拟合值是一样的，但是基于预测标准差的比例参数。

预测标准差包含了x处的回归线的后验不确定性。从最后一个项中，我们可以看到，当我们在数据的平均值附近进行预测时，变异性将是最小的。 随着处于x范围两端的x的值的变异性增加。

还有一个额外的估计值sigma squared，它来自于误差epsilon的不确定性，或者说我们期望观测值偏离回归线的程度。

图中显示了数据，预测方程是后验平均数，用红色表示，估计总体平均数的95%的点状区间用灰色虚线表示。 预测体脂的95%可信区间是外侧的虚线。 大多数数据都在预测区间内，正如人们所期望的那样。 然而，橙色圈出的点的体脂率远远低于模型的预期。

R语言用贝叶斯线性回归、贝叶斯模型平均 (BMA)来预测工人工资案例

下面，贝叶斯信息准则（BIC）和贝叶斯模型平均法被应用于构建一个简明的收入预测模型。

这些数据是从 935 名受访者的随机样本中收集的。该数据集是_计量经济学数据集_系列的一部分 。

加载包

数据将首先使用该dplyr 包进行探索 ，并使用该ggplot2 包进行可视化 。稍后，实现逐步贝叶斯线性回归和贝叶斯模型平均 (BMA)。

数据

数据集网页提供了以下变量描述表：

【视频】线性回归中的贝叶斯推断与R语言预测工人工资数据|数据分享-2

https://developer.aliyun.com/article/1489384