开发者学堂课程【机器学习算法 ：违背基本假设-4】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7207
违背基本假设-4
内容介绍
一、 消除自相关：迭代法
二、 消除自相关：差分法
三、 BOX-COX 变换
一、消除自相关：迭代法
消除自相关办法有多种，常见的有迭代法、差分法、BOX-COX 变换法（在讲异方差时提高可以用来消除异相关）等
以一元线性回归最小二乘法估计参数为例，设其误差项存在一阶自相关：
回归方程：
；误差项：
满足假设：E(ut)=0，且 t=s 时有 cov(ut，us)= 
第二个式子乘 
减去第一个式子得到 
令
，得到满足基本假设的模型 
估算值 
得到 
，将变量值变换后，拟合新的回归模型。
中唯一不确定的变量是
，将两个式子转变后得到新的模型。通过迭代法可以消除这个自相关。通常不是简单的一阶自相关，而是更复杂的形式，处理一次后仍然有可能自相关，继续按照上述处理，直到满足要求
二、 消除自相关：差分法
差分法就是用增量数据代替原样本数据，将原来的回归模型变为差分形式的模型，一阶差分法通常适用于原模型存在较高程度的一阶自相关的情况。
以一元线性回归为例，参考迭代法中的方程：
。当
时，上述方程变为：
记
，
，代入上述方程后得到差分方程：
差分方程已经去除了一阶自相关的情况，以差分数据拟合线性回归方程，其中：
阶差分法适合处理 p=1 的情况，选用差分法而不选用迭代法的原因为：
迭代法需要根据样本估计 ρ，ρ 的估计误差会影响效率
差分法简单
三、BOX-COX 变换
BOX-COX 是一种应用非常广泛的变换方法，可用于异方差、自相关等多种问题。
对因变量进行如下变化：
其中，λ 是待定参数，且 y 各分量为正。
若不满足 y 各分量为正，则先对 y 做平移，使 y+a>0，再变换：
取值可以不同，比如对数(
=0)、平方根(
=1/2)、倒数(x=-1)等，使得变化后符合回归的基本假设：
MLE 求解 λ: 
其中 
对 Lmax(X) 求对数后可得：
BOX-COX 变化不但能处理异方差、自相关，还能处理误差非正态、回归函数非线性等问题。
