多项式趋势
如果趋势不是线性的,我们可以尝试用多项式曲线来拟合它。但问题是:即使我们拟合的曲线是高次多项式,我们仍然可以用线性回归来找到它。
考虑这个二次表达式:
y = a + bx + cx²
我们要找的值是a, b, c,和他们都是线性的。忘记x的权重,我们看的是权重,b和c,所以线性回归——它只是发生,我们将不得不在多个维度做线性回归。
假设数据呈二次趋势。然后我们需要把X变换成二次形式:
pf = PolynomialFeatures(degree=2) Xp = pf.fit_transform(X) Xp array([[1.000e+00, 0.000e+00, 0.000e+00], [1.000e+00, 1.000e+00, 1.000e+00], [1.000e+00, 2.000e+00, 4.000e+00], [1.000e+00, 3.000e+00, 9.000e+00], [1.000e+00, 4.000e+00, 1.600e+01], [1.000e+00, 5.000e+00, 2.500e+01], [1.000e+00, 6.000e+00, 3.600e+01], ... [1.000e+00, 9.600e+01, 9.216e+03], [1.000e+00, 9.700e+01, 9.409e+03], [1.000e+00, 9.800e+01, 9.604e+03], [1.000e+00, 9.900e+01, 9.801e+03]])
第一列是X的0次方。第二列是X,第三列是X的2次方。这就像上面显示的二次表达式(y = a + bx + cx)
现在我们将使用二次形式来拟合数据并生成二次趋势。用线性回归方法求出二次表达式的参数。
md2 = LinearRegression() md2.fit(Xp, y) trendp = md2.predict(Xp) 趋势是怎样的? plt.plot(X, y) plt.plot(X, trendp) plt.legend(['data', 'polynomial trend']) plt.show()
更接近了,不是吗?现在让我们看看非趋势数据:
detrpoly = [y[i] - trendp[i] for i in range(0, len(y))] plt.plot(X, detrpoly) plt.title('polynomially detrended data') plt.show()
这显然更好。没有任何可以从视觉上看出的趋势。但是让我们看看数字是怎么说的:
r2 = r2_score(y, trendp) rmse = np.sqrt(mean_squared_error(y, trendp)) print('r2:', r2) print('rmse', rmse) r2: 0.9343217231542871 rmse 406.5937924291518
与线性趋势相比,随着多项式趋势,R²曲线增大,RMSE减小。两者都是好的改变。两种均值多项式的拟合效果都优于线性拟合。
高阶多项式
你可以选择任意阶的多项式只要在这里给N赋不同的值:
pf = PolynomialFeatures(degree=N)
一般来说,对N使用较低的值。如果增加了N,发生的情况不太严重,则返回较小的值。
只有一个弯曲的曲线可以用二次函数来描述。有两个弯的曲线可以用三次函数来描述。等等。N-1弯需要一个N次幂的表达式。
如果N增加很多,最终你的“最佳拟合”曲线将开始跟随数据中的杂音,而不是拟合趋势。你已经超拟合了曲线,现在没有意义了。或者减少N,或者增加更多数据点。
这样我们将这个线性模型的数据去除(差值),使用剩余的数据进行时间序列的训练,可以得到更精确的结果