​如何找到时序数据中线性的趋势(二)

简介: ​如何找到时序数据中线性的趋势(二)

多项式趋势

如果趋势不是线性的,我们可以尝试用多项式曲线来拟合它。但问题是:即使我们拟合的曲线是高次多项式,我们仍然可以用线性回归来找到它。

考虑这个二次表达式:

y = a + bx + cx²

我们要找的值是a, b, c,和他们都是线性的。忘记x的权重,我们看的是权重,b和c,所以线性回归——它只是发生,我们将不得不在多个维度做线性回归。

假设数据呈二次趋势。然后我们需要把X变换成二次形式:

pf = PolynomialFeatures(degree=2)
Xp = pf.fit_transform(X)
Xp
array([[1.000e+00, 0.000e+00, 0.000e+00],
        [1.000e+00, 1.000e+00, 1.000e+00],
        [1.000e+00, 2.000e+00, 4.000e+00],
        [1.000e+00, 3.000e+00, 9.000e+00],
        [1.000e+00, 4.000e+00, 1.600e+01],
        [1.000e+00, 5.000e+00, 2.500e+01],
        [1.000e+00, 6.000e+00, 3.600e+01],
...
        [1.000e+00, 9.600e+01, 9.216e+03],
        [1.000e+00, 9.700e+01, 9.409e+03],
        [1.000e+00, 9.800e+01, 9.604e+03],
        [1.000e+00, 9.900e+01, 9.801e+03]])

第一列是X的0次方。第二列是X,第三列是X的2次方。这就像上面显示的二次表达式(y = a + bx + cx)

现在我们将使用二次形式来拟合数据并生成二次趋势。用线性回归方法求出二次表达式的参数。

md2 = LinearRegression()
md2.fit(Xp, y)
trendp = md2.predict(Xp)
趋势是怎样的?
plt.plot(X, y)
plt.plot(X, trendp)
plt.legend(['data', 'polynomial trend'])
plt.show()

image.png

更接近了,不是吗?现在让我们看看非趋势数据:

detrpoly = [y[i] - trendp[i] for i in range(0, len(y))]
plt.plot(X, detrpoly)
plt.title('polynomially detrended data')
plt.show()

image.png

这显然更好。没有任何可以从视觉上看出的趋势。但是让我们看看数字是怎么说的:

r2 = r2_score(y, trendp)
rmse = np.sqrt(mean_squared_error(y, trendp))
print('r2:', r2)
print('rmse', rmse)
r2: 0.9343217231542871
rmse 406.5937924291518

与线性趋势相比,随着多项式趋势,R²曲线增大,RMSE减小。两者都是好的改变。两种均值多项式的拟合效果都优于线性拟合。

高阶多项式

你可以选择任意阶的多项式只要在这里给N赋不同的值:

pf = PolynomialFeatures(degree=N)

一般来说,对N使用较低的值。如果增加了N,发生的情况不太严重,则返回较小的值。

只有一个弯曲的曲线可以用二次函数来描述。有两个弯的曲线可以用三次函数来描述。等等。N-1弯需要一个N次幂的表达式。

如果N增加很多,最终你的“最佳拟合”曲线将开始跟随数据中的杂音,而不是拟合趋势。你已经超拟合了曲线,现在没有意义了。或者减少N,或者增加更多数据点。

这样我们将这个线性模型的数据去除(差值),使用剩余的数据进行时间序列的训练,可以得到更精确的结果

目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 算法
时间序列结构变化分析:Python实现时间序列变化点检测
在时间序列分析和预测中,准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性,进而影响基于这些数据训练的模型的有效性。
173 1
|
6月前
【数理统计实验(一)】统计量近似分布的随机模拟
【数理统计实验(一)】统计量近似分布的随机模拟
|
6月前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI 操作报错合集之DSSM负采样时,输入数据不同,被哈希到同一个桶里,导致生成的embedding相同如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
6月前
|
机器学习/深度学习 数据可视化
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
数据分享|R语言生存分析模型因果分析:非参数估计、IP加权风险模型、结构嵌套加速失效(AFT)模型分析流行病学随访研究数据
|
6月前
|
数据可视化 算法 数据挖掘
用有限混合模型(FMM,FINITE MIXTURE MODEL)创建衰退指标对股市SPY、ETF收益聚类双坐标图可视化
用有限混合模型(FMM,FINITE MIXTURE MODEL)创建衰退指标对股市SPY、ETF收益聚类双坐标图可视化
|
6月前
R语言中固定与随机效应Meta分析 - 效率和置信区间覆盖
R语言中固定与随机效应Meta分析 - 效率和置信区间覆盖
|
6月前
|
数据可视化
R语言两层2^k析因试验设计(因子设计)分析工厂产量数据和Lenth方法检验显著性可视化|数据分享(一)
R语言两层2^k析因试验设计(因子设计)分析工厂产量数据和Lenth方法检验显著性可视化|数据分享(一)
|
6月前
|
移动开发 数据可视化
R语言两层2^k析因试验设计(因子设计)分析工厂产量数据和Lenth方法检验显著性可视化|数据分享(二)
R语言两层2^k析因试验设计(因子设计)分析工厂产量数据和Lenth方法检验显著性可视化|数据分享(二)
|
6月前
|
数据可视化 测试技术
R语言线性混合效应模型(固定效应&随机效应)和交互可视化3案例
R语言线性混合效应模型(固定效应&随机效应)和交互可视化3案例
|
6月前
|
数据可视化 算法 数据挖掘
PYTHON实现谱聚类算法和改变聚类簇数结果可视化比较
PYTHON实现谱聚类算法和改变聚类簇数结果可视化比较