手把手教你用 Python 实现针对时间序列预测的特征选择

简介:

要将机器学习算法应用于时间序列数据,需要特征工程的帮助。

例如,单变量的时间序列数据集由一系列观察结果组成,它们必须被转换成输入和输出特征,才能用于监督性学习算法。

但这里有一个问题:针对每个时间序列问题,你可以处理的特征类型和数量,却并没有明确的限制。当然,古典的时间序列分析工具(如相关图correlogram)可以帮助评估滞后变量(lag variables),但并不能直接帮助开发者对其他类型的特征进行选择,例如从时间戳(年、月、日)和移动统计信息(如移动平均线moving average)衍生的特征。

因此,我们将在本教程中探讨如何利用基于特征重要性和特征选择的机器学习工具处理时间序列问题。

通过本教程的学习,你将了解:

● 如何创建和解释滞后观察的相关图。

● 如何计算和解释时间序列特征的重要性得分。

● 如何对时间序列输入变量进行特征选择。

本教程共分为如下六个部分:

1. 载入每月汽车销量数据集:即载入我们将要使用的数据集。

2. 平稳化:讲述如何使数据集平稳化,以便于后续的分析和预测。

3. 自相关图:讲述如何创建时间序列数据的相关图。

4. 时间序列到监督学习:将时间单变量的时间序列转化为监督性学习问题。

5. 滞后变量的特征重要性:讲述如何计算和查看时间序列数据的特征重要性得分。

6. 滞后变量的特征选择:讲述如何计算和查看时间序列数据的特征选择结果。

1. 载入数据

在本教程中,我们将基于魁北克在 1960 到 1968 年的月度汽车销量数据进行讲解。

原始数据可以在如下链接下载:

https://datamarket.com/data/set/22n4/monthly-car-sales-in-quebec-1960-1968 

本例中,我们将下载后的数据集保存为 car-sales.csv 文件,同时删去了文件中的脚注信息。

基于 Pandas 库加载该数据集的代码如下,我们将数据保存为一个 Series 对象:


# line plot of time series
from pandas import Series
from matplotlib import pyplot
# load dataset
series = Series.from_csv('car-sales.csv', header=0)
# display first few rows
print(series.head(5))
# line plot of dataset
series.plot()
pyplot.show()


运行以上实例后的打印情况如下(这里只列出了 5 行):


Month
1960-01-01 6550
1960-02-01 8728
1960-03-01 12026
1960-04-01 14395
1960-05-01 14587
Name: Sales, dtype: int64


完整数据的曲线图如下所示:

手把手教你用 Python 实现针对时间序列预测的特征选择

2. 平稳化

从上图我们可以看到汽车销量数据明显的季节性和日益增长的变化趋势。

这种季节性的变化和增长趋势虽然可以作为序列预测的关键特征,但如果需要探索其他的有助于我们做出序列预测的系统信号,就必须将它们移除。

通常,我们将除去了季节性变化和增长趋势的时间序列称为平稳化序列。

为了消除这种季节性变化,通常采取季节差分的办法,即生成所谓的季节性适配时间序列(seasonally adjusted time series)。

本例中季节性变化的变化周期似乎是一年(12个月)。下面的代码展示了如何计算季节性适配时间序列,并将结果保存到文件 seasonally-adjusted.csv。


# seasonally adjust the time series
from pandas import Series
from matplotlib import pyplot
# load dataset
series = Series.from_csv('car-sales.csv', header=0)
# seasonal difference
differenced = series.diff(12)
# trim off the first year of empty data
differenced = differenced[12:]
# save differenced dataset to file
differenced.to_csv('seasonally_adjusted.csv')
# plot differenced dataset
differenced.plot()
pyplot.show()


代码中,由于最初的 12 个月没有更早的数据用以差分计算,因此被丢弃。最终得到的季节差分结果如下图所示:

手把手教你用 Python 实现针对时间序列预测的特征选择

从图中可以看出,我们通过差分运算成功消除了季节性变化和增长趋势信息。

3. 自相关图

通畅情况下,我们根据与输出变量的相关性来选择时间序列的特征。

这被称为自相关(autocorrelation),并包括如何绘制自相关图,也称为相关图。 自相关图展示了每个滞后观察结果的相关性,以及这些相关性是否具有统计学的显着性。

例如,下面的代码绘制了月汽车销量数据集中所有滞后变量的相关图。


from pandas import Series
from statsmodels.graphics.tsaplots import plot_acf
from matplotlib import pyplot
series = Series.from_csv('seasonally_adjusted.csv', header=None)
plot_acf(series)
pyplot.show()


运行后可以得到一张相关图,或自相关函数(ACF)图,如下所示。

手把手教你用 Python 实现针对时间序列预测的特征选择

图中 x 轴表示滞后值,y 轴上 -1 和 1 之间则表现了这些滞后值的正负相关性。

蓝色区域中的点表示统计学显着性。滞后值为 0 相关性为 1 的点表示观察值与其本身 100% 正相关。

可以看到,图中在 1,2,12 和 17 个月显示出了显著的滞后性。

这个分析为后续的比较过程提供了一个很好的基准。

4. 时间序列到监督学习

通过将滞后观察(例如t-1)作为输入变量,将当前观察(t)作为输出变量,可以将单变量的月度汽车销量数据集转换为监督学习问题。

为了实现这一转换,在下面的代码中我们调用了 Pandas 库中的 shift 函数,通过 shift 函数我们可以为转换后的观察值创建新的队列。

在以下示例中,我们创建了一个包含 12 个月滞后值的新时间序列,以预测当前的观察结果。

代码中 12 个月的迁移表示前 12 行的数据不可用,因为它们包含 NaN 值。


from pandas import Series
from pandas import DataFrame
# load dataset
series = Series.from_csv('seasonally_adjusted.csv', header=None)
# reframe as supervised learning
dataframe = DataFrame()
for i in range(12,0,-1):
dataframe['t-'+str(i)] = series.shift(i)
dataframe['t'] = series.values
print(dataframe.head(13))
dataframe = dataframe[13:]
# save to new file
dataframe.to_csv('lags_12months_features.csv', index=False)


打印输出如下所示,其中前 12 行的数据不可用。

手把手教你用 Python 实现针对时间序列预测的特征选择

我们将前 12 行的数据删除,然后将结果保存在 lags_12months_features.csv 文件中。

实际上,这个过程可以在任意的时间步长下重复进行,例如 6 或 24 个月,感兴趣的朋友可以自行尝试。

5. 滞后变量的特征重要性

各种决策树,例如 bagged 树和随机森林等,都可以用来计算特征值的重要性得分。

这是一种机器学习中的常见用法,以便在开发预测模型时有效评估输入特征的相对有效性。

这里,我们通过正要性得分,来帮助评估时间序列预测输入特征的相对重要性。

这一点之所以重要,不仅是因为我们可以设计上述提到的滞后观察特征,还可以设计基于观测时间戳、滚动统计等其他类型的特征。因此,特征重要性是整理和选择特征时非常有效的一种方法。

在下面的实例中,我们加载了上一节中创建的数据集的监督性学习视图,然后利用随机森林模型(代码中为RandomForestRegressor),总结了 12 个滞后观察中每一个的相对特征重要性得分。

这里使用了大数量的树来保证得分的稳定性。此外,我们还用到了随机种子初始化(the random number seed is initialized),用以保证每次运行代码时都能获得相同的结果。


from pandas import read_csv
from sklearn.ensemble import RandomForestRegressor
from matplotlib import pyplot
# load data
dataframe = read_csv('lags_12months_features.csv', header=0)
array = dataframe.values
# split into input and output
X = array[:,0:-1]
y = array[:,-1]
# fit random forest model
model = RandomForestRegressor(n_estimators=500, random_state=1)
model.fit(X, y)
# show importance scores
print(model.feature_importances_)
# plot importance scores
names = dataframe.columns.values[0:-1]
ticks = [i for i in range(len(names))]
pyplot.bar(ticks, model.feature_importances_)
pyplot.xticks(ticks, names)
pyplot.show()


运行示例后,首先打印了滞后观察值的重要性得分,如下所示。


[ 0.21642244  0.06271259  0.05662302  0.05543768  0.07155573  0.08478599
  0.07699371  0.05366735  0.1033234   0.04897883  0.1066669   0.06283236]


然后将得分绘制为条形图,如图所示。

手把手教你用 Python 实现针对时间序列预测的特征选择

图中显示 t-12 观测值的相对重要性最高,其次就是 t-2 和 t-4。

感兴趣的朋友可以仔细研究这个结果与上述自相关图的差异。

实际上,这里还可以用 gradient boosting,extra trees,bagged decision trees 等代替随机森林模型,同样可以计算特征的重要性得分。

6. 滞后变量的特征选择

我们还可以通过特征选择来自动识别并选择出最具预测性的输入特征。

目前,特征选择最流行方法是递归特征选择(Recursive Feature Selection,RFE)。

RFE 可以创建预测模型,对特征值赋予不同的权值,并删掉那些权重最小的特征,通过不断重复这一流程,最终就能得到预期数量的特征。

以下示例中我们演示了如何通过RFE与随机森林模型进行特征选择,注意其中输入特征的预期数量设置的是 4。


from pandas import read_csv
from sklearn.feature_selection import RFE
from sklearn.ensemble import RandomForestRegressor
from matplotlib import pyplot
# load dataset
dataframe = read_csv('lags_12months_features.csv', header=0)
# separate into input and output variables
array = dataframe.values
X = array[:,0:-1]
y = array[:,-1]
# perform feature selection
rfe = RFE(RandomForestRegressor(n_estimators=500, random_state=1), 4)
fit = rfe.fit(X, y)
# report selected features
print('Selected Features:')
names = dataframe.columns.values[0:-1]
for i in range(len(fit.support_)):
if fit.support_[i]:
print(names[i])
# plot feature rank
names = dataframe.columns.values[0:-1]
ticks = [i for i in range(len(names))]
pyplot.bar(ticks, fit.ranking_)
pyplot.xticks(ticks, names)
pyplot.show()


运行以上示例后,可以得到如下 4 个待选特征。


Selected Features:
t-12
t-6
t-4
t-2


可见,这一结果与上一节由重要性得分得到的结果相一致。

手把手教你用 Python 实现针对时间序列预测的特征选择

同时,程序还会创建一个如下所示的条形图,图中显示了每个待选输入特征的选择排序(数字越小越好)。

同样,感兴趣的朋友还可以设置不同的预期特征数量,或者换用随机森林之外的其他模型。

总结

在本教程中,我们通过实例代码讲解了如何通过机器学习的工具对时间序列数据进行特征选择。

具体来说,我们介绍了如下三点:

● 如何解释具有高度相关性的滞后观测的相关图。

● 如何计算和查看时间序列数据中的特征重要性得分。

● 如何使用特征选择来确定时间序列数据中最相关的输入变量。




本文作者:恒亮
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
2月前
|
机器学习/深度学习 数据采集 算法
时间序列结构变化分析:Python实现时间序列变化点检测
在时间序列分析和预测中,准确检测结构变化至关重要。新出现的分布模式往往会导致历史数据失去代表性,进而影响基于这些数据训练的模型的有效性。
123 1
|
3月前
|
机器学习/深度学习 算法 数据挖掘
6种有效的时间序列数据特征工程技术(使用Python)
在本文中,我们将探讨使用日期时间列提取有用信息的各种特征工程技术。
126 0
|
13天前
|
机器学习/深度学习 数据采集 数据挖掘
11种经典时间序列预测方法:理论、Python实现与应用
本文将总结11种经典的时间序列预测方法,并提供它们在Python中的实现示例。
48 2
11种经典时间序列预测方法:理论、Python实现与应用
|
5天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
20 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
|
2月前
|
机器学习/深度学习 索引 Python
python之序列
python之序列
142 59
|
15天前
|
存储 编译器 索引
Python 序列类型(2)
【10月更文挑战第8天】
Python 序列类型(2)
|
16天前
|
存储 C++ 索引
Python 序列类型(1)
【10月更文挑战第8天】
|
2月前
|
机器学习/深度学习 数据采集 算法
数据稀缺条件下的时间序列微分:符号回归(Symbolic Regression)方法介绍与Python示例
有多种方法可以处理时间序列数据中的噪声。本文将介绍一种在我们的研究项目中表现良好的方法,特别适用于时间序列概况中数据点较少的情况。
45 1
数据稀缺条件下的时间序列微分:符号回归(Symbolic Regression)方法介绍与Python示例
|
3月前
|
机器学习/深度学习 Python
时间序列特征提取:从理论到Python代码实践
时间序列是一种特殊的存在。这意味着你对表格数据或图像进行的许多转换/操作/处理技术对于时间序列来说可能根本不起作用。
55 1
时间序列特征提取:从理论到Python代码实践
|
2月前
|
机器学习/深度学习 测试技术 数据处理
KAN专家混合模型在高性能时间序列预测中的应用:RMoK模型架构探析与Python代码实验
Kolmogorov-Arnold网络(KAN)作为一种多层感知器(MLP)的替代方案,为深度学习领域带来新可能。尽管初期测试显示KAN在时间序列预测中的表现不佳,近期提出的可逆KAN混合模型(RMoK)显著提升了其性能。RMoK结合了Wav-KAN、JacobiKAN和TaylorKAN等多种专家层,通过门控网络动态选择最适合的专家层,从而灵活应对各种时间序列模式。实验结果显示,RMoK在多个数据集上表现出色,尤其是在长期预测任务中。未来研究将进一步探索RMoK在不同领域的应用潜力及其与其他先进技术的结合。
81 4