基于Keras的LSTM多变量时间序列预测

简介: 还在为设计多输入变量的神经网络模型发愁?来看看大神如何解决基于Keras的LSTM多变量时间序列预测问题!文末附源码!

更多深度文章,请关注:https://yq.aliyun.com/cloud


LSTM是一种时间递归神经网络,它出现的原因是为了解决RNN的一个致命的缺陷。原生的RNN会遇到一个很大的问题,叫做The vanishing gradient problem for RNNs,也就是后面时间的节点会出现老年痴呆症,也就是忘事儿,这使得RNN在很长一段时间内都没有受到关注,网络只要一深就没法训练。后来有些大牛们开始使用递归神经网络来对时间关系进行建模。而根据深度学习三大牛的阐述,LSTM网络已被证明比传统的RNNS更加有效。

适合多输入变量的神经网络模型一直让开发人员很头痛,但基于(LSTM)的循环神经网络能够几乎可以完美的解决多个输入变量的问题。

基于(LSTM)的循环神经网络可以很好的利用在时间序列预测上,因为很多古典的线性方法难以适应多变量或多输入预测问题。

在本教程中,你会看到如何在Keras深度学习库中开发多变量时间序列预测的LSTM模型。

读完本教程后,你将学会:

     ·         如何将原始数据集转换为可用于时间序列预测的数据集。

     ·         如何准备数据并创建适应多变量时间序列预测问题的LSTM

     ·         如何做出预测并将结果重新调整到原始单位。 

本教程分为3部分:

      1.空气污染预报。

      2.基本数据准备。

      3.多变量LSTM预测模型。

  Python环境

本教程假设你已安装Python SciPy环境,你可以在本教程中使用Python 23。你必须使用TensorFlowTheano后端安装Keras2.0或更高版本)。本教程还 假设你已经安装了scikit-learnPandasNumPyMatplotlib。如果你需要帮助你的环境,请参阅这篇文章:

如何为Anaconda设置机器学习和深度学习的Python环境

 空气污染预报

在这个小例子中,我们将使用空气质量数据集。这是一个数据集,在美国驻北京大使馆五年内报告天气和污染水平。数据类型包括日期时间、称为PM2.5浓度的污染物、以及天气信息、包括露点(露点温度)、温度、压力、风向、风速和累积的降雪小时数。原始数据中的完整功能列表如下:

      1.NO:行号。

      2.year:年。

      3.month:月。

      4.day:日。

      5.hour:小时。

      6.pm2.5PM2.5浓度。

      7.DEWP:露点温度。

      8.TEMP:温度。

      9.PRES:压力。

      10.cbwd:风向。

      11.Iws:风速。

      12.ls:积雪的时间

      13.Ir:累积的下雨时数

我们可以使用这些数据并构建一个预测问题,基于天气条件和前几个小时的污染,我们预测在下一个小时的污染。你可以从UCI Machine Learning Repository下载数据集—北京PM2.5数据集下载数据集并将其放在你当前的工作目录中,文件名为“raw.csv”。

基本数据准备

第一步,我们必须清洗数据。

以下是原始数据集的前几行。

No,year,month,day,hour,pm2.5,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NA,-21,-11,1021,NW,1.79,0,0
2,2010,1,1,1,NA,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NA,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NA,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NA,-20,-12,1018,NW,12.97,0,0

第一步是将日期时间信息整合为一个日期时间,以便我们可以将其用作Pandas的索引。我们需要快速显示前24小时的pm2.5NA值。因此,我们需要删除第一行数据。在数据集中还有几个分散的“NA”值;我们现在可以用0值标记它们。

以下脚本加载原始数据集,并将日期时间信息解析为Pandas Data Frame索引。“No”列被删除,然后为每列指定更清晰的名称。最后,将NA值替换为“0”值,并删除前24小时。

from pandas import read_csv
from datetime import datetime
# load data
def parse(x):
	return datetime.strptime(x, '%Y %m %d %H')
dataset = read_csv('raw.csv',  parse_dates = [['year', 'month', 'day', 'hour']], index_col=0, date_parser=parse)
dataset.drop('No', axis=1, inplace=True)
# manually specify column names
dataset.columns = ['pollution', 'dew', 'temp', 'press', 'wnd_dir', 'wnd_spd', 'snow', 'rain']
dataset.index.name = 'date'
# mark all NA values with 0
dataset['pollution'].fillna(0, inplace=True)
# drop the first 24 hours
dataset = dataset[24:]
# summarize first 5 rows
print(dataset.head(5))
# save to file
dataset.to_csv('pollution.csv')

运行该示例打印转换的数据集的前5行,并将数据集保存到pollution.csv

 Date   				pollution dew temp  press wnd_dir  wnd_spd snow rain
2010-01-02 00:00:00    129.0  -16  -4.0  1020.0    SE    1.79    0     0
2010-01-02 01:00:00    148.0  -15  -4.0  1020.0    SE    2.68    0     0
2010-01-02 02:00:00    159.0  -11  -5.0  1021.0    SE    3.57    0     0
2010-01-02 03:00:00    181.0  -7   -5.0  1022.0    SE    5.36    1     0
2010-01-02 04:00:00    138.0  -7   -5.0  1022.0    SE    6.25    2     0

下面的代码加载了“ pollution.csv ”文件,并将每个系列作为单独的子图绘制,除了风速dir,这是分类的。

from pandas import read_csv
from matplotlib import pyplot
# load dataset
dataset = read_csv('pollution.csv', header=0, index_col=0)
values = dataset.values
# specify columns to plot
groups = [0, 1, 2, 3, 5, 6, 7]
i = 1
# plot each column
pyplot.figure()
for group in groups:
	pyplot.subplot(len(groups), 1, i)
	pyplot.plot(values[:, group])
	pyplot.title(dataset.columns[group], y=0.5, loc='right')
	i += 1
pyplot.show()
运行示例创建一个具有 7 个子图的程序,显示每个变量的 5 年数据。

bb1c05510906d2ecfe19961433b298f3c9379085

多变量LSTM预测模型建立

 LSTM数据准备

第一步是为LSTM准备污染数据集。这涉及将数据集视为监督学习问题并对输入变量进行归一化处理。考虑到上一个时间段的污染测量和天气条件,我们将把监督学习问题作为预测当前时刻(t)的污染情况。根据过去24小时的天气情况和污染,预测下一个小时的污染,并给予下一个小时的预期天气条件。

我们可以使用在博客中开发的series_to_supervised()函数来转换数据集:如何将时间序列转换为Python中的监督学习问题

首先,加载“ pollution.csv 数据集。风速特征是标签编码(整数编码)。如果你有兴趣探索,也可以使用热编码。

接下来,所有功能都被规范化,然后将数据集转换为监督学习问题。然后删除要预测的小时的天气变量(t)。

完整的代码清单如下:

# convert series to supervised learning
def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):
	n_vars = 1 if type(data) is list else data.shape[1]
	df = DataFrame(data)
	cols, names = list(), list()
	# input sequence (t-n, ... t-1)
	for i in range(n_in, 0, -1):
		cols.append(df.shift(i))
		names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]
	# forecast sequence (t, t+1, ... t+n)
	for i in range(0, n_out):
		cols.append(df.shift(-i))
		if i == 0:
			names += [('var%d(t)' % (j+1)) for j in range(n_vars)]
		else:
			names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]
	# put it all together
	agg = concat(cols, axis=1)
	agg.columns = names
	# drop rows with NaN values
	if dropnan:
		agg.dropna(inplace=True)
	return agg
# load dataset
dataset = read_csv('pollution.csv', header=0, index_col=0)
values = dataset.values
# integer encode direction
encoder = LabelEncoder()
values[:,4] = encoder.fit_transform(values[:,4])
# ensure all data is float
values = values.astype('float32')
# normalize features
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
# frame as supervised learning
reframed = series_to_supervised(scaled, 1, 1)
# drop columns we don't want to predict
reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)
print(reframed.head())

运行示例打印转换后的数据集的前5行。我们可以看到8个输入变量(输入序列)和1个输出变量(当前小时的污染水平)。

 var1(t-1)    var2(t-1)    var3(t-1)   var4(t-1)    var5(t-1)    var6(t-1)  \
1   0.129779   0.352941   0.245902   0.527273   0.666667   0.002290
2   0.148893   0.367647   0.245902   0.527273   0.666667   0.003811
3   0.159960   0.426471   0.229508   0.545454   0.666667   0.005332
4   0.182093   0.485294   0.229508   0.563637   0.666667   0.008391
5   0.138833   0.485294   0.229508   0.563637   0.666667   0.009912
    var7(t-1)  var8(t-1)   var1(t)
1   0.000000    0.0   0.148893
2   0.000000    0.0   0.159960
3   0.000000    0.0   0.182093
4   0.037037    0.0   0.138833
5   0.074074    0.0   0.109658

注意:我们必须提供超过一小时的输入时间步长。因为在解决序列预测问题时,LSTMs通过时间进行反向传播。

定义和拟合模型

在本节中,我们将通过多变量输入数据拟合LSTM

首先,我们必须将准备好的数据集分成训练集和测试集。为了加快对这次示范模型的训练,我们将仅使用第一年的数据来拟合模型,然后对其余4年的数据进行评估。下面的示例将数据集分成训练集和测试集,然后将训练集和测试集分成输入和输出变量。最后,将输入(X)重构为LSTM预期的3D格式,即[样本,时间步长,特征]

# split into train and test sets
values = reframed.values
n_train_hours = 365 * 24
train = values[:n_train_hours, :]
test = values[n_train_hours:, :]
# split into input and outputs
train_X, train_y = train[:, :-1], train[:, -1]
test_X, test_y = test[:, :-1], test[:, -1]
# reshape input to be 3D [samples, timesteps, features]
train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))
test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))
print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)

运行此示例打印训练集的形状:

(8760, 1, 8) (8760,) (35039, 1, 8) (35039,)

现在我们可以定义和拟合我们的LSTM模型。

我们将在第一个隐层中定义具有50个神经元的LSTM和用于预测污染的输出层中的1个神经元。输入形状是1个时间步长,具有8个特征。

我们将在我们的模型中使用平均绝对误差(MAE)损失函数。该模型将拟合50个批量大小为72的训练时期。最后,我们通过在fit()函数中设置validation_data参数来跟踪训练过程中的训练和测试失败。在运行结束时,绘制训练和测试损失。

# design network
model = Sequential()
model.add(LSTM(50, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(Dense(1))
model.compile(loss='mae', optimizer='adam')
# fit network
history = model.fit(train_X, train_y, epochs=50, batch_size=72, validation_data=(test_X, test_y), verbose=2, shuffle=False)
# plot history
pyplot.plot(history.history['loss'], label='train')
pyplot.plot(history.history['val_loss'], label='test')
pyplot.legend()
pyplot.show()

评估模型

模型拟合后,我们可以预测整个测试数据集。

我们将预测的数据集与测试数据集相结合,并反演缩放。我们还可以用预期的污染数字来反演测试数据集的缩放。使用预测值和实际值,我们可以计算模型的误差分数。并且我们还可以计算出与变量本身相同的单位产生误差的均方根误差(RMSE)。

完整例子

完整的示例如下所示:源程序附件中下载!

运行示例首先创建一个绘图,显示训练中的训练损失和测试损失:

539e5da48a8661ac899c24b2adc6df778a4e0628

有趣的是,我们可以看到测试损失低于训练损失,该模型可能过度拟合训练数据。

训练损失和测试损失在每个训练时期结束时打印。在运行结束时,打印测试数据集上模型的最终RMSE。我们可以看到,该模型实现了可观的RMSE3.836

Epoch 46/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 47/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 48/50
0s - loss: 0.0144 - val_loss: 0.0133
Epoch 49/50
0s - loss: 0.0143 - val_loss: 0.0133
Epoch 50/50
0s - loss: 0.0144 - val_loss: 0.0133
Test RMSE: 3.836

进一步阅读

如果你想学到更多,请参考一下资源:

     ·北京PM2.5数据集在UCI机器学习库中

     ·克拉斯长期记忆模型的5步生命周期

     ·使用Python中的长时间内存网络进行时间序列预测

     ·Python中的长时间内存网络进行多步时间序列预测

总结:

在本教程中,你发现了如何将LSTM适用于多变量时间序列预测问题。

具体来说,你学到了:

     ·如何将原始数据集转换为可用于时间序列预测的内容。

     ·如何准备数据并适应多变量时间序列预测问题的LSTM

     · 如何做出预测并将结果重新调整到原始单位。

本文由@阿里云云栖社区组织翻译。

文章原标题《Multivariate Time Series Forecasting with LSTMs in Keras

作者:Jason Brownlee    

作者个人博客地址:http://machinelearningmastery.com/blog/

译者:袁虎 审阅:主题曲哥哥

文章为简译,更为详细的内容,请查看原文



相关文章
|
25天前
|
机器学习/深度学习 自然语言处理 PyTorch
【机器学习】探索LSTM:深度学习领域的强大时间序列处理能力
【机器学习】探索LSTM:深度学习领域的强大时间序列处理能力
|
3月前
|
机器学习/深度学习 算法 数据挖掘
基于WOA优化的CNN-LSTM的时间序列回归预测matlab仿真
本项目采用MATLAB 2022a实现时间序列预测,利用CNN与LSTM结合的优势,并以鲸鱼优化算法(WOA)优化模型超参数。CNN提取时间序列的局部特征,LSTM处理长期依赖关系,而WOA确保参数最优配置以提高预测准确性。完整代码附带中文注释及操作指南,运行效果无水印展示。
|
2月前
|
机器学习/深度学习 算法 数据挖掘
基于GWO灰狼优化的CNN-LSTM的时间序列回归预测matlab仿真
本项目展示了一种结合灰狼优化(GWO)与深度学习模型(CNN和LSTM)的时间序列预测方法。GWO算法高效优化模型超参数,提升预测精度。CNN提取局部特征,LSTM处理长序列依赖,共同实现准确的未来数值预测。项目包括MATLAB 2022a环境下运行的完整代码及视频教程,代码内含详细中文注释,便于理解和操作。
|
5月前
|
机器学习/深度学习 算法 数据可视化
基于GA遗传优化的CNN-LSTM的时间序列回归预测matlab仿真
摘要:该内容展示了基于遗传算法优化的CNN-LSTM时间序列预测模型在matlab2022a中的应用。核心程序包括遗传算法优化过程、网络训练、误差分析及预测结果的可视化。模型通过GA调整CNN-LSTM的超参数,提升预测准确性和稳定性。算法流程涉及初始化、评估、选择、交叉和变异等步骤,旨在找到最佳超参数以优化模型性能。
|
4月前
|
机器学习/深度学习 算法
基于PSO粒子群优化的CNN-LSTM的时间序列回归预测matlab仿真
**算法预览图省略** - **软件版本**: MATLAB 2022a - **核心代码片段**略 - **PSO-CNN-LSTM概览**: 结合深度学习与优化,解决复杂时间序列预测。 - **CNN**利用卷积捕获时间序列的空间特征。 - **LSTM**通过门控机制处理长序列依赖,避免梯度问题。 - **流程**: 1. 初始化粒子群,每个粒子对应CNN-LSTM参数。 2. 训练模型,以验证集MSE评估适应度。 3. 使用PSO更新粒子参数,寻找最佳配置。 4. 迭代优化直到满足停止条件,如最大迭代次数或找到优良解。
|
6月前
|
机器学习/深度学习 存储 算法
基于CNN+LSTM深度学习网络的时间序列预测matlab仿真,并对比CNN+GRU网络
该文介绍了使用MATLAB2022A进行时间序列预测的算法,结合CNN和RNN(LSTM或GRU)处理数据。CNN提取局部特征,RNN处理序列依赖。LSTM通过门控机制擅长长序列,GRU则更为简洁、高效。程序展示了训练损失、精度随epoch变化的曲线,并对训练及测试数据进行预测,评估预测误差。
|
3月前
|
机器学习/深度学习 API 异构计算
7.1.3.2、使用飞桨实现基于LSTM的情感分析模型的网络定义
该文章详细介绍了如何使用飞桨框架实现基于LSTM的情感分析模型,包括网络定义、模型训练、评估和预测的完整流程,并提供了相应的代码实现。
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于贝叶斯优化CNN-LSTM网络的数据分类识别算法matlab仿真
本项目展示了基于贝叶斯优化(BO)的CNN-LSTM网络在数据分类中的应用。通过MATLAB 2022a实现,优化前后效果对比明显。核心代码附带中文注释和操作视频,涵盖BO、CNN、LSTM理论,特别是BO优化CNN-LSTM网络的batchsize和学习率,显著提升模型性能。
|
3月前
|
机器学习/深度学习
【机器学习】面试题:LSTM长短期记忆网络的理解?LSTM是怎么解决梯度消失的问题的?还有哪些其它的解决梯度消失或梯度爆炸的方法?
长短时记忆网络(LSTM)的基本概念、解决梯度消失问题的机制,以及介绍了包括梯度裁剪、改变激活函数、残差结构和Batch Normalization在内的其他方法来解决梯度消失或梯度爆炸问题。
80 2
|
5月前
|
机器学习/深度学习 PyTorch 算法框架/工具
RNN、LSTM、GRU神经网络构建人名分类器(三)
这个文本描述了一个使用RNN(循环神经网络)、LSTM(长短期记忆网络)和GRU(门控循环单元)构建的人名分类器的案例。案例的主要目的是通过输入一个人名来预测它最可能属于哪个国家。这个任务在国际化的公司中很重要,因为可以自动为用户注册时提供相应的国家或地区选项。

相关实验场景

更多