教你搭建多变量时间序列预测模型LSTM(附代码、数据集)-阿里云开发者社区

开发者社区> 数据派> 正文

教你搭建多变量时间序列预测模型LSTM(附代码、数据集)

简介: 长短期记忆循环神经网络等几乎可以完美地模拟多个输入变量的问题,这为时间序列预测带来极大益处。本文介绍了如何在 Keras 深度学习库中搭建用于多变量时间序列预测的 LSTM 模型。 诸如长短期记忆(LSTM)循环神经网络的神经神经网络几乎可以无缝建模具备多个输入变量的问题。

长短期记忆循环神经网络等几乎可以完美地模拟多个输入变量的问题,这为时间序列预测带来极大益处。本文介绍了如何在 Keras 深度学习库中搭建用于多变量时间序列预测的 LSTM 模型。

诸如长短期记忆(LSTM)循环神经网络的神经神经网络几乎可以无缝建模具备多个输入变量的问题。

这为时间序列预测带来极大益处,因为经典线性方法难以适应多变量或多输入预测问题。

通过本教程,你将学会如何在 Keras 深度学习库中搭建用于多变量时间序列预测的 LSTM 模型。

完成本教程后,你将学会:

如何将原始数据集转换成适用于时间序列预测的数据集
如何处理数据并使其适应用于多变量时间序列预测问题的 LSTM 模型。
如何做出预测并将结果重新调整到初始单元。


我们开始吧!

教程概述

本教程分为三大部分,分别是:

  • 空气污染预测
  • 准备基本数据
  • 搭建多变量 LSTM 预测模型


Python 环境

  • 本教程假设你配置了 Python SciPy 环境,Python 2/3 皆可。
  • 你还需要使用 TensorFlow 或 Theano 后端安装 Keras(2.0 或更高版本)。
  • 本教程还假定你已经安装了 scikit-learn、Pandas、NumPy 和 Matplotlib。


空气污染预测


本教程将使用空气质量数据集。这是美国驻北京大使馆记录了五年的数据集,其按小时报告天气和污染水平。

此数据包括日期、PM2.5 浓度,以及天气信息,包括露点、温度、气压、风向、风速和降水时长。原始数据中的完整特征列表如下:


  1. NO行号
  2. year年份
  3. month月份
  4. day
  5. hour
  6. pm2.5PM2.5 浓度
  7. DEWP露点
  8. TEMP温度
  9. PRES气压
  10. cbwd组合风向
  11. Iws累计风速
  12. s累积降雪时间
  13. Ir:累积降雨时间


我们可以使用这些数据并构建一个预测问题,我们根据过去几个小时的天气条件和污染状况预测下一个小时的污染状况。此数据集亦可用于构建其他预测问题。

您可以从 UCI 机器学习库中下载此数据集。

  • 下载地址:https://archive.ics.uci.edu/ml/datasets/Beijing+PM2.5+Data

下载数据集并将其命名为「raw.csv」,放置到当前工作目录。

基本数据准备

原始数据尚不可用,我们必须先处理它

以下是原始数据集的前几行数据。

e929a0b3dfccabb3ed3957b0f9c3885127e02a1a

第一步,将零散的日期时间信息整合为一个单一的日期时间,以便我们可以将其用作 Pandas 的索引。

快速检查第一天的 pm2.5 的 NA 值。因此,我们需要删除第一行数据。在数据集中还有几个零散的「NA」值,我们现在可以用 0 值标记它们。

以下脚本用于加载原始数据集,并将日期时间信息解析为 Pandas DataFrame 索引。「No」列被删除,每列被指定更加清晰的名称。最后,将 NA 值替换为「0」值,并删除前一天的数据。

1fac7142f2e75ee1770c65049e7806f197940162

运行该例子打印转换后的数据集的前 5 行,并将转换后的数据集保存到「pollution.csv」。

c3bc7f015b788f3b872225deb1a4702853ca2aae

现在数据已经处理得简单易用,我们可以为每个天气参数创建快图,看看能得到什么。

下面的代码加载了「pollution.csv」文件,并且为每个参数(除用于分类的风速以外)绘制了单独的子图。

e47bd8bc642c6ef23e1d3754047b96dd46ac30e4

运行上例创建一个具有 7 个子图的大图,显示每个变量 5 年中的数据。

8d013bb303481bc61dab9e068404bb467886ac1a


多变量 LSTM 预测模型


本节,我们将调整一个 LSTM 模型以适合此预测问题。

LSTM 数据准备

第一步是为 LSTM 模型准备污染数据集,这涉及将数据集用作监督学习问题以及输入变量归一化。

我们将监督学习问题设定为:根据上一个时间段的污染指数和天气条件,预测当前时刻(t)的污染情况。

这个表述简单直接,只是为了说明问题。你可以探索的一些替代方案包括:

  • 根据过去一天的天气情况和污染状况,预测下一个小时的污染状况。
  • 根据过去一天的天气情况和污染状况以及下一个小时的「预期」天气条件,预测下一个小时的污染状况。


我们可以使用之前博客中编写的 series_to_supervised()函数来转换数据集:

  • 如何用 Python 将时间序列问题转换为监督学习问题(https://machinelearningmastery.com/convert-time-series-supervised-learning-problem-python/)

首先加载「pollution.csv」数据集。给风速特征打上标注(整型编码)。如果你再深入一点就会发现,整形编码可以进一步进行一位有效编码(one-hot encoding)。

接下来,所有特征都被归一化,然后数据集转换成监督学习问题。之后,删除要预测的时刻(t)的天气变量。

完整的代码列表如下。

98a6b07b46f4d9ef247493025d7a14d7fd64ad04

运行上例打印转换后的数据集的前 5 行。我们可以看到 8 个输入变量(输入序列)和 1 个输出变量(当前的污染水平)。

2fe749a1d11fc8dce57d12f1d22a1fcada808318

这个数据准备过程很简单,我们可以深入了解更多相关知识,包括:

  • 对风速进行一位有效编码
  • 用差值和季节性调整使所有序列数据恒定
  • 提供超过 1 小时的输入时间步长

最后也可能是最重要的一点,在学习序列预测问题时,LSTM 通过时间步进行反向传播。


定义和拟合模型

在本节中,我们将拟合多变量输入数据的 LSTM 模型。

首先,我们必须将准备好的数据集分成训练集和测试集。为了加快此次讲解的模型训练,我们将仅使用第一年的数据来拟合模型,然后用其余 4 年的数据进行评估。

下面的示例将数据集分成训练集和测试集,然后将训练集和测试集分别分成输入和输出变量。最后,将输入(X)重构为 LSTM 预期的 3D 格式,即 [样本,时间步,特征]。

6a7bfd2a5adaeafa15662c776d38ebbfb47f1a45

运行此示例输出训练数据的维度,并通过测试约 9K 小时的数据对输入和输出集合进行训练,约 35K 小时的数据进行测试。

9ca1be9a78a0f64f2ae5fbfeacf51e7794e479cd

我们现在可以定义和拟合 LSTM 模型了。

我们将在第一个隐藏层中定义具有 50 个神经元的 LSTM,在输出层中定义 1 个用于预测污染的神经元。输入数据维度将是 1 个具有 8 个特征的时间步长。

我们将使用平均绝对误差(MAE)损失函数和高效的随机梯度下降的 Adam 版本。

该模型将适用于 50 个 epoch,批大小为 72 的训练。请记住,每个批结束时,Keras 中的 LSTM 的内部状态都将重置,因此内部状态是天数的函数可能有所帮助(试着证明它)。

最后,我们通过在 fit()函数中设置 validation_data 参数来跟踪训练过程中的训练和测试损失,并在运行结束时绘制训练和测试损失图。

bd4088a399b6e14712890edda99d3c88ee840b9d

评估模型

模型拟合后,我们可以预测整个测试数据集。

我们将预测与测试数据集相结合,并调整测试数据集的规模。我们还用预期的污染指数来调整测试数据集的规模。

通过初始预测值和实际值,我们可以计算模型的误差分数。在这种情况下,我们可以计算出与变量相同的单元误差的均方根误差(RMSE)。

8e38f031260697b8759aa790d4d1ec58b8d190d2

完整示例

完整示例如下所示。

167b08ac8a91c493117bf0051c12c9baa0099d52

运行示例首先创建一幅图,显示训练中的训练和测试损失。


有趣的是,我们可以看到测试损失低于训练损失。该模型可能过度拟合训练数据。在训练过程中测绘 RMSE 可能会使问题明朗。

393393626b030d5d54826d842de2fc4821e1afd8

在每个训练 epoch 结束时输出训练和测试的损失。在运行结束后,输出该模型对测试数据集的最终 RMSE。我们可以看到,该模型取得了不错的 RMSE——3.836,这显著低于用持久模型(persistence model)得到的 RMSE(30)。

93c3ba5c69aaf395133ac490f6b2ce24dda60509

总结


在本教程中,您学会了如何将 LSTM 应用于多变量时间序列预测问题。

具体点讲,你学会了:

  • 如何将原始数据集转换成适用于时间序列预测的数据集
  • 如何处理数据并使其适应用于多变量时间序列预测问题的 LSTM 模型。
  • 如何做出预测并将结果重新调整到初始单元。
原文发布时间为:2017-11-6
本文来自云栖社区合作伙伴“数据派THU”,了解相关信息可以关注“数据派THU”微信公众号

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

官网链接