将循环神经网络（RNN）应用于现实世界数据进行时间序列预测，是一种常见的机器学习应用。时间序列预测是一种预测未来值的方法，它基于过去和现在的数据点。这种预测方法被广泛应用于金融、气象、工业生产等领域。以下是使用 RNN 进行时间序列预测的基本步骤：
- 数据收集：首先，需要收集要预测的时间序列数据。这些数据可以是股票价格、气象数据、工业生产指标等。
- 数据预处理：对收集到的时间序列数据进行预处理，包括缺失值填充、异常值处理、数据归一化等。预处理的目的是提高模型的泛化能力。
- 特征工程：从时间序列数据中提取有用的特征，例如滑动窗口、自相关性、平稳性等。特征工程可以帮助模型更好地捕捉时间序列数据中的有用信息，提高预测准确性。
- 数据划分：将时间序列数据划分为训练集、验证集和测试集，用于训练和评估模型。数据划分可以避免模型过拟合，提高模型的泛化能力。
- 模型选择和构建：根据任务需求选择合适的 RNN 模型，例如 LSTM（长短时记忆网络）或 GRU（门控循环单元）等。然后，构建模型并设置超参数。
- 模型训练：使用训练集对 RNN 模型进行训练，通过优化损失函数来学习模型参数。
- 模型评估：使用验证集对模型进行评估，根据评估结果调整模型参数，以提高模型性能。评估指标可以是均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）等。
- 模型优化：根据评估结果，可以对模型进行优化，例如调整超参数、增加训练数据、改进模型结构等。
- 模型应用：将训练好的模型应用于实际问题，进行时间序列预测。根据预测结果，可以制定相应的决策和策略。
总之，将 RNN 应用于现实世界数据进行时间序列预测，需要进行数据收集、预处理、特征工程、数据划分、模型选择和构建、训练、评估和优化等步骤。通过这些步骤，可以使用 RNN 模型有效地预测未来事件，为实际问题提供有用的决策依据。
Recurrent Neural Network on real data
%matplotlib inline
import numpy as np
import tensorflow as tf
from tensorflow.contrib import rnn
import data_loader
import matplotlib.pyplot as plt
class SeriesPredictor:
def __init__(self, input_dim, seq_size, hidden_dim):
# Hyperparameters
self.input_dim = input_dim
self.seq_size = seq_size
self.hidden_dim = hidden_dim
# Weight variables and input placeholders
self.W_out = tf.Variable(tf.random_normal([hidden_dim, 1]), name='W_out')
self.b_out = tf.Variable(tf.random_normal([1]), name='b_out')
self.x = tf.placeholder(tf.float32, [None, seq_size, input_dim])
self.y = tf.placeholder(tf.float32, [None, seq_size])
# Cost optimizer
self.cost = tf.reduce_mean(tf.square(self.model() - self.y))
self.train_op = tf.train.AdamOptimizer(learning_rate=0.01).minimize(self.cost)
# Auxiliary ops
self.saver = tf.train.Saver()
def model(self):
"""
:param x: inputs of size [T, batch_size, input_size]
:param W: matrix of fully-connected output layer weights
:param b: vector of fully-connected output layer biases
"""
cell = rnn.BasicLSTMCell(self.hidden_dim)
outputs, states = tf.nn.dynamic_rnn(cell, self.x, dtype=tf.float32)
num_examples = tf.shape(self.x)[0]
W_repeated = tf.tile(tf.expand_dims(self.W_out, 0), [num_examples, 1, 1])
out = tf.matmul(outputs, W_repeated) + self.b_out
out = tf.squeeze(out)
return out
def train(self, train_x, train_y, test_x, test_y):
with tf.Session() as sess:
tf.get_variable_scope().reuse_variables()
sess.run(tf.global_variables_initializer())
max_patience = 3
patience = max_patience
min_test_err = float('inf')
step = 0
while patience > 0:
_, train_err = sess.run([self.train_op, self.cost], feed_dict={self.x: train_x, self.y: train_y})
if step % 100 == 0:
test_err = sess.run(self.cost, feed_dict={self.x: test_x, self.y: test_y})
print('step: {}\t\ttrain err: {}\t\ttest err: {}'.format(step, train_err, test_err))
if test_err < min_test_err:
min_test_err = test_err
patience = max_patience
else:
patience -= 1
step += 1
save_path = self.saver.save(sess, 'model.ckpt')
print('Model saved to {}'.format(save_path))
def test(self, sess, test_x):
tf.get_variable_scope().reuse_variables()
self.saver.restore(sess, './model.ckpt')
output = sess.run(self.model(), feed_dict={self.x: test_x})
return output
def plot_results(train_x, predictions, actual, filename):
plt.figure()
num_train = len(train_x)
plt.plot(list(range(num_train)), train_x, color='b', label='training data')
plt.plot(list(range(num_train, num_train + len(predictions))), predictions, color='r', label='predicted')
plt.plot(list(range(num_train, num_train + len(actual))), actual, color='g', label='test data')
plt.legend()
if filename is not None:
plt.savefig(filename)
else:
plt.show()
if __name__ == '__main__':
seq_size = 5
predictor = SeriesPredictor(input_dim=1, seq_size=seq_size, hidden_dim=100)
data = data_loader.load_series('international-airline-passengers.csv')
train_data, actual_vals = data_loader.split_data(data)
train_x, train_y = [], []
for i in range(len(train_data) - seq_size - 1):
train_x.append(np.expand_dims(train_data[i:i+seq_size], axis=1).tolist())
train_y.append(train_data[i+1:i+seq_size+1])
test_x, test_y = [], []
for i in range(len(actual_vals) - seq_size - 1):
test_x.append(np.expand_dims(actual_vals[i:i+seq_size], axis=1).tolist())
test_y.append(actual_vals[i+1:i+seq_size+1])
predictor.train(train_x, train_y, test_x, test_y)
with tf.Session() as sess:
predicted_vals = predictor.test(sess, test_x)[:,0]
print('predicted_vals', np.shape(predicted_vals))
plot_results(train_data, predicted_vals, actual_vals, 'predictions.png')
prev_seq = train_x[-1]
predicted_vals = []
for i in range(20):
next_seq = predictor.test(sess, [prev_seq])
predicted_vals.append(next_seq[-1])
prev_seq = np.vstack((prev_seq[1:], next_seq[-1]))
plot_results(train_data, predicted_vals, actual_vals, 'hallucinations.png')
step: 0 train err: 1.1629480123519897 test err: 3.1306357383728027
step: 100 train err: 0.04217047616839409 test err: 0.2424612194299698
step: 200 train err: 0.040704380720853806 test err: 0.2777576446533203
step: 300 train err: 0.03915398567914963 test err: 0.268776535987854
step: 400 train err: 0.03752052038908005 test err: 0.24271434545516968
Model saved to model.ckpt
predicted_vals (22,)
