TF之LSTM:利用基于顺序的LSTM回归算法对DIY数据集sin曲线(蓝虚)预测cos(红实)(matplotlib动态演示)—daiding

简介: TF之LSTM:利用基于顺序的LSTM回归算法对DIY数据集sin曲线(蓝虚)预测cos(红实)(matplotlib动态演示)—daiding

输出结果

image.png





代码设计


import tensorflow as tf

import numpy as np

import matplotlib.pyplot as plt

BATCH_START = 0  

TIME_STEPS = 20    

BATCH_SIZE = 50    

INPUT_SIZE = 1      

OUTPUT_SIZE = 1    

CELL_SIZE = 10      

LR = 0.006      

BATCH_START_TEST = 0

def get_batch():    

   global BATCH_START, TIME_STEPS

   # xs shape (50batch, 20steps)

   xs = np.arange(BATCH_START, BATCH_START+TIME_STEPS*BATCH_SIZE).reshape((BATCH_SIZE, TIME_STEPS)) / (10*np.pi)

   seq = np.sin(xs)

   res = np.cos(xs)

   BATCH_START += TIME_STEPS

   return [seq[:, :, np.newaxis], res[:, :, np.newaxis], xs]

class LSTMRNN(object):  

   def __init__(self, n_steps, input_size, output_size, cell_size, batch_size):

       self.n_steps = n_steps

       self.input_size = input_size

       self.output_size = output_size

       self.cell_size = cell_size

       self.batch_size = batch_size

       with tf.name_scope('inputs'):

           self.xs = tf.placeholder(tf.float32, [None, n_steps, input_size], name='xs')

           self.ys = tf.placeholder(tf.float32, [None, n_steps, output_size], name='ys')

       with tf.variable_scope('in_hidden'):

           self.add_input_layer()

       with tf.variable_scope('LSTM_cell'):

           self.add_cell()

       with tf.variable_scope('out_hidden'):

           self.add_output_layer()

       with tf.name_scope('cost'):

           self.compute_cost()      

       with tf.name_scope('train'):

           self.train_op = tf.train.AdamOptimizer(LR).minimize(self.cost)

         

   def add_input_layer(self,):  

       l_in_x = tf.reshape(self.xs, [-1, self.input_size], name='2_2D')

       Ws_in = self._weight_variable([self.input_size, self.cell_size])

       bs_in = self._bias_variable([self.cell_size,])

       with tf.name_scope('Wx_plus_b'):

           l_in_y = tf.matmul(l_in_x, Ws_in) + bs_in

       self.l_in_y = tf.reshape(l_in_y, [-1, self.n_steps, self.cell_size], name='2_3D')

     

   def add_cell(self):      

       lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(self.cell_size, forget_bias=1.0, state_is_tuple=True)

       with tf.name_scope('initial_state'):

           self.cell_init_state = lstm_cell.zero_state(self.batch_size, dtype=tf.float32)

       self.cell_outputs, self.cell_final_state = tf.nn.dynamic_rnn(

           lstm_cell, self.l_in_y, initial_state=self.cell_init_state, time_major=False)  

         

   def add_output_layer(self):  

       l_out_x = tf.reshape(self.cell_outputs, [-1, self.cell_size], name='2_2D')

       Ws_out = self._weight_variable([self.cell_size, self.output_size])

       bs_out = self._bias_variable([self.output_size, ])

       with tf.name_scope('Wx_plus_b'):

           self.pred = tf.matmul(l_out_x, Ws_out) + bs_out

   def compute_cost(self):

       losses = tf.contrib.legacy_seq2seq.sequence_loss_by_example(

           [tf.reshape(self.pred, [-1], name='reshape_pred')],

           [tf.reshape(self.ys, [-1], name='reshape_target')],

           [tf.ones([self.batch_size * self.n_steps], dtype=tf.float32)],

           average_across_timesteps=True,

           softmax_loss_function=self.ms_error,

           name='losses'

       )

       with tf.name_scope('average_cost'):

           self.cost = tf.div(

               tf.reduce_sum(losses, name='losses_sum'),

               self.batch_size,

               name='average_cost')

           tf.summary.scalar('cost', self.cost)

   def ms_error(self, y_target, y_pre):  

       return tf.square(tf.sub(y_target, y_pre))

   def _weight_variable(self, shape, name='weights'):

       initializer = tf.random_normal_initializer(mean=0., stddev=1.,)

       return tf.get_variable(shape=shape, initializer=initializer, name=name)

   def _bias_variable(self, shape, name='biases'):

       initializer = tf.constant_initializer(0.1)

       return tf.get_variable(name=name, shape=shape, initializer=initializer)

 

if __name__ == '__main__':  

   model = LSTMRNN(TIME_STEPS, INPUT_SIZE, OUTPUT_SIZE, CELL_SIZE, BATCH_SIZE)

   sess = tf.Session()

   merged=tf.summary.merge_all()

   writer=tf.summary.FileWriter("niu0127/logs0127",sess.graph)

   sess.run(tf.initialize_all_variables())

 

plt.ion()  

plt.show()

 

for i in range(200):

     seq, res, xs = get_batch()

     if i == 0:

         feed_dict = {

                 model.xs: seq,

                 model.ys: res,

         }

     else:

         feed_dict = {

             model.xs: seq,

             model.ys: res,

             model.cell_init_state: state  

         }

     _, cost, state, pred = sess.run(

         [model.train_op, model.cost, model.cell_final_state, model.pred],

         feed_dict=feed_dict)

     plt.plot(xs[0,:],res[0].flatten(),'r',xs[0,:],pred.flatten()[:TIME_STEPS],'g--')

     plt.title('Matplotlib,RNN,Efficient learning,Approach,Cosx --Jason Niu')

     plt.ylim((-1.2,1.2))

     plt.draw()

     plt.pause(0.1)  



相关文章
|
1月前
|
机器学习/深度学习 算法 数据挖掘
【MATLAB】tvf_emd_ MFE_SVM_LSTM 神经网络时序预测算法
【MATLAB】tvf_emd_ MFE_SVM_LSTM 神经网络时序预测算法
53 2
|
2天前
|
机器学习/深度学习 自然语言处理 前端开发
深度学习-[源码+数据集]基于LSTM神经网络黄金价格预测实战
深度学习-[源码+数据集]基于LSTM神经网络黄金价格预测实战
|
7天前
|
机器学习/深度学习 存储 人工智能
算法金 | LSTM 原作者带队,一个强大的算法模型杀回来了
**摘要:** 本文介绍了LSTM(长短期记忆网络)的发展背景和重要性,以及其创始人Sepp Hochreiter新推出的xLSTM。LSTM是为解决传统RNN长期依赖问题而设计的,广泛应用于NLP和时间序列预测。文章详细阐述了LSTM的基本概念、核心原理、实现方法和实际应用案例,包括文本生成和时间序列预测。此外,还讨论了LSTM与Transformer的竞争格局。最后,鼓励读者深入学习和探索AI领域。
20 7
算法金 | LSTM 原作者带队,一个强大的算法模型杀回来了
|
1月前
|
算法 网络协议 数据建模
【计算机网络】—— IP协议及动态路由算法(下)
【计算机网络】—— IP协议及动态路由算法(下)
21 0
|
1月前
|
算法 网络协议 数据建模
【计算机网络】—— IP协议及动态路由算法(上)
【计算机网络】—— IP协议及动态路由算法(上)
19 0
|
1月前
|
机器学习/深度学习 自然语言处理 算法
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
|
1月前
|
编解码 算法 数据可视化
【视频】时间序列分类方法:动态时间规整算法DTW和R语言实现
【视频】时间序列分类方法:动态时间规整算法DTW和R语言实现
|
1月前
|
机器学习/深度学习 算法 数据可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
|
1月前
|
机器学习/深度学习 算法 数据可视化
R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
R语言样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
|
1月前
|
机器学习/深度学习 算法 Python
LSTM(长短期记忆)网络的算法介绍及数学推导
LSTM(长短期记忆)网络的算法介绍及数学推导
39 0