数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子

简介: 数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子

原文链接:http://tecdat.cn?p=26519 


一个简单的编码器-解码器LSTM神经网络应用于时间序列预测问题:预测天然气价格,预测范围为 10 天。“进入”时间步长也设置为 10 天。) 只需要 10 天来推断接下来的 10 天。可以使用 10 天的历史数据集以在线学习的方式重新训练网络。

数据集是天然气价格查看文末了解数据获取方式 ,具有以下特征:

  • 日期(从 1997 年到 2020 年)- 为 每天数据
  • 以元计的天然气价格


相关视频:LSTM神经网络架构和工作原理及其在Python中的预测应用


读取数据并将日期作为索引处理


# 固定日期时间并设置为索引
dftet.index = pd.DatetimeIndex
# 用NaN来填补缺失的日期(以后再补)
dargt = f\_arget.reindex(ales, fill\_value=np.nan)
# 检查
print(d_tret.dtypes)
df_aget.head(10)


处理缺失的日期


# 数据归纳(使用 "向前填充"--根据之前的值进行填充)。
dfaet.fillna(method='ffill', inplace=True)


特征工程


因为我们正在使用深度学习,所以特征工程将是最小的。

  • One-hot 编码“is_weekend”和星期几
  • 添加行的最小值和最大值(可选)

通过设置固定的上限(例如 30 倍中位数)修复异常高的值

# 在df_agg中修复任何非常高的值 - 归一化为中值
for col in co\_to\_fi_ies:
    dgt\[col\] = fixnaes(dftget\[col\])


添加滞后

# 增加每周的滞后性
df\_tret = addag(d\_aget, tare\_arble='Price', step\_ak=7)
# 增加30天的滞后性
df\_get = ad\_ag(df\_ret, tagt\_able='Price', sep_bck=30)

# 合并后删除任何有NA值的列
d_gt.dropna(inplace=True)
print(dfget.shape)
tie\_nx = df\_art.index

归一化


  • 归一化或最小-最大尺度(需要减小较宽的数值范围,以便 LSTM 收敛)。

# 标准化训练数据\[0, 1\]

sclr = prcsing.Maxcaer((0,1))

准备训练数据集


  • 时间步数 = 1
  • 时间步数 = nsteout小时数(预测范围)

在这里,我们将数据集从 [samples, features] 转换为 [samples, steps, features] - 与算法 LSTM 一起使用的维度。下面的序列拆分使用“walk-forward”方法来创建训练数据集。

# 多变量多步骤编码器-解码器 lstm 示例
# 选择一个时间步骤的数量
# 维度变成\[样本数、步骤、特征\]
X, y = splices(datasformed, n\_ep\_in, n\_ep\_out)
# 分成训练/测试
et_ut = int(0.05*X.shpe\[0\])
X\_tain, X\_est, ytrain, y\_tst = X\[:-tetaont\], X\[-tes\_ont:\], y\[:-tstmunt\], y\[-es_unt:\]

训练模型

这利用了长期短期记忆算法。

# 实例化和训练模型

print

model = cre\_odel(n\_tps\_in, n\_tep\_out, n\_feures, lerig_rate=0.0001)


探索预测

%%time
#加载特定的模型
model = lod\_id\_del(
                           n_stepin, 
                           n\_sep\_out,
                           X_tan.shape\[2\])

# 展示对一个样本的预测

testle_ix = 0
yat = mdel.predict(X\_tet\[est\_amle\_ix\].reshape((1,n\_sep_in, nfatues)),erbose=Tue)

# 计算这一个测试样本的均方根误差
rmse = math.sqrt

plot\_result(yhat\[0\], scaler, saved\_columns)


点击标题查阅往期内容


Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析


01

02

03

04



平均 RMSE

# 收集所有的测试RMSE值
rmesores = \[\]
for i in range:
    yhat = oel.predict(Xtet\[i\].reshape((1, \_stes\_in, _faues)), verbose=False)
    # 计算这一个测试样本的均方根误差
    rmse = math.sqrt(mensqaerror(yhat\[0\], y_test\[i\]))


训练整个数据集

#在所有数据上实例化和训练模型
modl\_l = cret\_mel(nsep\_in, steps\_ou, n_etures,learnnrate=0.0001)
mde\_all, ru\_ime, weighfie = trin(md_all, X, y, batcsie=16, neohs=15)

样本内预测


注意:模型已经“看到”或训练了这些样本,但我们希望确保它与预测一致。如果它做得不好,模型可能会欠拟合或过拟合。要尝试的事情:

  • 增加或减少批量大小
  • 增加或减少学习率
  • 更改网络中 LSTM 的隐藏层数
# 获得10个步
da\_cent = dfret.iloc\[-(ntes\_in*2):-nsps_in\]
# 标准化
dta_ectormed = sclr.rasfrm(daareent)
# 维度变成\[样本数、步骤、特征\]
n_res = dtcentorm.shape\[1\]
X\_st = data\_recn\_trsrd.reshape((1, n\_tps\_n, n\_feares))
# 预测
foecst = mlll.predict(X_past)
# 扩大规模并转换为DF
forcast = forast.resape(n_eaturs))
foect = saer.inese_transform(forecast)
fuure\_dtes  df\_targe.ide\[-n\_steps\_out:\]
# 绘图
histrcl = d_aet.ioc\[-100:, :1\] # 获得历史数据的X步回溯
for i in ane(oisae\[1\]):
    fig = plt.igre(fgze=(10,5))
    
    # 绘制df_agg历史数据
    plt.plot(.iloc\[:,i\]
    
    # 绘制预测图
    plt.plot(frc.iloc\[:,i\])
    # 标签和图例
    plt.xlabel

预测样本外

# 获取最后10步
dtareent = dfargt.iloc\[-nstpsin:\]。
# 标准化
dta\_ecntranfomed = scaler.trasorm(data\_recent)
# 预测
forct = meall.rict(_past)
# 扩大规模并转换为DF
foreast = foecs.eshape(\_seps\_ut, n_eatures))
foreast = sclerinvers_tranorm(focast)
futur\_daes = pd.daternge(df\_argetinex\[-1\], priods=step_out, freq='D')
# 绘图
htrical = df_taet.iloc\[-100:, :1\] # 获得历史数据的X步回溯
# 绘制预测图
    plt.plot(fectoc\[:,i\])

相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
眼疾识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了4种常见的眼疾图像数据集(白内障、糖尿病性视网膜病变、青光眼和正常眼睛) 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,实现用户上传一张眼疾图片识别其名称。
130 5
基于Python深度学习的眼疾识别系统实现~人工智能+卷积网络算法
|
2月前
|
机器学习/深度学习 人工智能 算法
猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
宠物识别系统使用Python和TensorFlow搭建卷积神经网络,基于37种常见猫狗数据集训练高精度模型,并保存为h5格式。通过Django框架搭建Web平台,用户上传宠物图片即可识别其名称,提供便捷的宠物识别服务。
350 55
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python实现基于矩阵分解的长期事件(MFLEs)时间序列分析
在现代数据分析中,高维时间序列数据的处理和预测极具挑战性。基于矩阵分解的长期事件(MFLEs)分析技术应运而生,通过降维和时间序列特性结合,有效应对大规模数据。MFLE利用矩阵分解提取潜在特征,降低计算复杂度,过滤噪声,并发现主要模式。相比传统方法如ARIMA和深度学习模型如LSTM,MFLE在多变量处理、计算效率和可解释性上更具优势。通过合理应用MFLE,可在物联网、金融等领域获得良好分析效果。
62 0
使用Python实现基于矩阵分解的长期事件(MFLEs)时间序列分析
|
5天前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
42 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
1月前
|
数据可视化 算法 数据挖掘
Python时间序列分析工具Aeon使用指南
**Aeon** 是一个遵循 scikit-learn API 风格的开源 Python 库,专注于时间序列处理。它提供了分类、回归、聚类、预测建模和数据预处理等功能模块,支持多种算法和自定义距离度量。Aeon 活跃开发并持续更新至2024年,与 pandas 1.4.0 版本兼容,内置可视化工具,适合数据探索和基础分析任务。尽管在高级功能和性能优化方面有提升空间,但其简洁的 API 和完整的基础功能使其成为时间序列分析的有效工具。
79 37
Python时间序列分析工具Aeon使用指南
|
1月前
|
机器学习/深度学习 运维 数据可视化
Python时间序列分析:使用TSFresh进行自动化特征提取
TSFresh 是一个专门用于时间序列数据特征自动提取的框架,支持分类、回归和异常检测等机器学习任务。它通过自动化特征工程流程,处理数百个统计特征(如均值、方差、自相关性等),并通过假设检验筛选显著特征,提升分析效率。TSFresh 支持单变量和多变量时间序列数据,能够与 scikit-learn 等库无缝集成,适用于大规模时间序列数据的特征提取与模型训练。其工作流程包括数据格式转换、特征提取和选择,并提供可视化工具帮助理解特征分布及与目标变量的关系。
70 16
Python时间序列分析:使用TSFresh进行自动化特征提取
|
24天前
|
安全 Linux 网络安全
利用Python脚本自动备份网络设备配置
通过本文的介绍,我们了解了如何利用Python脚本自动备份网络设备配置。该脚本使用 `paramiko`库通过SSH连接到设备,获取并保存配置文件。通过定时任务调度,可以实现定期自动备份,确保网络设备配置的安全和可用。希望这些内容能够帮助你在实际工作中实现网络设备的自动化备份。
49 14
|
2月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
220 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
1月前
|
机器学习/深度学习 算法 计算机视觉
基于CNN卷积神经网络的金融数据预测matlab仿真,对比BP,RBF,LSTM
本项目基于MATLAB2022A,利用CNN卷积神经网络对金融数据进行预测,并与BP、RBF和LSTM网络对比。核心程序通过处理历史价格数据,训练并测试各模型,展示预测结果及误差分析。CNN通过卷积层捕捉局部特征,BP网络学习非线性映射,RBF网络进行局部逼近,LSTM解决长序列预测中的梯度问题。实验结果表明各模型在金融数据预测中的表现差异。
117 10
|
2月前
|
算法 网络协议 Python
探秘Win11共享文件夹之Python网络通信算法实现
本文探讨了Win11共享文件夹背后的网络通信算法,重点介绍基于TCP的文件传输机制,并提供Python代码示例。Win11共享文件夹利用SMB协议实现局域网内的文件共享,通过TCP协议确保文件传输的完整性和可靠性。服务器端监听客户端连接请求,接收文件请求并分块发送文件内容;客户端则连接服务器、接收数据并保存为本地文件。文中通过Python代码详细展示了这一过程,帮助读者理解并优化文件共享系统。

热门文章

最新文章