Python实现Prophet时间序列数据建模与异常值检测(Prophet算法)项目实战

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: Python实现Prophet时间序列数据建模与异常值检测(Prophet算法)项目实战

说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。

image.png

image.png

1.项目背景

Prophet由facebook开源的基于python和R语言的数据预测工具,基于时间和变量值结合时间序列分解和机器学习的拟合来做的;其强大的对于当变量的预测能力,可以解决大部分的实际场景中的对单项值的预测。在时间序列分析领域,一般会把时间序列拆分成几个部分,分别是S(t)季节项,趋势项T(t),剩余项T(t),一般我们算法模型有两种,加法模型和乘法模型;同时乘法模型我们发现取对后也可以分解成加法模型。

Prophet适用于具有明显的内在规律的商业行为数据,例如:有如下特征的业务问题:

1.有至少几个月(最好是一年)的每小时、每天或每周观察的历史数据;

2.有多种人类规模级别的较强的季节性趋势:每周的一些天和每年的一些时间;

3.有事先知道的以不定期的间隔发生的重要节假日(比如国庆节);

4.缺失的历史数据或较大的异常数据的数量在合理范围内;

5.有历史趋势的变化(比如因为产品发布);  

6.对于数据中蕴含的非线性增长的趋势都有一个自然极限或饱和状态。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下

编号 

变量名称

描述

1

DATE

 

2

SO2

 

3

NO2

 

4

PM10

 

5

PM2

 

6

O3

 

7

CO

 

8

AQI

 

9

PRIMARY

 

数据详情如下(部分展示):

image.png

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据:

image.png

从上图可以看到,总共有9个字段。 

关键代码:

image.png

3.2缺失值统计

使用Pandas工具的info()方法统计每个特征缺失情况:

image.png

从上图可以看到,数据不存在缺失值,总数据量为355条。

关键代码:

image.png

3.3描述性统计分析

通过Pandas工具的describe()方法来来统计变量的平均值、标准差、最大值、最小值、分位数等信息:

image.png

关键代码如下:

image.png

4.探索性数据分析

4.1 PM2变量时间序列图

用Pandas工具的plot()方法进行统计绘图,如下:

image.png

从图中可以看到,变量PM2在2020年12月20日到2021年2月8日波动性最大;其它时间数值相对稳定。

4.2 PM2变量分布直方图

image.png

从图中可以看到,PM2变量成一定的偏态分布。

4.3 相关性分析

通过Pandas工具的corr()方法和seaborn工具的heatmap()方法绘制相关性热力图:

image.png

从图中可以看到,正数为正相关,负数为负相关,绝对值越大相关性越强。

5.特征工程

5.1 构建时间序列数据框

构建只包含PM2和DATE的数据框。关键代码如下:

image.png

6.构建Prophet时间序列模型

主要使用Prophet算法,用于时间序列预测与异常值检测。 

6.1模型参数

 

编号

模型名称

参数

1

 

 

Prophet时间序列模型

growth="linear"

2

daily_seasonality=False

4

weekly_seasonality=False

5

seasonality_mode='multiplicative'

6

interval_width=0.95

 

7.模型预测

输出预测结果前5行:

image.png

image.png

其中yhat列为预测值,yhat_lower和yhat_upper为95%置信区间的下边界和上边界预测值。

image.png

image.png

 

8.异常值检测

输出异常值的前5行:

image.png

从上图可以看出,异常值的数量总共13个。

 

image.png

从上图可以看到,阴影部分为95%置信区间的上下边界区域,异常值主要分布在95%置信区间上边界上面。

9.结论与展望

综上所述,本文采用了Prophet时间序列模型,最终证明了我们提出的模型效果良好

# 本次机器学习项目实战所需的资料,项目资源如下:
 
# 项目说明:
 
# 获取方式一:
 
# 项目实战合集导航:
 
https://docs.qq.com/sheet/DTVd0Y2NNQUlWcmd6?tab=BB08J2
 
# 获取方式二:
 
链接:https://pan.baidu.com/s/1sdM58c_SAfoSbWD29tilxA 
提取码:ttve
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
6天前
|
编解码 算法 Linux
Linux平台下RTSP|RTMP播放器如何跟python交互投递RGB数据供视觉算法分析
在对接Linux平台的RTSP播放模块时,需将播放数据同时提供给Python进行视觉算法分析。技术实现上,可在播放时通过回调函数获取视频帧数据,并以RGB32格式输出。利用`SetVideoFrameCallBackV2`接口设定缩放后的视频帧回调,以满足算法所需的分辨率。回调函数中,每收到一帧数据即保存为bitmap文件。Python端只需读取指定文件夹中的bitmap文件,即可进行视频数据的分析处理。此方案简单有效,但应注意控制输出的bitmap文件数量以避免内存占用过高。
|
7天前
|
JSON 算法 API
京东以图搜图功能API接口调用算法源码python
京东图搜接口是一款强大工具,通过上传图片即可搜索京东平台上的商品。适合电商平台、比价应用及需商品识别服务的场景。使用前需了解接口功能并注册开发者账号获取Key和Secret;准备好图片的Base64编码和AppKey;生成安全签名后,利用HTTP客户端发送POST请求至接口URL;最后解析JSON响应数据以获取商品信息。
|
6天前
|
算法 Python
python多继承的3C算法是什么?怎么用?
有很多地方都说python多继承的继承顺序,是按照深度遍历的方式,其实python多继承顺序的算法,不是严格意义上的深度遍历,而是基于深度遍历基础上优化出一种叫3C算法
|
7天前
|
JavaScript 算法 前端开发
国标哈希算法基础:SHA1、SHA256、SHA512、MD5 和 HMAC,Python和JS实现、加盐、算法魔改
国标哈希算法基础:SHA1、SHA256、SHA512、MD5 和 HMAC,Python和JS实现、加盐、算法魔改
45 1
|
7天前
|
机器学习/深度学习 算法 Python
python与朴素贝叶斯算法(附示例和代码)
朴素贝叶斯算法以其高效性和优良的分类性能,成为文本处理领域一项受欢迎的方法。提供的代码示例证明了其在Python语言中的易用性和实用性。尽管算法假设了特征之间的独立性,但在实际应用中,它仍然能够提供强大的分类能力。通过调整参数和优化模型,你可以进一步提升朴素贝叶斯分类器的性能。
18 0
|
7天前
|
算法 Python
【python】python基于 Q-learning 算法的迷宫游戏(源码+论文)【独一无二】
【python】python基于 Q-learning 算法的迷宫游戏(源码+论文)【独一无二】
|
Python
python检测网络延迟
#!/usr/bin/env python # coding: utf-8 # coding: cp950 ''' Create Date: 2012-11-06 Version: 1.
2350 0
|
7天前
|
算法 程序员 开发工具
百万级Python讲师又一力作!Python编程轻松进阶,豆瓣评分8.1
在学习Python的旅程中你是否正在“绝望的沙漠”里徘徊? 学完基础教程的你,是否还在为选择什么学习资料犹豫不决,不知从何入手,提高自己?
百万级Python讲师又一力作!Python编程轻松进阶,豆瓣评分8.1
|
4天前
|
算法 程序员 开发工具
百万级Python讲师又一力作!Python编程轻松进阶,豆瓣评分8.1
在学习Python的旅程中你是否正在“绝望的沙漠”里徘徊? 学完基础教程的你,是否还在为选择什么学习资料犹豫不决,不知从何入手,提高自己?
|
2天前
|
数据采集 存储 人工智能
掌握Python编程:从基础到进阶的实用指南
【8月更文挑战第17天】 本文旨在通过浅显易懂的语言和实际案例,为初学者和有一定基础的开发者提供一条清晰的Python学习路径。我们将从Python的基本语法入手,逐步深入到面向对象编程、数据科学应用及网络爬虫开发等高级主题。每个部分都配备了代码示例和实操建议,确保读者能够将理论知识转化为实际能力。无论你是编程新手,还是希望提升Python技能的开发者,这篇文章都将为你打开一扇通往高效编程世界的大门。
7 2