几行 Python 代码就可以提取数百个时间序列特征

简介: 几行 Python 代码就可以提取数百个时间序列特征

时间序列数据是随着时间的推移反复捕获的变量值,随着时间的推移可以产生一系列的按时间顺序索引的数据点。在时间序列中,数据具有自然的时间顺序,即一个变量在特定时间的值依赖于过去的值。

传统的机器学习算法不能捕捉时间序列数据的时间顺序。数据科学家需要执行相关的特征工程,将数据的重要特征捕获到几个指标中。生成大量的时间序列特征并从中提取相关特征是一项耗时且繁琐的工作。
python的tsfresh包可以为时间序列数据生成标准的数百个通用特性。在本文中,我们将深入讨论tsfresh包的使用。
tsfresh 是一个可以生成数百个相关的时间序列特征的开源包。从 tsfresh 生成的特征可用于解决分类、预测和异常值检测用例。
tsfresh 包提供了对时间序列数据执行特征工程的各种功能,包括:

  • 特征生成
  • 特征选择
  • 与大数据的兼容性


安装tsfresh 也非常的简单,官方提供了pip和conda的安装方式:


pip install -U tsfresh # or conda install -c conda-forge tsfresh


1、特征生成
tsfresh 包提供了一个自动特征生成 API,可以从 1 个时间序列变量中生成 750 多个相关特征。生成的特征广泛,包括:

  • 描述性统计(平均值、最大值、相关性等)
  • 基于物理的非线性和复杂性指标
  • 数字信号处理相关功能
  • 历史压缩特征


使用 tsfresh.extract_features() 函数可以为 1 个时间序列变量从多个域生成 789 个特征。

import pandas as pd from tsfresh import select_features
 # Read the time-series data df = pd.read_excel("train.xlsx", parse_dates=['date']).set_index('date')
 # automated feature generation features = tsfresh.extract_features(df, column_id="date", column_sort="date")


因为特征太多,所以具体的所有特征的介绍请查看官方文档。
2、特征选择
tsfresh 包还提供了一个基于假设检验的特征选择实现,可以用于识别目标变量的相关特征。为了限制不相关特征的数量,tsfresh 包含了fresh算法(fresh 代表基于可扩展假设测试的特征提取)。
tsfresh.select_features() 函数用户可以实现特征选择。
3、兼容大数据
当我们有大量的时间序列数据时。tsfresh还提供api来扩展特征的生成/提取,以及针对大量数据的特征选择实现:

  • 多线程处理:默认tsfresh包可以将特征生成/提取和特征选择在多核上并行执行。
  • 分布式框架:tsfresh还实现了一个自己的分布式框架,将特征计算分布在多台机器上加快计算速度。
  • Spark兼容:tsfresh还可以使用spark或Dask来处理非常大的数据。


最后总结,tsfresh可以通过几行Python代码中为时间序列特性生成和选择相关特性。
它会自动从基于时间的数据样本的多个域中提取和选择 750 +个经过实际测试的特征。它减少了数据科学家浪费在特征工程上的大量工作时间。
并且时间序列数据是相当大的,tsfresh 也通过多线程、支持dask和spark来处理单机处理不了的大数据样本。

目录
相关文章
|
2月前
|
存储 算法 调度
【复现】【遗传算法】考虑储能和可再生能源消纳责任制的售电公司购售电策略(Python代码实现)
【复现】【遗传算法】考虑储能和可再生能源消纳责任制的售电公司购售电策略(Python代码实现)
173 26
|
2月前
|
测试技术 开发者 Python
Python单元测试入门:3个核心断言方法,帮你快速定位代码bug
本文介绍Python单元测试基础,详解`unittest`框架中的三大核心断言方法:`assertEqual`验证值相等,`assertTrue`和`assertFalse`判断条件真假。通过实例演示其用法,帮助开发者自动化检测代码逻辑,提升测试效率与可靠性。
284 1
|
2月前
|
机器学习/深度学习 算法 调度
基于多动作深度强化学习的柔性车间调度研究(Python代码实现)
基于多动作深度强化学习的柔性车间调度研究(Python代码实现)
154 1
|
1月前
|
测试技术 Python
Python装饰器:为你的代码施展“魔法”
Python装饰器:为你的代码施展“魔法”
230 100
|
1月前
|
开发者 Python
Python列表推导式:一行代码的艺术与力量
Python列表推导式:一行代码的艺术与力量
322 95
|
2月前
|
Python
Python的简洁之道:5个让代码更优雅的技巧
Python的简洁之道:5个让代码更优雅的技巧
226 104
|
2月前
|
开发者 Python
Python神技:用列表推导式让你的代码更优雅
Python神技:用列表推导式让你的代码更优雅
417 99
|
1月前
|
缓存 Python
Python装饰器:为你的代码施展“魔法
Python装饰器:为你的代码施展“魔法
148 88
|
2月前
|
IDE 开发工具 开发者
Python类型注解:提升代码可读性与健壮性
Python类型注解:提升代码可读性与健壮性
256 102
|
1月前
|
监控 机器人 编译器
如何将python代码打包成exe文件---PyInstaller打包之神
PyInstaller可将Python程序打包为独立可执行文件,无需用户安装Python环境。它自动分析代码依赖,整合解释器、库及资源,支持一键生成exe,方便分发。使用pip安装后,通过简单命令即可完成打包,适合各类项目部署。

推荐镜像

更多