几行 Python 代码就可以提取数百个时间序列特征

简介: 几行 Python 代码就可以提取数百个时间序列特征

时间序列数据是随着时间的推移反复捕获的变量值,随着时间的推移可以产生一系列的按时间顺序索引的数据点。在时间序列中,数据具有自然的时间顺序,即一个变量在特定时间的值依赖于过去的值。

传统的机器学习算法不能捕捉时间序列数据的时间顺序。数据科学家需要执行相关的特征工程,将数据的重要特征捕获到几个指标中。生成大量的时间序列特征并从中提取相关特征是一项耗时且繁琐的工作。
python的tsfresh包可以为时间序列数据生成标准的数百个通用特性。在本文中,我们将深入讨论tsfresh包的使用。
tsfresh 是一个可以生成数百个相关的时间序列特征的开源包。从 tsfresh 生成的特征可用于解决分类、预测和异常值检测用例。
tsfresh 包提供了对时间序列数据执行特征工程的各种功能,包括:

  • 特征生成
  • 特征选择
  • 与大数据的兼容性


安装tsfresh 也非常的简单,官方提供了pip和conda的安装方式:


pip install -U tsfresh # or conda install -c conda-forge tsfresh


1、特征生成
tsfresh 包提供了一个自动特征生成 API,可以从 1 个时间序列变量中生成 750 多个相关特征。生成的特征广泛,包括:

  • 描述性统计(平均值、最大值、相关性等)
  • 基于物理的非线性和复杂性指标
  • 数字信号处理相关功能
  • 历史压缩特征


使用 tsfresh.extract_features() 函数可以为 1 个时间序列变量从多个域生成 789 个特征。

import pandas as pd from tsfresh import select_features
 # Read the time-series data df = pd.read_excel("train.xlsx", parse_dates=['date']).set_index('date')
 # automated feature generation features = tsfresh.extract_features(df, column_id="date", column_sort="date")


因为特征太多,所以具体的所有特征的介绍请查看官方文档。
2、特征选择
tsfresh 包还提供了一个基于假设检验的特征选择实现,可以用于识别目标变量的相关特征。为了限制不相关特征的数量,tsfresh 包含了fresh算法(fresh 代表基于可扩展假设测试的特征提取)。
tsfresh.select_features() 函数用户可以实现特征选择。
3、兼容大数据
当我们有大量的时间序列数据时。tsfresh还提供api来扩展特征的生成/提取,以及针对大量数据的特征选择实现:

  • 多线程处理:默认tsfresh包可以将特征生成/提取和特征选择在多核上并行执行。
  • 分布式框架:tsfresh还实现了一个自己的分布式框架,将特征计算分布在多台机器上加快计算速度。
  • Spark兼容:tsfresh还可以使用spark或Dask来处理非常大的数据。


最后总结,tsfresh可以通过几行Python代码中为时间序列特性生成和选择相关特性。
它会自动从基于时间的数据样本的多个域中提取和选择 750 +个经过实际测试的特征。它减少了数据科学家浪费在特征工程上的大量工作时间。
并且时间序列数据是相当大的,tsfresh 也通过多线程、支持dask和spark来处理单机处理不了的大数据样本。

相关文章
|
4天前
|
存储 人工智能 开发工具
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
只需要通过向AI助理提问的方式输入您的需求,即可瞬间获得核心流程代码及参数,缩短学习路径、提升开发效率。
79 0
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
|
15天前
|
Python
以下是一些常用的图表类型及其Python代码示例,使用Matplotlib和Seaborn库。
以下是一些常用的图表类型及其Python代码示例,使用Matplotlib和Seaborn库。
|
4天前
|
算法 开发者 计算机视觉
燃爆全场!Python并查集:数据结构界的网红,让你的代码炫酷无比!
在编程的世界里,总有一些数据结构以其独特的魅力和高效的性能脱颖而出,成为众多开发者追捧的“网红”。今天,我们要介绍的这位明星,就是Python中的并查集(Union-Find)——它不仅在解决特定问题上大放异彩,更以其优雅的设计和强大的功能,让你的代码炫酷无比,燃爆全场!
15 0
|
2天前
|
测试技术 开发者 Python
Python中的装饰器:简化代码,增强功能
在Python编程世界中,装饰器是一个强大的工具,它允许我们在不修改原有函数代码的情况下增加额外的功能。本文将通过简明的语言和实际的代码示例,引导你理解装饰器的基本概念、使用方法及其在实际应用中的巨大潜力。无论你是初学者还是有一定经验的开发者,这篇文章都将帮助你更高效地使用Python进行编程。
|
10天前
|
数据安全/隐私保护 Python
探索Python中的装饰器:简化代码,提升效率
【9月更文挑战第32天】在Python编程世界中,装饰器是一个强大的工具,它允许我们在不改变函数源代码的情况下增加函数的功能。本文将通过直观的例子和代码片段,引导你理解装饰器的概念、使用方法及其背后的魔法,旨在帮助你写出更加优雅且高效的代码。
|
4天前
|
缓存 测试技术 开发者
探索Python中的装饰器:提升代码的灵活性和可维护性
在Python编程中,装饰器是一种强大且灵活的工具,它允许开发者在不修改现有代码的基础上,为函数或类添加额外的功能。本文将深入探讨装饰器的定义、使用场景以及如何创建自定义装饰器。通过实用的示例,我们将展示如何利用装饰器来增强代码的可重用性和可读性。
|
4天前
|
小程序 iOS开发 MacOS
将Python代码转化为可执行的程序
将Python代码转化为可执行的程序
14 1
|
5天前
|
缓存 数据安全/隐私保护 开发者
探索Python中的装饰器:提升代码效率与可读性
在本文中,我们将深入探讨Python中的装饰器——一种能够修改或增强函数行为的强大工具。通过详细讲解装饰器的定义、使用方法以及实际案例分析,我们希望能够帮助读者更好地理解和应用这一技术,从而编写出更加高效和易读的代码。无论是初学者还是经验丰富的开发者,都能从本文中获得有价值的见解和技巧。
|
8天前
|
大数据 Python
Python 高级编程:深入探索高级代码实践
本文深入探讨了Python的四大高级特性:装饰器、生成器、上下文管理器及并发与并行编程。通过装饰器,我们能够在不改动原函数的基础上增添功能;生成器允许按需生成值,优化处理大数据;上下文管理器确保资源被妥善管理和释放;多线程等技术则助力高效完成并发任务。本文通过具体代码实例详细解析这些特性的应用方法,帮助读者提升Python编程水平。
32 5
|
6天前
|
设计模式 缓存 测试技术
探索Python中的装饰器:提升代码效率与可读性
本文深入探讨Python装饰器的概念、使用方法和实际应用场景。通过详细讲解和示例,读者将学会如何利用装饰器简化代码、增强功能模块的可重用性,并提高开发效率。无论是初学者还是经验丰富的开发者,都能从中获得有价值的见解和实用的编程技巧。
13 1