Python时间序列分析:使用TSFresh进行自动化特征提取

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
简介: TSFresh 是一个专门用于时间序列数据特征自动提取的框架,支持分类、回归和异常检测等机器学习任务。它通过自动化特征工程流程,处理数百个统计特征(如均值、方差、自相关性等),并通过假设检验筛选显著特征,提升分析效率。TSFresh 支持单变量和多变量时间序列数据,能够与 scikit-learn 等库无缝集成,适用于大规模时间序列数据的特征提取与模型训练。其工作流程包括数据格式转换、特征提取和选择,并提供可视化工具帮助理解特征分布及与目标变量的关系。

TSFresh(基于可扩展假设检验的时间序列特征提取)是一个专门用于时间序列数据特征自动提取的框架。该框架提取的特征可直接应用于分类、回归和异常检测等机器学习任务。TSFresh通过自动化特征工程流程,显著提升了时间序列分析的效率。

自动化特征提取过程涉及处理数百个统计特征,包括均值、方差、偏度和自相关性等,并通过统计检验方法筛选出具有显著性的特征,同时剔除冗余特征。该框架支持单变量和多变量时间序列数据处理。

TSFresh工作流程

TSFresh的基本工作流程包含以下步骤:首先将数据转换为特定格式,然后使用

extract_features

函数进行特征提取,最后可选择性地使用

select_features

函数进行特征选择。

TSFresh要求输入数据采用长格式(Long Format),每个时间序列必须包含唯一的

id

标识列。

构建示例:生成100个特征的100组时间序列观测数据

 importpandasaspd
 importnumpyasnp
 fromtsfreshimportextract_features
 fromtsfreshimportselect_features
 fromtsfresh.utilities.dataframe_functionsimportimpute
 fromtsfresh.feature_extractionimportEfficientFCParameters
 fromtsfresh.feature_extraction.feature_calculatorsimportmean
 fromsklearn.model_selectionimporttrain_test_split
 fromsklearn.ensembleimportRandomForestClassifier
 fromsklearn.metricsimportaccuracy_score, classification_report, confusion_matrix
 importmatplotlib.pyplotasplt
 importseabornassns
 # 构建大规模样本数据集
 np.random.seed(42)
 n_series=100
 n_timepoints=100
 time_series_list= []
 foriinrange(n_series):
     frequency=np.random.uniform(0.5, 2)
     phase=np.random.uniform(0, 2*np.pi)
     noise_level=np.random.uniform(0.05, 0.2)

     values=np.sin(frequency*np.linspace(0, 10, n_timepoints) +phase) +np.random.normal(0, noise_level, n_timepoints)

     df=pd.DataFrame({
         'id': i,
         'time': range(n_timepoints),
         'value': values
     })
     time_series_list.append(df)
 time_series=pd.concat(time_series_list, ignore_index=True)
 print("Original time series data:")
 print(time_series.head())
 print(f"Number of time series: {n_series}")
 print(f"Number of timepoints per series: {n_timepoints}")

接下来对生成的数据进行可视化分析:

 # 选择性可视化时间序列数据
 plt.figure(figsize=(12, 6))
 foriinrange(5):  # 绘制前5条时间序列
     plt.plot(time_series[time_series['id'] ==i]['time'], 
              time_series[time_series['id'] ==i]['value'], 
              label=f'Series {i}')
 plt.title('Sample of Time Series')
 plt.xlabel('Time')
 plt.ylabel('Value')
 plt.legend()
 plt.savefig("sample_TS.png")
 plt.show()

数据展现出预期的随机性特征,这与实际时间序列数据的特性相符。

特征提取过程

数据呈现出典型的时间序列特征,包含噪声和波动。下面使用

tsfresh.extract_features

函数执行特征提取操作。

 # 执行特征提取
 features=extract_features(time_series, column_id="id", column_sort="time", n_jobs=0)
 print("\nExtracted features:")
 print(features.head())
 # 对缺失值进行插补处理
 features_imputed=impute(features)

输出示例(部分特征):

 value__mean  value__variance  value__autocorrelation_lag_1  
 id                                                               
 1          0.465421        0.024392                     0.856201  
 2          0.462104        0.023145                     0.845318

特征选择

为提高模型效率,需要对提取的特征进行筛选。使用

select_features

函数基于统计显著性进行特征选择。

 # 构造目标变量(基于频率的二分类)
 target=pd.Series(index=range(n_series), dtype=int)
 target[features_imputed.index%2==0] =0  # 偶数索引分类
 target[features_imputed.index%2==1] =1  # 奇数索引分类
 # 执行特征选择
 selected_features=select_features(features_imputed, target)
 # 特征选择结果处理
 ifselected_features.empty:
     print("\nNo features were selected. Using all features.")
     selected_features=features_imputed
 else:
     print("\nSelected features:")
     print(selected_features.head())
 print(f"\nNumber of features: {selected_features.shape[1]}")
 print("\nNames of features (first 10):")
 print(selected_features.columns.tolist()[:10])

此过程可有效筛选出与目标变量具有显著相关性的特征。

特征应用于监督学习

特征工程的主要目的是为机器学习模型提供有效的输入变量。TSFresh可与scikit-learn等主流机器学习库无缝集成。

以下展示了特征在分类任务中的应用实例:

 # 分类模型构建
 # 数据集划分
 X_train_clf, X_test_clf, y_train_clf, y_test_clf=train_test_split(
     selected_features, target, test_size=0.2, random_state=42
 )
 # 随机森林分类器训练
 clf=RandomForestClassifier(random_state=42)
 clf.fit(X_train_clf, y_train_clf)
 # 模型评估
 y_pred_clf=clf.predict(X_test_clf)
 print("\nClassification Model Performance:")
 print(f"Accuracy: {accuracy_score(y_test_clf, y_pred_clf):.2f}")
 print("\nClassification Report:")
 print(classification_report(y_test_clf, y_pred_clf))
 # 混淆矩阵可视化
 cm=confusion_matrix(y_test_clf, y_pred_clf)
 plt.figure(figsize=(8, 6))
 sns.heatmap(cm, annot=True, fmt='d', cmap='Blues')
 plt.title('Confusion Matrix')
 plt.xlabel('Predicted')
 plt.ylabel('Actual')
 plt.savefig("confusion_matrix.png")
 plt.show()

 # 特征重要性分析
 feature_importance=pd.DataFrame({
     'feature': X_train_clf.columns,
     'importance': clf.feature_importances_
 }).sort_values('importance', ascending=False)
 print("\nTop 10 Most Important Features:")
 print(feature_importance.head(10))
 # 特征重要性可视化
 plt.figure(figsize=(12, 6))
 sns.barplot(x='importance', y='feature', data=feature_importance.head(20))
 plt.title('Top 20 Most Important Features')
 plt.xlabel('Importance')
 plt.ylabel('Feature')
 plt.savefig("feature_importance.png")
 plt.show()

多变量时间序列处理

TSFresh支持对数据集中的多个变量同时进行特征提取。

 # 多变量特征提取示例
 # 添加新的时间序列变量
 time_series["value2"] =time_series["value"] *0.5+np.random.normal(0, 0.05, len(time_series))
 # 对多个变量进行特征提取
 features_multivariate=extract_features(
     time_series, 
     column_id="id", 
     column_sort="time", 
     default_fc_parameters=EfficientFCParameters(),
     n_jobs=0
 )
 print("\nMultivariate features:")
 print(features_multivariate.head())

自定义特征提取方法

TSFresh框架允许通过

tsfresh.feature_extraction.feature_calculators

模块定制特征提取函数。

 # 多变量特征提取实现
 # 构造附加时间序列变量
 time_series["value2"] =time_series["value"] *0.5+np.random.normal(0, 0.05, len(time_series))
 # 执行多变量特征提取
 features_multivariate=extract_features(
     time_series, 
     column_id="id", 
     column_sort="time", 
     default_fc_parameters=EfficientFCParameters(),
     n_jobs=0
 )
 print("\nMultivariate features:")
 print(features_multivariate.head())

以下展示了使用matplotlib进行数据分布可视化:

 # 计算时间序列均值特征
 custom_features=time_series.groupby("id")["value"].apply(mean)
 print("\nCustom features (mean of each time series, first 5):")
 print(custom_features.head())
 # 特征分布可视化
 plt.figure(figsize=(10, 6))
 sns.histplot(custom_features, kde=True)
 plt.title('Distribution of Mean Values for Each Time Series')
 plt.xlabel('Mean Value')
 plt.ylabel('Count')
 plt.savefig("dist_of_means_TS.png")
 plt.show()

 # 特征与目标变量关系可视化
 plt.figure(figsize=(10, 6))
 sns.scatterplot(x=custom_features, y=target)
 plt.title('Relationship between Mean Values and Target')
 plt.xlabel('Mean Value')
 plt.ylabel('Target')
 plt.savefig("means_v_target_TS.png")
 plt.show()

总结

TSFresh在时间序列特征工程领域展现出显著优势。通过自动化特征生成机制,它为下游机器学习任务提供了丰富的特征输入。但是需要注意的是,大量自动生成的特征可能导致过拟合问题,这一方面仍需进一步的实证研究验证。

https://avoid.overfit.cn/post/5730b6960bca45f9b89ce5393afb7005

作者:Kyle Jones

目录
相关文章
|
18天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
96 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
27天前
|
缓存 Rust 算法
从混沌到秩序:Python的依赖管理工具分析
Python 的依赖管理工具一直没有标准化,主要原因包括历史发展的随意性、社区的分散性、多样化的使用场景、向后兼容性的挑战、缺乏统一治理以及生态系统的快速变化。依赖管理工具用于处理项目中的依赖关系,确保不同环境下的依赖项一致性,避免软件故障和兼容性问题。常用的 Python 依赖管理工具如 pip、venv、pip-tools、Pipenv、Poetry 等各有优缺点,选择时需根据项目需求权衡。新工具如 uv 和 Pixi 在性能和功能上有所改进,值得考虑。
84 35
|
28天前
|
数据采集 数据可视化 数据挖掘
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
本文探讨了金融资产波动率建模中的三种主流方法:GARCH、GJR-GARCH和HAR模型,基于SPY的实际交易数据进行实证分析。GARCH模型捕捉波动率聚类特征,GJR-GARCH引入杠杆效应,HAR整合多时间尺度波动率信息。通过Python实现模型估计与性能比较,展示了各模型在风险管理、衍生品定价等领域的应用优势。
248 66
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
|
1月前
|
数据采集 缓存 API
python爬取Boss直聘,分析北京招聘市场
本文介绍了如何使用Python爬虫技术从Boss直聘平台上获取深圳地区的招聘数据,并进行数据分析,以帮助求职者更好地了解市场动态和职位需求。
|
3月前
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
190 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
|
5月前
|
IDE 测试技术 持续交付
Python自动化测试与单元测试框架:提升代码质量与效率
【9月更文挑战第3天】随着软件行业的迅速发展,代码质量和开发效率变得至关重要。本文探讨了Python在自动化及单元测试中的应用,介绍了Selenium、Appium、pytest等自动化测试框架,以及Python标准库中的unittest单元测试框架。通过详细阐述各框架的特点与使用方法,本文旨在帮助开发者掌握编写高效测试用例的技巧,提升代码质量与开发效率。同时,文章还提出了制定测试计划、持续集成与测试等实践建议,助力项目成功。
117 5
|
6月前
|
测试技术 API 开发者
Python 魔法:打造你的第一个天气查询小工具自动化测试框架的构建与实践
【8月更文挑战第31天】在这篇文章中,我们将一起踏上编程的奇妙旅程。想象一下,只需几行代码,就能让计算机告诉你明天是否要带伞。是的,你没有听错,我们将用Python这把钥匙,解锁天气预报的秘密。不论你是编程新手还是想拓展技能的老手,这篇文章都会为你带来新的视角和灵感。所以,拿起你的键盘,让我们一起创造属于自己的天气小工具吧!
|
6月前
|
机器学习/深度学习 数据采集 测试技术
利用Python实现简单的机器学习模型软件测试的艺术与科学:探索自动化测试框架的奥秘
【8月更文挑战第27天】在本文中,我们将一起探索如何通过Python编程语言创建一个简单的机器学习模型。我们将使用scikit-learn库中的线性回归模型作为示例,并通过一个实际的数据集来训练我们的模型。文章将详细解释每一步的过程,包括数据预处理、模型训练和预测结果的评估。最后,我们会用代码块展示整个过程,确保读者能够跟随步骤实践并理解每个阶段的重要性。
|
6月前
|
JSON jenkins 测试技术
Python接口自动化测试框架(工具篇)-- 接口测试工具HTTPRUNNER
本文介绍了Python接口自动化测试框架HTTPRunner,包括其安装、使用方法,并通过实际操作演示了如何利用HTTPRunner进行接口测试,同时还探讨了HTTPRunner作为接口自动化测试解决方案的可能性和实用性。
128 0
|
6月前
|
存储 测试技术 数据库
Python接口自动化测试框架(练习篇)-- 函数编程(一)
本文通过实际的编程练习,讲解了面向过程编程的概念和应用,包括如何定义函数、处理文件读写以及实现用户注册功能,最终将这些过程封装成函数,体现了Python作为脚本语言的面向过程编程特性。
54 2

推荐镜像

更多