HANTS时间序列滤波算法的MATLAB实现

简介: HANTS时间序列滤波算法的MATLAB实现

  本文介绍在MATLAB中,实现基于HANTS算法(时间序列谐波分析法)的长时间序列数据去噪、重建、填补的详细方法。

  HANTS(Harmonic Analysis of Time Series)是一种用于时间序列分析和插值的算法。它基于谐波分析原理,可以从观测数据中提取出周期性变化的信号成分,并进行数据插值和去噪处理。这一算法的主要思想是将时间序列数据分解为多个不同频率的谐波成分,并通过拟合这些成分来重构原始数据。该算法适用于具有任意周期性的时间序列,可以处理缺失值和异常值,并能够保留原始数据的整体趋势和周期性。

  那么在本文中,我们就介绍一下在MATLAB中,基于我们自己的数据,进行HANTS算法处理的方法。

  首先,由于HANTS算法整体非常精密、复杂,因此我们直接下载一位MATLAB用户撰写好的HANTS算法代码包即可,无需自己手动撰写这一部分的代码。下载方法也很简单,大家进入HANTS算法代码包在MATLAB官方网站https://www.mathworks.com/matlabcentral/fileexchange/38841-matlab-implementation-of-harmonic-analysis-of-time-series-hants)即可。进入网站后,如果大家是第一次使用MATLAB的官方网站,需要注册、登录一下自己的账号;随后,选择屏幕右上角的“Download”选项即可;如下图所示。

  下载完毕后,我们将压缩包解压,即可看到如下图所示的文件列表。

  其中,实现HANTS算法的程序其实就是上图中的前两个文件(也就是ApplyHants.m文件与HANTS.m文件),作者将HANTS算法写成了这两个函数,我们在使用时直接调用这两个函数中的一个即可。其中,第一个函数,也就是ApplyHants.m文件对应的函数,适用于输入数据为多维的情况;而如果我们的数据是一维的,例如常见的对NDVI时序数据、遥感反射率时序数据加以重建,那么就用上图中第二个函数,也就是HANTS.m文件对应的函数即可。

  接下来,我们就可以开始对自己的数据加以HANTS算法处理了。在本文中,我们的需求是这样的:在一个文件夹中,包含有大量的.csv文件,其中每一个文件都具有如下图所示的格式。

  其中,第一行为列名,第一列为时间,后面的列都是不同遥感影像波段反射率的时间序列数据。我们希望,对这一文件夹下所有的.csv文件进行遍历,对其中每一个.csv文件的每一列(除了第一列,因为第一列是表示时间的数据)加以HANTS算法处理。

  明确了具体需求,我们就可以开始撰写代码。前面已经提到了,HANTS算法的代码不用我们自己写,就用下载好函数即可;我们只需要将数据读取、数据预处理、结果保存等部分的代码写好,同时按照自己数据的实际情况,配置一下HANTS算法的各个参数即可。

  本文用到的代码如下。

clear;
ni = 414;
nb = 365 * 8 + 361;
nf = 9;
ts = 1 : 8 : (414 * 8 + 1);
HiLo = "none";
low = 0;
high = 1;
fet = 0.1;
dod = 1;
delta = 0.1;
all_file_path = "E:\01_Reflectivity\99_Model_Training\00_Data\02_Extract_Data\16_8DaysSynthesis_After";
output_path = "E:\01_Reflectivity\99_Model_Training\00_Data\02_Extract_Data\17_HANTS";
files = dir(fullfile(all_file_path, "*.csv"));
for i = 1:numel(files)
    file_path = fullfile(all_file_path, files(i).name);
    column_data = readtable(file_path, "ReadVariableNames",true);
    column_name = column_data.Properties.VariableNames;
    column_index = 2 : 8;
    for j = column_index
        one_column_name = column_name{j};
        one_column_data = column_data.(one_column_name);
        [amp, phi, yr] = HANTS(ni, nb, nf, one_column_data, ts, "none", low, high, fet, dod, delta);
%         [amp_Hi, phi_Hi, yr_Hi] = HANTS(ni, nb, nf, one_column_data, ts, "Hi", low, high, fet, dod, delta);
%         [amp_Lo, phi_Lo, yr_Lo] = HANTS(ni, nb, nf, one_column_data, ts, "Lo", low, high, fet, dod, delta);
        column_data.(one_column_name) = yr;
    end
    save_file_name = fullfile(output_path, files(i).name);
    writetable(column_data, save_file_name, "Delimiter", ",");
end
% plot(one_column_data, "b.-");
% hold on;
% plot(yr, "r.-");
% plot(yr_Hi, "k.-");
% plot(yr_Lo, "g.-");
% legend("Original", "none", "Hi", "Lo");

  其中,这段代码的作用是对每个.csv文件中的指定列数据应用HANTS算法进行处理,并将处理后的数据保存为新的.csv文件。具体流程如下:

  1. 定义了两个文件路径:
  • all_file_path:待处理的.csv文件所在文件夹路径;
  • output_path:保存处理后数据的文件夹路径。
  1. 使用dir函数获取指定文件夹中所有以.csv结尾的文件。
  2. 遍历每个文件:
  • 构建当前文件的完整路径。
  • 使用readtable函数读取.csv文件数据,并保留列名。
  • 获取需要处理的列索引(2到8列)。
  • 遍历这些列索引:
  • 获取当前列的名称和数据。
  • 调用HANTS函数对列数据进行处理,得到处理后的数据(存储在yr中)。
  • 将处理后的数据替换原来的列数据。
  • 构建保存处理后数据的文件名,并使用writetable函数将column_data保存为.csv文件。

  这里需要注意,HANTS算法的几个参数,大家就依据自己数据的实际情况来设置即可,具体每一个参数的含义在代码包中的HANTS.m文件内就有介绍。通过如上的代码,我们即可实现本文的需求。为了进一步验证HANTS算法是否执行正确,我们可以简单地绘制一个算法处理前后的时间序列数据对比图,如下图所示。

  可以看到,经过HANTS算法处理,我们的数据已经平滑了许多。

  至此,大功告成。

欢迎关注:疯狂学习GIS

相关文章
|
2天前
|
传感器 算法 C语言
基于无线传感器网络的节点分簇算法matlab仿真
该程序对传感器网络进行分簇,考虑节点能量状态、拓扑位置及孤立节点等因素。相较于LEACH算法,本程序评估网络持续时间、节点死亡趋势及能量消耗。使用MATLAB 2022a版本运行,展示了节点能量管理优化及网络生命周期延长的效果。通过簇头管理和数据融合,实现了能量高效和网络可扩展性。
|
14天前
|
算法
基于ACO蚁群优化的UAV最优巡检路线规划算法matlab仿真
该程序基于蚁群优化算法(ACO)为无人机(UAV)规划最优巡检路线,将无人机视作“蚂蚁”,巡检点作为“食物源”,目标是最小化总距离、能耗或时间。使用MATLAB 2022a版本实现,通过迭代更新信息素浓度来优化路径。算法包括初始化信息素矩阵、蚂蚁移动与信息素更新,并在满足终止条件前不断迭代,最终输出最短路径及其长度。
|
17天前
|
机器学习/深度学习 算法
基于心电信号时空特征的QRS波检测算法matlab仿真
本课题旨在通过提取ECG信号的时空特征并应用QRS波检测算法识别心电信号中的峰值。使用MATLAB 2022a版本实现系统仿真,涵盖信号预处理、特征提取、特征选择、阈值设定及QRS波检测等关键步骤,以提高心脏疾病诊断准确性。预处理阶段采用滤波技术去除噪声,检测算法则结合了一阶导数和二阶导数计算确定QRS波峰值。
|
17天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化的GroupCNN分组卷积网络时间序列预测算法matlab仿真
本项目展示了一种结合粒子群优化(PSO)与分组卷积神经网络(GroupCNN)的时间序列预测算法。该算法通过PSO寻找最优网络结构和超参数,提高预测准确性与效率。软件基于MATLAB 2022a,提供完整代码及详细中文注释,并附带操作步骤视频。分组卷积有效降低了计算成本,而PSO则智能调整网络参数。此方法特别适用于金融市场预测和天气预报等场景。
|
21天前
|
算法
基于极大似然算法的系统参数辨识matlab仿真
本程序基于极大似然算法实现系统参数辨识,对参数a1、b1、a2、b2进行估计,并计算估计误差及收敛曲线,对比不同信噪比下的误差表现。在MATLAB2022a版本中运行,展示了参数估计值及其误差曲线。极大似然估计方法通过最大化观测数据的似然函数来估计未知参数,适用于多种系统模型。
|
23天前
|
机器学习/深度学习 算法
基于小波神经网络的数据分类算法matlab仿真
该程序基于小波神经网络实现数据分类,输入为5个特征值,输出为“是”或“否”。使用MATLAB 2022a版本,50组数据训练,30组数据验证。通过小波函数捕捉数据局部特征,提高分类性能。训练误差和识别结果通过图表展示。
|
29天前
|
算法 BI Serverless
基于鱼群算法的散热片形状优化matlab仿真
本研究利用浴盆曲线模拟空隙外形,并通过鱼群算法(FSA)优化浴盆曲线参数,以获得最佳孔隙度值及对应的R值。FSA通过模拟鱼群的聚群、避障和觅食行为,实现高效全局搜索。具体步骤包括初始化鱼群、计算适应度值、更新位置及判断终止条件。最终确定散热片的最佳形状参数。仿真结果显示该方法能显著提高优化效率。相关代码使用MATLAB 2022a实现。
|
29天前
|
算法 数据可视化
基于SSA奇异谱分析算法的时间序列趋势线提取matlab仿真
奇异谱分析(SSA)是一种基于奇异值分解(SVD)和轨迹矩阵的非线性、非参数时间序列分析方法,适用于提取趋势、周期性和噪声成分。本项目使用MATLAB 2022a版本实现从强干扰序列中提取趋势线,并通过可视化展示了原时间序列与提取的趋势分量。代码实现了滑动窗口下的奇异值分解和分组重构,适用于非线性和非平稳时间序列分析。此方法在气候变化、金融市场和生物医学信号处理等领域有广泛应用。
|
2月前
|
算法
基于模糊控制算法的倒立摆控制系统matlab仿真
本项目构建了一个基于模糊控制算法的倒立摆控制系统,利用MATLAB 2022a实现了从不稳定到稳定状态的转变,并输出了相应的动画和收敛过程。模糊控制器通过对小车位置与摆的角度误差及其变化量进行模糊化处理,依据预设的模糊规则库进行模糊推理并最终去模糊化为精确的控制量,成功地使倒立摆维持在直立位置。该方法无需精确数学模型,适用于处理系统的非线性和不确定性。
基于模糊控制算法的倒立摆控制系统matlab仿真
|
1月前
|
资源调度 算法
基于迭代扩展卡尔曼滤波算法的倒立摆控制系统matlab仿真
本课题研究基于迭代扩展卡尔曼滤波算法的倒立摆控制系统,并对比UKF、EKF、迭代UKF和迭代EKF的控制效果。倒立摆作为典型的非线性系统,适用于评估不同滤波方法的性能。UKF采用无迹变换逼近非线性函数,避免了EKF中的截断误差;EKF则通过泰勒级数展开近似非线性函数;迭代EKF和迭代UKF通过多次迭代提高状态估计精度。系统使用MATLAB 2022a进行仿真和分析,结果显示UKF和迭代UKF在非线性强的系统中表现更佳,但计算复杂度较高;EKF和迭代EKF则更适合维数较高或计算受限的场景。
下一篇
无影云桌面