区间预测 | MATLAB实现基于QRCNN-LSTM-Multihead-Attention多头注意力卷积长短期记忆神经网络多变量时间序列区间预测

区间预测 | MATLAB实现基于QRCNN-LSTM-Multihead-Attention多头注意力卷积长短期记忆神经网络多变量时间序列区间预测

效果一览

基本介绍

1.Matlab实现基于QRCNN-LSTM-Multihead-Attention卷积神经网络结合长短期记忆神经网络多头注意力多变量时间序列区间预测；
2.多图输出、点预测多指标输出(MAE、MAPE、RMSE、MSE、R2)，区间预测多指比输出（区间覆盖率PICP、区间平均宽度百分比PINAW），多输入单输出，含点预测图、不同置信区间预测图、误差分析图、核密度估计概率密度图；
3.data为数据集，功率数据集，用多个关联变量，预测最后一列功率数据，也可适用于负荷预测、风速预测；MainQRCNN_LSTM_MATTNTS为主程序，其余为函数文件，无需运行；
4.代码质量高，注释清楚，含数据预处理部分，处理缺失值，如果为nan，则删除，也含核密度估计；
5.运行环境Matlab2021及以上。

模型描述

多头注意力卷积长短期记忆神经网络（Multi-Head Attention Convolutional LSTM，MHAC-LSTM）是一种用于处理多变量时间序列预测问题的深度学习模型。它将卷积神经网络（CNN）和长短期记忆神经网络（LSTM）结合起来，并使用多头注意力机制来增强模型的表达能力。
每个输入时间序列的变量都经过一个卷积层进行特征提取，并将卷积层的输出传递给一个LSTM层进行时间序列建模。然后，多头注意力机制被应用于LSTM层的输出，以捕捉不同变量之间的关系和重要性，从而提高模型的预测性能。总的来说是一种强大的深度学习模型，适用于多变量时间序列预测问题，尤其是区间预测问题。它可以通过结合卷积、LSTM和注意力机制来捕捉输入数据的空间和时间特征，并在预测时考虑不同变量之间的关系，从而提高预测精度。
多头注意力（Multi-Head Attention）是一种用于增强神经网络表达能力的机制，常用于处理序列数据的建模任务，如机器翻译、语言生成和语音识别等。
在传统的注意力机制中，模型通过计算输入序列中每个位置与目标位置的相关性，来计算每个输入位置对目标位置的影响权重。而多头注意力则通过将多个独立的注意力机制结合起来，来捕捉到不同的相关性表示。
具体来说，多头注意力将输入序列划分为多个头（head），并为每个头分配一组参数，然后在每个头中应用单独的注意力机制。这样，模型可以同时学习多个相关性表示，提高了模型对输入的表达能力。
在计算多头注意力时，模型首先将输入通过多个独立的线性变换映射到不同的空间中，然后对每个头中的映射结果进行注意力计算。最后，将每个头的注意力计算结果通过另一个线性变换进行合并，并通过激活函数进行输出。
多头注意力的优点在于它可以同时捕捉到多种相关性表示，从而提高模型的表达能力和泛化能力。此外，多头注意力还可以通过堆叠多层来进一步提高模型的表达能力，形成所谓的多层多头注意力（Multi-Layer Multi-Head Attention）。
多头注意力已经被广泛应用于自然语言处理、图像处理和语音处理等领域，成为深度学习中的一种重要建模工具。

程序设计

• 完整程序和数据获取方式：私信博主。

ntrain=round(nwhole*num_size);
    ntest =nwhole-ntrain;
    % 准备输入和输出训练数据
    input_train =input(:,temp(1:ntrain));
    output_train=output(:,temp(1:ntrain));
    % 准备测试数据
    input_test =input(:, temp(ntrain+1:ntrain+ntest));
    output_test=output(:,temp(ntrain+1:ntrain+ntest));
    %% 数据归一化
    method=@mapminmax;
    [inputn_train,inputps]=method(input_train);
    inputn_test=method('apply',input_test,inputps);
    [outputn_train,outputps]=method(output_train);
    outputn_test=method('apply',output_test,outputps);
    % 创建元胞或向量，长度为训练集大小；
    XrTrain = cell(size(inputn_train,2),1);
    YrTrain = zeros(size(outputn_train,2),1);
    for i=1:size(inputn_train,2)
        XrTrain{i,1} = inputn_train(:,i);
        YrTrain(i,1) = outputn_train(:,i);
    end
    % 创建元胞或向量，长度为测试集大小；
    XrTest = cell(size(inputn_test,2),1);
    YrTest = zeros(size(outputn_test,2),1);
    for i=1:size(input_test,2)
        XrTest{i,1} = inputn_test(:,i);
        YrTest(i,1) = outputn_test(:,i);
    end

    %% 创建混合CNN-LSTM网络架构
%%  区间覆盖率
RangeForm = [T_sim(:, 1), T_sim(:, end)];
Num = 0;

for i = 1 : length(T_train)
    Num = Num +  (T_train(i) >= RangeForm(i, 1) && T_train(i) <= RangeForm(i, 2));
end

picp = Num / length(T_train);     


    S = cumtrapz(X,Y);
    Index = find(abs(m-S)<=1e-2);
    Q = X(max(Index));

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/127931217
[2] https://blog.csdn.net/kjm13182345320/article/details/127418340