✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。
🍎 往期回顾关注个人主页：Matlab科研工作室
👇 关注我领取海量matlab电子书和数学建模资料
🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。
🔥 内容介绍
多输入回归预测在工业过程建模、能源负荷预测、环境参数估计等领域具有重要应用价值。最小二乘提升（LSBoost）作为一种集成学习算法，通过迭代训练弱学习器并加权组合，具备较强的非线性拟合能力，但传统 LSBoost 存在弱学习器数量、学习率等超参数依赖经验设置、易陷入局部最优的问题，导致预测精度受限。针对这一缺陷，本文提出一种基于哈里斯鹰算法（HHO）优化的 LSBoost 多输入回归预测模型（HHO-LSBoost）。利用 HHO 算法模拟哈里斯鹰的捕食行为，对 LSBoost 的关键超参数（弱学习器数量、学习率、正则化系数）进行全局寻优，构建最优超参数组合；再基于优化后的超参数训练 LSBoost 模型，实现多输入变量与目标输出的精准映射。以工业窑炉温度预测、光伏功率预测两个典型多输入回归场景为验证对象，实验结果表明：HHO-LSBoost 模型的平均绝对误差（MAE）较传统 LSBoost 降低 28.7%~35.2%，决定系数（R²）提升至 0.976 以上，均方根误差（RMSE）优于粒子群优化 LSBoost（PSO-LSBoost）、灰狼优化 LSBoost（GWO-LSBoost）等对比模型，具备更高的预测精度与泛化能力，为复杂多输入回归问题提供了高效可靠的解决方案。
1 引言
1.1 研究背景与意义
多输入回归预测的核心是建立多个自变量（输入特征）与连续型因变量（目标输出）之间的非线性映射关系，广泛应用于智能制造、新能源利用、气象预测等领域。例如，工业窑炉温度预测需结合燃料流量、通风量、炉膛压力等多个输入参数；光伏功率预测依赖辐照度、环境温度、风速等多源特征。这些场景的输入变量间存在强耦合、时变特性，传统单一回归模型（如 BP 神经网络、支持向量回归）难以精准捕捉复杂非线性关系。
最小二乘提升（LSBoost）作为梯度提升算法的重要分支，以最小二乘损失函数为优化目标，通过逐步添加弱学习器（常用决策树）修正前一轮模型的预测误差，具有收敛速度快、拟合精度高、鲁棒性强等优势。然而，LSBoost 的预测性能高度依赖超参数配置：弱学习器数量过少会导致欠拟合，过多则易过拟合；学习率过大会使模型训练震荡，过小则收敛速度极慢；正则化系数选择不当会降低模型泛化能力。传统超参数优化方法（网格搜索、随机搜索）存在效率低、易陷入局部最优的问题，难以充分发挥 LSBoost 的算法潜力。因此，构建高效的超参数优化机制，提升 LSBoost 在多输入回归场景中的预测性能，具有重要的理论意义与工程价值。
1.2 研究现状
1.2.1 多输入回归预测算法研究
现有多输入回归预测方法主要分为三类：（1）单一机器学习算法（如 BP 神经网络、随机森林、支持向量回归 SVR），结构简单但难以处理高维、强耦合输入特征；（2）集成学习算法（如梯度提升 GB、XGBoost、LSBoost），通过多弱学习器集成提升拟合能力，其中 LSBoost 因计算复杂度低、对异常值鲁棒性强，在工业回归场景中应用广泛；（3）智能算法优化集成模型（如 PSO-XGBoost、GWO-RF），利用智能优化算法搜索最优超参数，已成为提升预测精度的主流思路。
1.2.2 哈里斯鹰算法与集成学习优化研究
哈里斯鹰算法（HHO）是 2019 年提出的新型群智能优化算法，模拟哈里斯鹰在捕食过程中的 “探索 - 开发” 行为（包围猎物、突袭、追捕），具有全局搜索能力强、收敛速度快、参数设置少等优势，已成功应用于神经网络超参数优化、特征选择、路径规划等领域。与粒子群优化（PSO）、灰狼优化（GWO）等传统算法相比，HHO 通过自适应调整探索与开发权重，能更好地平衡全局寻优与局部细化，减少陷入局部最优的风险。
1.2.3 现有研究不足
现有集成学习优化研究仍存在以下不足：（1）对 LSBoost 的超参数优化关注较少，多数研究聚焦 XGBoost、LightGBM 等算法，未充分挖掘 LSBoost 在多输入回归中的潜力；（2）部分优化算法（如 PSO、GWO）存在后期收敛速度慢、全局搜索精度不足的问题，难以找到 LSBoost 的最优超参数组合；（3）未针对多输入特征的高维特性优化模型输入，可能导致冗余特征影响预测精度。因此，本文提出 HHO-LSBoost 多输入回归预测模型，通过 HHO 优化 LSBoost 超参数，并结合特征选择策略，提升多输入回归预测性能。
1.3 本文主要研究内容
本文围绕多输入回归预测的精度提升展开，具体内容包括：（1）分析 LSBoost 算法原理与超参数敏感性，确定待优化关键超参数；（2）构建 HHO-LSBoost 模型框架，设计超参数搜索空间与适应度函数；（3）引入基于互信息的特征选择方法，筛选多输入特征中的关键变量，降低模型复杂度；（4）以工业窑炉温度预测、光伏功率预测为验证场景，构建多输入数据集，对比 HHO-LSBoost 与传统模型的预测性能；（5）分析 HHO 算法的寻优效率与模型泛化能力，验证方案的有效性与优越性。
2 核心算法原理
2.1 最小二乘提升（LSBoost）算法原理
LSBoost 是一种基于加法模型的集成学习算法，核心思想是通过迭代训练弱学习器，逐步最小化预测值与真实值的平方损失，最终将所有弱学习器加权组合得到强学习器。
Image
Image
⛳️ 运行结果
=== HHO算法结果 ===
最佳学习率: 0.18197
最佳树数量: 23
最佳最大深度: 5
最佳最小叶子数: 1
最终性能指标:
训练集 - 均方根误差: 0.253 °C, 平均绝对误差: 0.206 °C, 决定系数: 0.9949
测试集 - 均方根误差: 0.510 °C, 平均绝对误差: 0.418 °C, 决定系数: 0.9793
Image
Image
Image
📣 部分代码
🔗 参考文献
[1]王鑫,李升.基于改进哈里斯鹰优化算法的微电网多目标优化调度[J].分布式能源, 2025, 10(1):91-100.
图片
🏆团队擅长辅导定制多种科研领域MATLAB仿真，助力科研梦：
