L2正则项是为了减少模型过拟合

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: L2正则项是为了减少模型过拟合
L2正则项的影响
加入L2正则项是为了减少模型过拟合
L=loss+lambda*w^2/2
那么为什么L2可以防止过拟合呢?
先从公式入手,我们的目标就是为了让损失函数最小,
也就是让最初的loss和加入的正则项都要达到最小
我们假想原来的loss有个最优点,添加的正则项是正的,
而且它的空间表示应该是原点周围的正的空间图形
防止过拟合是要将参数的变化范围减小,将参数变小
这里为什么参数范围小会防止过拟合呢?
假想平面存在一系列散点,我们要拟合一条曲线去符合它,
只要我们的参数w无任何限制,我们肯定能够找出一条直线能够
拟合所有的点,但是这样会把所有噪音也会拟合进去,所以就要减少拟合效果
那么我们就要减少参数w的变化区间,将w变小
w变小会减少个别噪音的影响,假想有一列特征,
其中有一个值非常大,那么如果我们的参数w也很大的话就会
对模型造成影响,而如果此时参数很小的话,模型对异常值也不会很敏感。
综上,我们就要减少参数的变化范围,将w的值变小
想一下空间图形,如果要减小模型参数,那就要将最优点向原点拉,也就是靠近正则项,
但是此时会出现一个问题,loss的损失会变大,而正则项会变小,但此时整体效果是下降的,
因为在最优点附近,移动值变化很小,而正则项的变化很大,也就是现在是往全局最小的趋势
但是一旦过了一定点,那么正则项下降就会不明显,而原loss上升的就会非常快,
此时模型损失就会上升
所以要找到一个边界来平衡两个损失,使最终的损失达到最小
添加正则项的目的就是将模型的参数向原点拉,但不要拉取过大,否则得不偿失


目录
相关文章
|
6天前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
机器学习-特征选择:如何使用递归特征消除算法自动筛选出最优特征?
107 0
|
2天前
|
存储 人工智能 自然语言处理
DeepSparse: 通过剪枝和稀疏预训练,在不损失精度的情况下减少70%的模型大小,提升三倍速度
该论文提出了一种新方法,用于创建高稀疏性大型语言模型,通过稀疏预训练和高效部署,在保持高准确度的同时显著提升处理速度。方法包括结合SparseGPT剪枝和稀疏预训练,实现70%稀疏度下准确率完全恢复,尤其适合复杂任务。实验显示,使用Cerebras CS-3 AI加速器和Neural Magic的DeepSparse、nm-vllm引擎,训练和推理速度有显著提升。此外,量化稀疏模型在CPU上速度提升可达8.6倍。这种方法优于传统剪枝,为构建更快、更小的语言模型提供了新途径,并通过开源代码和模型促进了研究复现和扩展。
19 3
|
6天前
R语言中使用线性模型、回归决策树自动组合特征因子水平
R语言中使用线性模型、回归决策树自动组合特征因子水平
|
6天前
|
算法 Go 区块链
YOLOD也来啦 | 优化YOLOv5样本匹配,顺带设计了全新的模块
YOLOD也来啦 | 优化YOLOv5样本匹配,顺带设计了全新的模块
27 0
|
6天前
|
机器学习/深度学习 TensorFlow 定位技术
神经网络学习率指数衰减ExponentialDecay策略的参数含义与使用方法详解
神经网络学习率指数衰减ExponentialDecay策略的参数含义与使用方法详解
|
10月前
|
机器学习/深度学习 算法 计算机视觉
线性回归 正则项(惩罚项)原理、正则项的分类与Python代码的实现
线性回归 正则项(惩罚项)原理、正则项的分类与Python代码的实现
|
存储 算法 PyTorch
pytorch 给定概率分布的张量,如何利用这个概率进行重复\不重复采样?
在 PyTorch 中,可以使用 torch.distributions.Categorical 来基于给定的概率分布进行采样。
673 0
|
机器学习/深度学习 算法 BI
带L1正则项SVM多分类问题,使用MindOpt优化
支持向量机(Support Vector Machine, SVM),是一类按监督学习方式对数据进行分类的线性分类器。其核心思想是在特征空间内找到使不同类别的样本间距最大的决策边界。SVM模型中经常会引入正则化项(regularization term)来提高模型鲁棒性或者引入先验知识。L1 - regularized SVM就是在模型中加入L1正则化项(也即 ||x||1 ),将特征向量的稀疏性(会令特征向量x中某一些参数等于0)这个先验知识引入到模型中,进而提高分类效率。
带L1正则项SVM多分类问题,使用MindOpt优化
|
机器学习/深度学习 算法
六、超参数调整, 批量正则化 和多元分类器
六、超参数调整, 批量正则化 和多元分类器
六、超参数调整, 批量正则化 和多元分类器
权重衰减的简单示例代码,采用L2正则项
权重衰减的简单示例代码,采用L2正则项
64 0