L2正则项是为了减少模型过拟合

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: L2正则项是为了减少模型过拟合
L2正则项的影响
加入L2正则项是为了减少模型过拟合
L=loss+lambda*w^2/2
那么为什么L2可以防止过拟合呢?
先从公式入手,我们的目标就是为了让损失函数最小,
也就是让最初的loss和加入的正则项都要达到最小
我们假想原来的loss有个最优点,添加的正则项是正的,
而且它的空间表示应该是原点周围的正的空间图形
防止过拟合是要将参数的变化范围减小,将参数变小
这里为什么参数范围小会防止过拟合呢?
假想平面存在一系列散点,我们要拟合一条曲线去符合它,
只要我们的参数w无任何限制,我们肯定能够找出一条直线能够
拟合所有的点,但是这样会把所有噪音也会拟合进去,所以就要减少拟合效果
那么我们就要减少参数w的变化区间,将w变小
w变小会减少个别噪音的影响,假想有一列特征,
其中有一个值非常大,那么如果我们的参数w也很大的话就会
对模型造成影响,而如果此时参数很小的话,模型对异常值也不会很敏感。
综上,我们就要减少参数的变化范围,将w的值变小
想一下空间图形,如果要减小模型参数,那就要将最优点向原点拉,也就是靠近正则项,
但是此时会出现一个问题,loss的损失会变大,而正则项会变小,但此时整体效果是下降的,
因为在最优点附近,移动值变化很小,而正则项的变化很大,也就是现在是往全局最小的趋势
但是一旦过了一定点,那么正则项下降就会不明显,而原loss上升的就会非常快,
此时模型损失就会上升
所以要找到一个边界来平衡两个损失,使最终的损失达到最小
添加正则项的目的就是将模型的参数向原点拉,但不要拉取过大,否则得不偿失


目录
相关文章
|
存储 关系型数据库 MySQL
MySQL 处理大数据表的 3 种方案,写的太好了,建议收藏!!
MySQL 处理大数据表的 3 种方案,写的太好了,建议收藏!!
962 0
|
机器学习/深度学习 人工智能 自然语言处理
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
1264 0
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
|
9月前
|
SQL 安全 前端开发
预编译为什么能防止SQL注入?
SQL注入是Web应用中常见的安全威胁,攻击者通过构造恶意输入执行未授权的SQL命令。预编译语句(Prepared Statements)是一种有效防御手段,它将SQL代码与数据分离,确保用户输入不会被解释为SQL代码的一部分。本文详细介绍了SQL注入的危害、预编译语句的工作机制,并结合实际案例和多语言代码示例,展示了如何使用预编译语句防止SQL注入,强调了其在提升安全性和性能方面的重要性。
|
11月前
|
SQL 监控 关系型数据库
MySQL如何查看每个分区的数据量
通过本文的介绍,您可以使用MySQL的 `INFORMATION_SCHEMA`查询每个分区的数据量。了解分区数据量对数据库优化和管理具有重要意义,可以帮助您优化查询性能、平衡数据负载和监控数据库健康状况。希望本文对您在MySQL分区管理和性能优化方面有所帮助。
993 1
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN)入门与实践
【8月更文挑战第62天】本文以浅显易懂的方式介绍了深度学习领域中的核心技术之一——卷积神经网络(CNN)。文章通过生动的比喻和直观的图示,逐步揭示了CNN的工作原理和应用场景。同时,结合具体的代码示例,引导读者从零开始构建一个简单的CNN模型,实现对图像数据的分类任务。无论你是深度学习的初学者还是希望巩固理解的开发者,这篇文章都将为你打开一扇通往深度学习世界的大门。
|
人工智能 自然语言处理 搜索推荐
谷歌 ai人工智能平台叫什么?请记住答案是:Gemini
Gemini 是 Google 开发的一个大型AI语言模型 ,代表着人工智能领域的一项重大进步。它是一个强大的工具,旨在理解和生成人类语言,并具备广泛的功能,可以帮助人们完成各种任务,从创作不同类型的文本到回答复杂的问题,再到翻译语言等等。
|
移动开发 前端开发 应用服务中间件
挂售转卖竞拍商城系统源码/竞拍系统/转拍闪拍系统/后端PHP+前端UNiapp源码
挂售转卖竞拍商城系统源码/竞拍系统/转拍闪拍系统/后端PHP+前端UNiapp源码 亲测可用
295 1
|
机器学习/深度学习 自然语言处理 算法
注意力机制(四)(多头注意力机制)
在上一篇注意力机制(三)(不同注意力机制对比)-CSDN博客,重点讲了针对QKV来源不同制造的注意力机制的一些变体,包括交叉注意力、自注意力等。这里再对注意力机制理解中的核心要点进行归纳整理
|
JSON Oracle 关系型数据库
|
机器学习/深度学习
注意力机制(三)(不同注意力机制对比)
主要介绍了注意力机制的基本思想,以及注意力机制中一个常见的类型——自注意力机制。前面两篇文章为了帮助大家理解注意力机制的思想用了非常多的类比,以及联系生活实际。 然而,不管类比和联系多么恰当,这些做法多多少少都会让事物本身的特性被类比、联系后的事物所掩盖。

热门文章

最新文章