L2范数(L2 norm)

简介: L2范数(L2 norm),也称为欧几里德范数(Euclidean norm)或2-范数,是向量元素的平方和的平方根。它在数学和机器学习中经常被用作一种正则化项、距离度量或误差度量。

L2范数(L2 norm),也称为欧几里德范数(Euclidean norm)或2-范数,是向量元素的平方和的平方根。它在数学和机器学习中经常被用作一种正则化项、距离度量或误差度量。

对于一个n维向量x = [x1, x2, ..., xn],其L2范数可以通过以下公式计算:

||x||2 = sqrt(x1^2 + x2^2 + ... + xn^2)

L2范数可以用于模型正则化、特征归一化、距离度量等方面。通过最小化L2范数,可以限制向量的幅值,从而防止过拟合和梯度爆炸。

以下是一个简单的Python代码示例,演示如何计算一个向量的L2范数:

python
Copy
import math

def l2_norm(vector):
norm = math.sqrt(sum(element**2 for element in vector))
return norm

示例向量

vector = [3, 4]

计算L2范数

norm = l2_norm(vector)

print("L2范数:", norm)
运行以上代码,将会输出向量 [3, 4] 的L2范数为 5.0。

在机器学习中,L2范数经常用于模型正则化和特征归一化。通过在损失函数中添加L2范数的正则化项,可以降低模型的复杂度,避免过拟合。另外,L2范数还常用于计算向量之间的欧氏距离,用于衡量向量之间的相似性或差异性。

《机器学习》(西瓜书) - 周志华:这本经典的机器学习教材包含了L2范数的介绍和应用示例,特别是在模型正则化和特征归一化方面的应用。

《The Elements of Statistical Learning》- Trevor Hastie, Robert Tibshirani, Jerome Friedman:这本书是机器学习中的经典教材,其中包含了对L2范数正则化、欧氏距离和最小二乘法等的详细讨论。

相关论文和研究文章:在学术搜索引擎(如Google Scholar)上搜索关键词 "L2 norm"、"L2 regularization"、"Euclidean norm",可以找到大量与L2范数和正则化相关的研究论文和文章。

网络教程和博客文章:在网上搜索关键词 "L2 norm explained" 或 "L2 regularization tutorial",你可以找到很多教程和博客文章,介绍L2范数的概念、计算方法以及在机器学习中的应用。

Coursera 和 Udemy:这些在线学习平台提供各种机器学习和数据科学的课程,其中一些课程会涉及到L2范数正则化、欧氏距离和最小二乘法的讲解和实践。

目录
相关文章
|
自然语言处理 算法 数据挖掘
自蒸馏:一种简单高效的优化方式
背景知识蒸馏(knowledge distillation)指的是将预训练好的教师模型的知识通过蒸馏的方式迁移至学生模型,一般来说,教师模型会比学生模型网络容量更大,模型结构更复杂。对于学生而言,主要增益信息来自于更强的模型产出的带有更多可信信息的soft_label。例如下右图中,两个“2”对应的hard_label都是一样的,即0-9分类中,仅“2”类别对应概率为1.0,而soft_label
自蒸馏:一种简单高效的优化方式
|
编译器
overleaf 参考文献引用,创建引用目录.bib文件,在文档中引用参考文献,生成参考文献列表
overleaf 参考文献引用,创建引用目录.bib文件,在文档中引用参考文献,生成参考文献列表
12706 0
|
11月前
|
数据采集 SQL 人工智能
详解面试高频的 28 个 RAG 问题:从基础知识到架构优化全面剖析!
这篇文章我们就系统梳理 28 个高频面试问题,直接带你理解 RAG 从“原理 → 问题 → 优化 → 未来”的完整演化逻辑,确保你下一次面试不被问懵。
|
算法 PyTorch 算法框架/工具
Pytorch学习笔记(九):Pytorch模型的FLOPs、模型参数量等信息输出(torchstat、thop、ptflops、torchsummary)
本文介绍了如何使用torchstat、thop、ptflops和torchsummary等工具来计算Pytorch模型的FLOPs、模型参数量等信息。
3515 2
|
机器学习/深度学习 自然语言处理 算法
ROLL:面向大规模语言模型的高效强化学习框架
本文主要介绍了一个名为 ROLL(Reinforcement Learning Optimization for Large-scale Learning) 的高效强化学习框架,专为大规模语言模型(LLM)的训练和优化而设计。文章从多个角度详细阐述了 ROLL 的设计理念、核心特性、技术架构、应用场景及实验效果。
ROLL:面向大规模语言模型的高效强化学习框架
|
机器学习/深度学习
Epoch、Batch 和 Iteration 的区别详解
【8月更文挑战第23天】
4405 0
|
机器学习/深度学习 自然语言处理 PyTorch
深入剖析Transformer架构中的多头注意力机制
多头注意力机制(Multi-Head Attention)是Transformer模型中的核心组件,通过并行运行多个独立的注意力机制,捕捉输入序列中不同子空间的语义关联。每个“头”独立处理Query、Key和Value矩阵,经过缩放点积注意力运算后,所有头的输出被拼接并通过线性层融合,最终生成更全面的表示。多头注意力不仅增强了模型对复杂依赖关系的理解,还在自然语言处理任务如机器翻译和阅读理解中表现出色。通过多头自注意力机制,模型在同一序列内部进行多角度的注意力计算,进一步提升了表达能力和泛化性能。
11409 48
|
机器学习/深度学习 算法 搜索推荐
多任务学习模型之DBMTL介绍与实现
本文介绍的是阿里在2019年发表的多任务学习算法。该模型显示地建模目标间的贝叶斯网络因果关系,整合建模了特征和多个目标之间的复杂因果关系网络,省去了一般MTL模型中较强的独立假设。由于不对目标分布做任何特定假设,使得它能够比较自然地推广到任意形式的目标上。
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
2368 30

热门文章

最新文章