L1范数(L1 norm)

简介: L1范数(L1 norm),也称为曼哈顿距离(Manhattan distance)或绝对值范数(Absolute value norm),是向量中各个元素绝对值之和。它在数学和机器学习中经常被用作一种正则化项或稀疏性度量。

L1范数(L1 norm),也称为曼哈顿距离(Manhattan distance)或绝对值范数(Absolute value norm),是向量中各个元素绝对值之和。它在数学和机器学习中经常被用作一种正则化项或稀疏性度量。

对于一个n维向量x = [x1, x2, ..., xn],其L1范数可以通过以下公式计算:

||x||1 = |x1| + |x2| + ... + |xn|

L1范数可以用于特征选择、稀疏表示和损失函数等方面。通过最小化L1范数,可以鼓励向量中的某些元素为零,从而实现稀疏性。此外,L1范数还具有一些优化性质,使其在一些问题中更具有优势。

以下是一个简单的Python代码示例,演示如何计算一个向量的L1范数:

python
Copy
def l1_norm(vector):
norm = sum(abs(element) for element in vector)
return norm

示例向量

vector = [1, -2, 3, -4, 5]

计算L1范数

norm = l1_norm(vector)

print("L1范数:", norm)
运行以上代码,将会输出向量 [1, -2, 3, -4, 5] 的L1范数为 15。

在机器学习中,L1范数经常用于特征选择和稀疏模型的训练。通过最小化目标函数中的L1范数正则化项,可以促使模型选择重要的特征,从而提高模型的泛化能力和解释性。

《机器学习》(西瓜书) - 周志华:这本经典的机器学习教材包含了L1范数的介绍和应用示例,特别是在特征选择和稀疏模型方面的应用。

《The Elements of Statistical Learning》- Trevor Hastie, Robert Tibshirani, Jerome Friedman:这本书是机器学习中的经典教材,其中包含了对L1范数正则化和稀疏性的详细讨论。

相关论文和研究文章:在学术搜索引擎(如Google Scholar)上搜索关键词 "L1 norm"、"L1 regularization"、"L1 regularization in machine learning",可以找到大量与L1范数和正则化相关的研究论文和文章。

网络教程和博客文章:在网上搜索关键词 "L1 norm explained" 或 "L1 regularization tutorial",你可以找到很多教程和博客文章,介绍L1范数的概念、计算方法以及在机器学习中的应用。

Coursera 和 Udemy:这些在线学习平台提供各种机器学习和数据科学的课程,其中一些课程会涉及到L1范数正则化和稀疏模型的讲解和实践。

目录
相关文章
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
归一化技术比较研究:Batch Norm, Layer Norm, Group Norm
本文将使用合成数据集对三种归一化技术进行比较,并在每种配置下分别训练模型。记录训练损失,并比较模型的性能。
139 2
|
3月前
|
编解码 监控 算法
3D-Genome | Hi-C互作矩阵归一化指南
3D-Genome | Hi-C互作矩阵归一化指南
88 2
|
3月前
|
人工智能 算法 计算机视觉
VGen与SVD的比较
【1月更文挑战第7天】VGen与SVD的比较
101 1
VGen与SVD的比较
|
12月前
|
机器学习/深度学习 搜索推荐 Python
L2范数(L2 norm)
L2范数(L2 norm),也称为欧几里德范数(Euclidean norm)或2-范数,是向量元素的平方和的平方根。它在数学和机器学习中经常被用作一种正则化项、距离度量或误差度量。
6163 1
|
12月前
|
机器学习/深度学习 算法 搜索推荐
L0范数(L0 norm)
L0范数(L0 norm)是指向量中非零元素的个数。与L1范数和L2范数不同,L0范数并不是一种常见的范数形式,它更多地被用作一种表示稀疏性的度量。
398 1
|
数据可视化
L1、L2范数理解--Ridge以及Lasso回归
L1、L2范数理解--Ridge以及Lasso回归
124 0
plt画图(sigmoid、relu、softmax)
plt画图(sigmoid、relu、softmax)
77 0
|
机器学习/深度学习
【2】激活函数与Loss函数求导
【2】激活函数与Loss函数求导
211 0
【2】激活函数与Loss函数求导
|
机器学习/深度学习 PyTorch 算法框架/工具
【26】pytorch中的grad求导说明以及利用backward获取梯度信息
【26】pytorch中的grad求导说明以及利用backward获取梯度信息
352 0
【26】pytorch中的grad求导说明以及利用backward获取梯度信息
|
机器学习/深度学习 自然语言处理
NLP教程:什么是范数(norm)?以及L1,L2范数的简单介绍
NLP教程:什么是范数(norm)?以及L1,L2范数的简单介绍
867 0
NLP教程:什么是范数(norm)?以及L1,L2范数的简单介绍