L1和L2正则化是两种常用的正则化技术，它们通过在模型的损失函数中添加一个正则化项来减少过拟合。这两种技术都旨在惩罚模型的复杂度，但它们在数学上和实际应用中有所不同。
L1正则化（Lasso正则化）
L1正则化通过向损失函数添加模型权重的绝对值之和来工作。它的公式如下：
[ L{\text{total}} = L + \lambda \sum{i=1}^{n} |w_i| ]
其中：
- ( L ) 是原始损失函数，例如均方误差。
- ( \lambda ) 是正则化参数，控制正则化项的强度。
- ( w_i ) 是模型权重。
- ( n ) 是权重的数量。
L1正则化的特点是它可以产生稀疏权重矩阵，即许多权重会变成0。这意味着L1正则化有助于特征选择，因为它可以自动将不重要的特征的权重置为0。
L2正则化（Ridge正则化）
L2正则化通过向损失函数添加模型权重的平方和来工作。它的公式如下：
[ L{\text{total}} = L + \lambda \sum{i=1}^{n} w_i^2 ]
其中：
- ( L ) 是原始损失函数。
- ( \lambda ) 是正则化参数。
- ( w_i ) 是模型权重。
- ( n ) 是权重的数量。
L2正则化的目的是限制模型权重的增长，使其不会变得过大。这有助于防止模型在训练数据上过度拟合，因为它鼓励模型保持权重较小。
选择L1还是L2正则化？
- 特征选择：如果你希望模型具有特征选择的能力，即自动将不重要的特征权重置为0，那么L1正则化是更好的选择。
- 参数更新稳定性：L2正则化在参数更新时更加稳定，因为它对权重的惩罚是平滑的，而L1正则化在权重接近0时会导致不稳定的更新。
- 多重共线性：当数据中存在多重共线性（特征之间高度相关）时，L2正则化可以帮助处理这个问题，因为它不会将权重完全置为0，而是会将它们压缩到较小的值。
实际应用
在实际应用中，通常会通过交叉验证来选择最佳的正则化参数( \lambda )，以及决定使用L1、L2还是两者的组合（称为Elastic Net正则化）。这些正则化技术可以应用于多种机器学习模型，包括线性回归、逻辑回归、神经网络等。
代码示例（以Python的scikit-learn库为例）
from sklearn.linear_model import Lasso, Ridge
# L1正则化（Lasso回归）
lasso = Lasso(alpha=0.1) # alpha对应于lambda
# L2正则化（Ridge回归）
ridge = Ridge(alpha=0.1)
# 训练模型
lasso.fit(X_train, y_train)
ridge.fit(X_train, y_train)
在这段代码中，alpha参数控制正则化的强度。通过调整这个参数，可以观察到模型在训练集和验证集上的性能变化，从而选择最佳的正则化强度。
