损失函数（Loss Function）
损失函数是机器学习中的一个核心概念，用于评估模型预测值与真实值之间的差异。这个差异越小，说明模型的预测越准确。损失函数是模型优化的目标，我们期望通过最小化损失函数来改进模型的性能。
在监督学习中，损失函数通常定义为模型预测输出与真实标签之间的某种距离或误差的度量。常见的损失函数包括：
均方误差（MSE, Mean Squared Error）：用于回归问题，计算预测值与真实值之差的平方的平均值。
交叉熵损失（Cross Entropy Loss）：常用于分类问题，特别是当输出层使用softmax激活函数时。它衡量的是预测分布与真实分布之间的差异。
Hinge Loss：主要用于支持向量机（SVM）中的分类问题，特别是二分类问题。
对数损失（Log Loss）：也称为对数似然损失，可用于二分类或多分类问题。
损失函数关于参数的梯度（Gradient of the Loss Function with Respect to Parameters）
在深度学习和机器学习中，为了优化模型的参数（如神经网络的权重和偏置），我们需要计算损失函数关于这些参数的梯度。梯度表示了损失函数在参数空间中的斜率，指明了损失函数值减小最快的方向。
具体来说，如果我们有一个模型参数集θ，以及一个损失函数L(θ)，那么损失函数关于参数θ的梯度∇
θ
L(θ)就是一个向量，其每个分量对应于损失函数对相应参数的偏导数。
计算梯度的方法有很多种，其中反向传播算法（Backpropagation）是神经网络中最常用的方法。在反向传播过程中，算法首先计算输出层的梯度，然后逐层向上（向输入层）计算每一层的梯度，直到到达输入层。通过这种方式，我们可以得到损失函数关于模型所有参数的梯度，然后利用这些梯度来更新模型的参数，从而最小化损失函数。
参数的更新通常使用梯度下降法（Gradient Descent）或其变种（如随机梯度下降SGD、小批量梯度下降Mini-batch GD、动量Momentum、Adam等）。这些算法通过沿着梯度的反方向（即损失函数减小的方向）更新参数，逐步逼近最优解。
