机器学习之——归一化线性回归与归一化逻辑回归

简介: 之前的博客里,跟大家分享了归一化(Regularization)的概念:保留所有的特征,但是减小参数的大小(Magnitude)。 这一次捏,跟大家讨论讨论,归一化线性回归模型和归一化逻辑回归模型。 首先跟大家明确一件事,为什么有些机器学习的模型需要用到归一化这个方法呢?答案有两条: 归一化能够加快梯度下降的步伐,也就是获得最优解的速度归一化能够提交模型的精度具体的分析我

之前的博客里,跟大家分享了归一化(Regularization)的概念:保留所有的特征,但是减小参数的大小(Magnitude)。

这一次捏,跟大家讨论讨论,归一化线性回归模型和归一化逻辑回归模型。

首先跟大家明确一件事,为什么有些机器学习的模型需要用到归一化这个方法呢?答案有两条:

  • 归一化能够加快梯度下降的步伐,也就是获得最优解的速度
  • 归一化能够提交模型的精度
具体的分析我们可以后续来讨论,这里就不赘述了。


归一化线性回归模型(Regularized Linear Regression)

我们之前讨论过,归一化代价函数。线性回归的代价函数和归一化代价函数的表达式是一样的:


如果我们使用梯度下降算法使得这个代价函数最小,那么我们得到的梯度下降算法将表现为以下形式:(我们未对ø0进行归一化)


对于上面的算法,j=1,2,3,...,n 时,更新的表达式可以进行调整得到:


可以看出来,归一化线性回归的梯度下降算法与之前的变化在于,每次在原有算法更新规则的基础之上都令ø的值减少了一个额外的值。

同样的,如果利用正规方程(Normal Equation)来求解归一化线性回归模型,表达式如下:


表达式中,矩阵的大小为n+1*n+1


归一化逻辑回归模型(Regularized Logistic Regression)

同样的,对于逻辑回归模型,我们也给代价函数增加一个归一化的表达式,便得到了如下的表达式:


要得到这个代价函数的最小值,通过求导,得到的梯度下降算法表达式如下:


注:只是看上去和线性回归一样,但是这里面的假设函数  ,所以与线性回归是不同的。


以上,便是归一化两个回归模型的内容了。至此,我们学习到的机器学习中回归模型的相关内容基本都涉及到了。下面将会讨论机器学习中重要的一个算法——神经网络(Neural Network)

相关文章
|
14天前
|
机器学习/深度学习 人工智能 算法
探索机器学习:从线性回归到深度学习
本文将带领读者从基础的线性回归模型开始,逐步深入到复杂的深度学习网络。我们将通过代码示例,展示如何实现这些算法,并解释其背后的数学原理。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和知识。让我们一起踏上这段激动人心的旅程吧!
|
27天前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的线性回归模型
本文深入探讨了机器学习中广泛使用的线性回归模型,从其基本概念和数学原理出发,逐步引导读者理解模型的构建、训练及评估过程。通过实例分析与代码演示,本文旨在为初学者提供一个清晰的学习路径,帮助他们在实践中更好地应用线性回归模型解决实际问题。
|
29天前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
1月前
|
机器学习/深度学习 数据采集 算法
探索机器学习中的线性回归
【10月更文挑战第25天】本文将深入浅出地介绍线性回归模型,一个在机器学习领域中广泛使用的预测工具。我们将从理论出发,逐步引入代码示例,展示如何利用Python和scikit-learn库实现一个简单的线性回归模型。文章不仅适合初学者理解线性回归的基础概念,同时也为有一定基础的读者提供实践指导。
|
2月前
|
机器学习/深度学习 算法 知识图谱
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
|
2月前
|
机器学习/深度学习 存储 自然语言处理
【机器学习】基于逻辑回归的分类预测
【机器学习】基于逻辑回归的分类预测
|
2月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
探索机器学习:从线性回归到深度学习
在这篇文章中,我们将一起踏上一场激动人心的旅程,穿越机器学习的广阔天地。我们将从最基本的线性回归开始,逐步深入到复杂的深度学习模型。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和深入的理解。让我们一起探索这个充满无限可能的世界吧!
|
2月前
|
机器学习/深度学习 API
机器学习入门(七):线性回归原理,损失函数和正规方程
机器学习入门(七):线性回归原理,损失函数和正规方程
|
2月前
|
机器学习/深度学习 算法 搜索推荐
机器学习入门(四):距离度量方法 归一化和标准化
机器学习入门(四):距离度量方法 归一化和标准化
|
2月前
|
机器学习/深度学习 算法
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)