斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

简介: (转载请注明出处:http://blog.csdn.net/buptgshengod)1.拟合问题       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.拟合问题

       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把x平方,,这个式子就会得到比较好的拟合。但是当我们把x三次方,四次方。。。都加上,就会出现过拟合。这三种情况分别对应下图的左1,右1,下。


2.局部权重回归(linear regression)

      上一节讲了回归问题。是通过全部数据集拟合出每个特征值对应的参数。在linear regression中,我们预测一个x它所对应的y,我们只要找到这个x周边的数值,拟合一条直线出来,就可以了。
       这里涉及到如何找到x周围的数值,这就涉及到一个截取近似数值的问题。Andrew使用的是一个类似于高斯公式变形的方法

3.最小二乘法

       在讲logical regression之前,Andrew还特意推导了一下为什么我们用最小二乘法来做判断。用到了中心极限定律。设噪声符合高斯分布,然后在log下推导。推出了用最小二乘法是判断预测结果的形式。

4.逻辑回归(logical regression)

      首先讲了为什么要用sigmoid函数,把离散的数据变为线性的。之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每个参数。
sigmoid函数:


目录
相关文章
|
3月前
|
机器学习/深度学习 算法
【机器学习】过拟合和欠拟合怎么判断,如何解决?(面试回答)
本文介绍了如何通过观察训练误差和验证误差来判断模型是否出现过拟合或欠拟合,并提供了相应的解决方案,包括增加数据、调整模型复杂度、使用正则化技术等。
263 1
|
16天前
|
机器学习/深度学习 算法 Python
深度解析机器学习中过拟合与欠拟合现象:理解模型偏差背后的原因及其解决方案,附带Python示例代码助你轻松掌握平衡技巧
【10月更文挑战第10天】机器学习模型旨在从数据中学习规律并预测新数据。训练过程中常遇过拟合和欠拟合问题。过拟合指模型在训练集上表现优异但泛化能力差,欠拟合则指模型未能充分学习数据规律,两者均影响模型效果。解决方法包括正则化、增加训练数据和特征选择等。示例代码展示了如何使用Python和Scikit-learn进行线性回归建模,并观察不同情况下的表现。
139 3
|
26天前
|
机器学习/深度学习 算法 知识图谱
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
|
26天前
|
机器学习/深度学习 算法 数据挖掘
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
|
26天前
|
机器学习/深度学习 存储 自然语言处理
【机器学习】基于逻辑回归的分类预测
【机器学习】基于逻辑回归的分类预测
|
26天前
|
机器学习/深度学习 算法
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
|
26天前
|
机器学习/深度学习 算法 API
【机器学习】正则化,欠拟合与过拟合(详细代码与图片演示!助你迅速拿下!!!)
【机器学习】正则化,欠拟合与过拟合(详细代码与图片演示!助你迅速拿下!!!)
|
3月前
|
机器学习/深度学习 人工智能 算法
【人工智能】机器学习、分类问题和逻辑回归的基本概念、步骤、特点以及多分类问题的处理方法
机器学习是人工智能的一个核心分支,它专注于开发算法,使计算机系统能够自动地从数据中学习并改进其性能,而无需进行明确的编程。这些算法能够识别数据中的模式,并利用这些模式来做出预测或决策。机器学习的主要应用领域包括自然语言处理、计算机视觉、推荐系统、金融预测、医疗诊断等。
56 1
|
3月前
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
65 3
|
3月前
|
机器学习/深度学习

热门文章

最新文章