斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

简介: (转载请注明出处:http://blog.csdn.net/buptgshengod)1.拟合问题       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.拟合问题

       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把x平方,,这个式子就会得到比较好的拟合。但是当我们把x三次方,四次方。。。都加上,就会出现过拟合。这三种情况分别对应下图的左1,右1,下。


2.局部权重回归(linear regression)

      上一节讲了回归问题。是通过全部数据集拟合出每个特征值对应的参数。在linear regression中,我们预测一个x它所对应的y,我们只要找到这个x周边的数值,拟合一条直线出来,就可以了。
       这里涉及到如何找到x周围的数值,这就涉及到一个截取近似数值的问题。Andrew使用的是一个类似于高斯公式变形的方法

3.最小二乘法

       在讲logical regression之前,Andrew还特意推导了一下为什么我们用最小二乘法来做判断。用到了中心极限定律。设噪声符合高斯分布,然后在log下推导。推出了用最小二乘法是判断预测结果的形式。

4.逻辑回归(logical regression)

      首先讲了为什么要用sigmoid函数,把离散的数据变为线性的。之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每个参数。
sigmoid函数:


目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
|
7月前
|
机器学习/深度学习 算法
【机器学习】正则化 Regularization 过拟合欠拟合
【1月更文挑战第27天】【机器学习】正则化 Regularization 过拟合欠拟合
|
7月前
|
机器学习/深度学习 数据可视化 PyTorch
零基础入门语义分割-地表建筑物识别 Task5 模型训练与验证-学习笔记
零基础入门语义分割-地表建筑物识别 Task5 模型训练与验证-学习笔记
508 2
|
机器学习/深度学习 算法
20 机器学习 - Lineage逻辑回归算法分类案例
20 机器学习 - Lineage逻辑回归算法分类案例
76 0
|
7月前
|
机器学习/深度学习 数据采集 算法
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
136 0
【Python机器学习】过拟合及其抑制方法讲解及实战(图文解释 附源码)
|
7月前
|
机器学习/深度学习 Python
【Python机器学习】全连接层与非线性回归、防止过拟合方法的讲解及实战( 附源码)
【Python机器学习】全连接层与非线性回归、防止过拟合方法的讲解及实战( 附源码)
279 0
|
机器学习/深度学习 存储 算法
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
191 0
机器学习面试笔试知识点-线性回归、逻辑回归(Logistics Regression)和支持向量机(SVM)
|
7月前
|
机器学习/深度学习 存储 算法
Python | 机器学习之逻辑回归
Python | 机器学习之逻辑回归
47 0
|
7月前
|
机器学习/深度学习 算法
机器学习第7天:逻辑回归
机器学习第7天:逻辑回归
|
7月前
|
机器学习/深度学习 算法 计算机视觉
机器学习中的逻辑回归
机器学习中的逻辑回归
104 0