斯坦福机器学习公开课学习笔记(3)—拟合问题以及局部权重回归、逻辑回归

简介: (转载请注明出处:http://blog.csdn.net/buptgshengod)1.拟合问题       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.拟合问题

       这节课首先讲到了一个我们经常遇到的问题,欠拟合(underfitting)以及过拟合(overfitting)。其中过拟合是最常见的,这个问题,来源于我们一个特征值的权重过于突出,就会造成过拟合。比如说我们有一个特征值X。就是容易造成欠拟合,因为这个结论是一条直线。但是,当我们把x平方,,这个式子就会得到比较好的拟合。但是当我们把x三次方,四次方。。。都加上,就会出现过拟合。这三种情况分别对应下图的左1,右1,下。


2.局部权重回归(linear regression)

      上一节讲了回归问题。是通过全部数据集拟合出每个特征值对应的参数。在linear regression中,我们预测一个x它所对应的y,我们只要找到这个x周边的数值,拟合一条直线出来,就可以了。
       这里涉及到如何找到x周围的数值,这就涉及到一个截取近似数值的问题。Andrew使用的是一个类似于高斯公式变形的方法

3.最小二乘法

       在讲logical regression之前,Andrew还特意推导了一下为什么我们用最小二乘法来做判断。用到了中心极限定律。设噪声符合高斯分布,然后在log下推导。推出了用最小二乘法是判断预测结果的形式。

4.逻辑回归(logical regression)

      首先讲了为什么要用sigmoid函数,把离散的数据变为线性的。之后就是通过上一节讲的梯度下降法的变形拟合出逻辑回归的每个参数。
sigmoid函数:


目录
相关文章
|
5月前
|
缓存 人工智能 负载均衡
PAI 重磅发布模型权重服务,大幅降低模型推理冷启动与扩容时长
阿里云人工智能平台PAI 平台推出模型权重服务,通过分布式缓存架构、RDMA高速传输、智能分片等技术,显著提升大语言模型部署效率,解决模型加载耗时过长的业界难题。实测显示,Qwen3-32B冷启动时间从953秒降至82秒(降幅91.4%),扩容时间缩短98.2%。
|
机器学习/深度学习 算法 知识图谱
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
【机器学习】逻辑回归原理(极大似然估计,逻辑函数Sigmod函数模型详解!!!)
|
机器学习/深度学习 存储 自然语言处理
【机器学习】基于逻辑回归的分类预测
【机器学习】基于逻辑回归的分类预测
|
机器学习/深度学习 算法
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
【机器学习】逻辑回归介绍(逻辑回归应用场景,原理,损失及优化详解!!!)
|
机器学习/深度学习 人工智能 算法
【人工智能】机器学习、分类问题和逻辑回归的基本概念、步骤、特点以及多分类问题的处理方法
机器学习是人工智能的一个核心分支,它专注于开发算法,使计算机系统能够自动地从数据中学习并改进其性能,而无需进行明确的编程。这些算法能够识别数据中的模式,并利用这些模式来做出预测或决策。机器学习的主要应用领域包括自然语言处理、计算机视觉、推荐系统、金融预测、医疗诊断等。
379 1
|
机器学习/深度学习 算法
【机器学习】SVM面试题:简单介绍一下SVM?支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择?SVM为什么采用间隔最大化?为什么要将求解SVM的原始问题转换为其对偶问题?
支持向量机(SVM)的介绍,包括其基本概念、与逻辑回归(LR)和决策树(DT)的直观和理论对比,如何选择这些算法,SVM为何采用间隔最大化,求解SVM时为何转换为对偶问题,核函数的引入原因,以及SVM对缺失数据的敏感性。
333 3
|
机器学习/深度学习 算法
【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比,该如何选择(面试回答)?
文章对支持向量机(SVM)、逻辑回归(LR)和决策树(DT)进行了直观和理论上的对比,并提供了在选择这些算法时的考虑因素,包括模型复杂度、损失函数、数据量需求、对缺失值的敏感度等。
426 1
|
机器学习/深度学习
【机器学习】逻辑回归LR的推导及特性是什么,面试回答?
逻辑回归(LR)的推导和特性的详细解释,包括其作为二分类模型的基本原理、损失函数(对数损失函数),以及决策树的特性,如不需要先验假设、高效性、易解释性、对缺失值的不敏感性,以及对冗余属性的鲁棒性。
214 1
|
机器学习/深度学习 数据采集 人工智能
|
机器学习/深度学习 数据采集 JavaScript
技术心得记录:机器学习——用逻辑回归及随机森林实现泰坦尼克号的生存预测
技术心得记录:机器学习——用逻辑回归及随机森林实现泰坦尼克号的生存预测
183 0