斯坦福机器学习公开课学习笔记(2)—监督学习 梯度下降

简介: (转载请注明出处:http://blog.csdn.net/buptgshengod)1.感受        这一节课Andrew讲的是监督学习应用中的梯度下降方法(Supervised-Learning,grading and descent)。        公式比较多,不过还比较基础,主要是一些矩阵论的应用。2.笔记         Grading and descent 主要

(转载请注明出处:http://blog.csdn.net/buptgshengod)

1.感受

        这一节课Andrew讲的是监督学习应用中的梯度下降方法(Supervised-Learning,grading and descent)。
        公式比较多,不过还比较基础,主要是一些矩阵论的应用。

2.笔记   

      Grading and descent 主要用到的就是一个回归的思路。整体的流程见下图。

      X1,X2....表示的不同的特征,经过算法H的变化,输出Y1,Y2......。可以用公式表达为,X边上的变量就是我们要回归得到的系数。
     判断公式。这个ml回归中常用的判断公式,当J函数取到最下情况就是我们所需要的结果。
     Andrew形容梯度下降好比一个下山问题。我们首先随机选择出发点,也就是的取值,然后通过J函数求导,不断改变的值,得到最终的回归公式。这就类比于我们一步一步下山,直到山底,值不再变化。
    梯度下降还有一个特点就是最终的值根据不同的出发点而不同。
    

目录
相关文章
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
梯度下降求极值,机器学习&深度学习
梯度下降求极值,机器学习&深度学习
60 0
|
23天前
|
机器学习/深度学习 自然语言处理 算法
机器学习核心:监督学习与无监督学习
本文深入解析了机器学习中的监督学习与无监督学习,涵盖理论基础、应用场景及典型算法实现,如线性回归、决策树、K均值聚类和主成分分析,并通过代码示例加深理解。适合初学者和进阶者阅读。
78 5
|
2月前
|
机器学习/深度学习 算法 Python
“探秘机器学习的幕后英雄:梯度下降——如何在数据的海洋中寻找那枚失落的钥匙?”
【10月更文挑战第11天】梯度下降是机器学习和深度学习中的核心优化算法,用于最小化损失函数,找到最优参数。通过计算损失函数的梯度,算法沿着负梯度方向更新参数,逐步逼近最小值。常见的变种包括批量梯度下降、随机梯度下降和小批量梯度下降,各有优缺点。示例代码展示了如何用Python和NumPy实现简单的线性回归模型训练。掌握梯度下降有助于深入理解模型优化机制。
34 2
|
2月前
|
机器学习/深度学习 算法 大数据
机器学习入门:梯度下降算法(下)
机器学习入门:梯度下降算法(下)
|
2月前
|
机器学习/深度学习 传感器 算法
机器学习入门(一):机器学习分类 | 监督学习 强化学习概念
机器学习入门(一):机器学习分类 | 监督学习 强化学习概念
|
2月前
|
机器学习/深度学习 算法
机器学习入门:梯度下降算法(上)
机器学习入门:梯度下降算法(上)
|
4月前
|
机器学习/深度学习 算法 Python
【绝技揭秘】Andrew Ng 机器学习课程第十周:解锁梯度下降的神秘力量,带你飞速征服数据山峰!
【8月更文挑战第16天】Andrew Ng 的机器学习课程是学习该领域的经典资源。第十周聚焦于优化梯度下降算法以提升效率。课程涵盖不同类型的梯度下降(批量、随机及小批量)及其应用场景,介绍如何选择合适的批量大小和学习率调整策略。还介绍了动量法、RMSProp 和 Adam 优化器等高级技巧,这些方法能有效加速收敛并改善模型性能。通过实践案例展示如何使用 Python 和 NumPy 实现小批量梯度下降。
44 1
|
4月前
|
机器学习/深度学习 算法 Python
探索机器学习中的梯度下降优化算法
【8月更文挑战第1天】在机器学习的广阔天地里,梯度下降法如同一位勇敢的探险家,指引我们穿越复杂的数学丛林,寻找模型参数的最优解。本文将深入探讨梯度下降法的核心原理,并通过Python代码示例,展示其在解决实际问题中的应用。
88 3
|
6月前
|
机器学习/深度学习 人工智能 算法
【机器学习】深度探索:从基础概念到深度学习关键技术的全面解析——梯度下降、激活函数、正则化与批量归一化
【机器学习】深度探索:从基础概念到深度学习关键技术的全面解析——梯度下降、激活函数、正则化与批量归一化
79 3
|
7月前
|
机器学习/深度学习 人工智能 运维