【人工智能】<吴恩达-机器学习>单变量的线性回归&认识梯度下降

简介: 【1月更文挑战第26天】【人工智能】<吴恩达-机器学习>单变量的线性回归&认识梯度下降

 目录

一、单变量线性回归 - Linear regession with one variable:

1.常用字符标识:

2.模型构建过程:

3.代价函数 - Cost Function:

4.Cost Function Intuition:

二、Gradient Descent -  梯度下降:

1.梯度下降概述:

2.梯度下降数学定义:

3.解析梯度下降:


一、单变量线性回归 - Linear regession with one variable:

image.gif编辑

Supervised Learning: Gives the "right answer" for each example in the data.

    • Regression Problem: Redict real-valued output
    • Classfication Problem: Discrate-value output

    1.常用字符标识:

    image.gif编辑

      • (x, y) = One training example

      2.模型构建过程:

      image.gif编辑

      Univariate liner regression

      3.代价函数 - Cost Function:

      image.gif编辑

      Cost Function 代价函数(squared error function)数学表达式:

      image.gif编辑

      4.Cost Function Intuition:

      image.gif编辑

        • m:训练样本的个数;
        • hθ(x):用参数θ和x预测出来的y值;
        • y:原训练样本中的y值,也就是标准答案
        • 上角标(i):第i个样本

               代价函数衡量的是模型预测值h(θ) 与标准答案y之间的差异,所以总的代价函数J是h(θ)和y的函数,即J=f(h(θ), y)。又因为y都是训练样本中给定的,h(θ)由θ决定,所以,最终还是模型参数θ的改变导致了J的改变。对于不同的θ,对应不同的预测值h(θ),也就对应着不同的代价函数J的取值。变化过程为:

        image.gif编辑

               θ引起了h(θ)的改变,进而改变了J(θ)的取值。为了更直观的看到参数对代价函数的影响,举个简单的例子:

               有训练样本{(0, 0), (1, 1), (2, 2), (4, 4)},即4对训练样本,每个样本对中第1个数表示x的值,第2个数表示y的值。这几个点很明显都是y=x这条直线上的点。如下图:

        image.gif编辑

               常数项为0,所以可以取θ0=0,然后取不同的θ1,可以得到不同的拟合直线。当θ1=0时,拟合的直线是y=0,即蓝色线段,此时距离样本点最远,代价函数的值(误差)也最大;当θ1=1时,拟合的直线是y=x,即绿色线段,此时拟合的直线经过每一个样本点,代价函数的值为0。

               通过下图可以查看随着θ1的变化,J(θ)的变化情况:

        image.gif编辑

               从图中可以很直观的看到θ对代价函数的影响,当θ1=1时,代价函数J(θ)取到最小值。因为线性回归模型的代价函数(均方误差)的性质非常好,因此也可以直接使用代数的方法,求J(θ)的一阶导数为0的点,就可以直接求出最优的θ值(正规方程法)。

        image.gif编辑

        image.gif编辑

        image.gif编辑


        二、Gradient Descent -  梯度下降:

        1.梯度下降概述:

        目的:最小化函数J

        image.gif编辑

        通过不断变化参数 的值,获取函数J的最小值或者局部最小值。

        image.gif编辑

        2.梯度下降数学定义:

        image.gif编辑

          • := 表示赋值Assiagnment
          • = 表示真假判断
          • 学习率learning rate,用来确定梯度下降时步长大小
          • 同步更新

          3.解析梯度下降:

          image.gif编辑

          案例说明:

          image.gif编辑

            • 情形1:单调下降,导数为负(梯度为负),要想找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)。x值会水平向右移动,也就是让x增大,此时随着x增大,导数(梯度)的绝对值是减小的
            • 情形2:单调上升,导数为正(梯度为正),要想找到函数的自变量的值(曲线最低点对应x的值)。x向左移动,也就是让x减小,此时随着x减小,导数(梯度)的绝对值是减小的(也就是梯度下降)。

            注意:

              • If is too small, gradient descent can be slow
              • If is too large, gradient descent can overshoot the minimum. It may fail to converge, or even diverge.

              image.gif编辑

                     当目前如果已经处于局部最优时,梯度下降法更新其实什么都没有做,因为在该点处的斜率值为0,他会始终保持在最优值处。

              image.gif编辑


              相关文章
              |
              9天前
              |
              机器学习/深度学习 人工智能 自然语言处理
              机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
              机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
              |
              1月前
              |
              机器学习/深度学习 人工智能 算法
              【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
              阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
              |
              1月前
              |
              机器学习/深度学习 人工智能 自然语言处理
              人工智能与机器学习:开启智能新时代的密钥
              人工智能与机器学习:开启智能新时代的密钥
              23 0
              |
              14天前
              |
              机器学习/深度学习 人工智能 运维
              【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
              【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
              47 1
              |
              14天前
              |
              机器学习/深度学习 人工智能 自然语言处理
              【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
              【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
              53 1
              |
              29天前
              |
              机器学习/深度学习 人工智能 算法
              机器学习的魔法(一)从零开始理解吴恩达的精炼笔记
              机器学习的魔法(一)从零开始理解吴恩达的精炼笔记
              |
              1月前
              |
              机器学习/深度学习 人工智能 自然语言处理
              解密人工智能:探索机器学习奥秘
              解密人工智能:探索机器学习奥秘
              19 1
              |
              2月前
              |
              机器学习/深度学习 人工智能
              人工智能平台PAI问题之维度不匹配如何解决
              人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
              43 1
              |
              28天前
              |
              人工智能 安全 网络安全
              欧盟《人工智能法案》对通用AI模型的监管要求
              【2月更文挑战第24天】欧盟《人工智能法案》对通用AI模型的监管要求
              75 1
              欧盟《人工智能法案》对通用AI模型的监管要求
              |
              2月前
              |
              Web App开发 人工智能 自然语言处理
              【人工智能时代】AI赋能编程 | 自动化工具助力高效办公
              【人工智能时代】AI赋能编程 | 自动化工具助力高效办公
              【人工智能时代】AI赋能编程 | 自动化工具助力高效办公

              热门文章

              最新文章