【人工智能】<吴恩达-机器学习>批量梯度下降&矩阵和向量运算概述

简介: 【1月更文挑战第26天】【人工智能】<吴恩达-机器学习>批量梯度下降&矩阵和向量运算概述

 目录

一、Gradient descent for liner regression - 线性回归:

1.线性回归的梯度下降法:

2."Batch" Gradient Descent - 批量梯度下降法:

二、Matrices and Vectors - 矩阵和向量:

1.Matrix:

2.Vector:

三、矩阵&向量运算:

1.Addition and scalar multiplication - 加法和标量乘法:

2.Matrix - Vector multiplication - 矩阵&向量乘法:

3.Matrix-Matrix multiplication - 矩阵&矩阵乘法:

4.Matrix multiplication properties - 矩阵特性:

5.特殊矩阵:

6.Inverse and transpose - 矩阵逆运算&转置:

矩阵的逆:

矩阵的转置:


一、Gradient descent for liner regression - 线性回归:

image.gif编辑

我们通过使用Gradient descent algorithm(梯度下降算法)来使得J()(损失函数)最小化或局部最小化。

1.线性回归的梯度下降法:

image.gif编辑

不断重复进行迭代计算,直到最终结果收敛!

注意:Update and simultaneously

数学推导:

image.gif编辑

Convex Function:

image.gif编辑

类似于这样的回归则会有全局且是唯一的最优解。

image.gif编辑

2."Batch" Gradient Descent - 批量梯度下降法:

       "Batch": Each step of gredient descent uses all the training examples.

       梯度下降算法需要对损失函数求梯度,也就是求导。

       批量梯度下降法是最原始的形式,它的具体思路是在更新每一参数时都使用所有的样本来进行梯度的更新。

       对损失函数求偏导(对 求偏导):

image.gif编辑

       更新值:

image.gif编辑

       不断重复这一步直到算法收敛,也就是对参数不断更新,直到梯度为0。但是,我们的每次迭代更新,都要对所有的m个样本数据进行求和。

       如何检测是否已经收敛了呢?

    • 一种是检验两次迭代,如果两次迭代中,是否改变了很多,如果在两次迭代中没怎么改变,我们或许就可以说算法有可能收敛了。
    • 另一种,更常用的方法是,检验的值,如果你试图最小化的量不再发生很大的改变时,你也许就可以认为它收敛了。

    优点:

      • 一次迭代是对所有样本进行计算,此时利用矩阵进行运算,实现了并行。
      • 由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。当目标函数为凸函数时,批量梯度下降一定能够得到全局最优解。

      缺点:

        • 有时我们会遇到样本数目 m 很大的训练集合,如果有几十上百万,甚至上亿的训练样本。这意味着我们每执行一次批梯度下降算法,都要对m个样本进行求和。我们的程序也就需要检测这上百万的样本,甚至我们完成值下降的第一步都十分困难。这样会导致,训练过程很慢,花费很长的时间。

        二、Matrices and Vectors - 矩阵和向量:

        1.Matrix:

        Matrix: Rectangular array of numbers:

        image.gif编辑

        Dimension of matrix: number of rows x number of cloumns

        2.Vector:

        image.gif编辑


        三、矩阵&向量运算:

        1.Addition and scalar multiplication - 加法和标量乘法:

        Matrix Additon: 对应位置上的元素进行直接相加减(只有同型矩阵才能进行该运算)。

        Scalar Multiplication: 常数乘除上矩阵响应位置上的元素,结果所得到的矩阵型式不变。

        2.Matrix - Vector multiplication - 矩阵&向量乘法:

        image.gif编辑

        3.Matrix-Matrix multiplication - 矩阵&矩阵乘法:

        image.gif编辑

        image.gif编辑

        4.Matrix multiplication properties - 矩阵特性:

        image.gif编辑

        矩阵&矩阵间的乘法:不满足乘法交换律,满足乘法结合率!

        5.特殊矩阵:

        image.gif编辑

        image.gif编辑

        单位矩阵和任何可乘的矩阵相乘,仍然等于该矩阵!

        6.Inverse and transpose - 矩阵逆运算&转置:

        矩阵的逆:

        Not all numbers have an inverse.

        image.gif编辑

        矩阵和该矩阵的逆相乘等于单位矩阵!

        image.gif编辑

        矩阵的转置:

        image.gif编辑

        image.gif编辑


        相关文章
        |
        10天前
        |
        机器学习/深度学习 人工智能 自然语言处理
        |
        24天前
        |
        机器学习/深度学习 人工智能 运维
        【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
        【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
        57 1
        |
        24天前
        |
        机器学习/深度学习 人工智能 自然语言处理
        【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
        【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
        65 1
        |
        1月前
        |
        机器学习/深度学习 人工智能 算法
        【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
        阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
        |
        1月前
        |
        机器学习/深度学习 人工智能 自然语言处理
        人工智能与机器学习:开启智能新时代的密钥
        人工智能与机器学习:开启智能新时代的密钥
        28 0
        |
        19天前
        |
        机器学习/深度学习 算法 搜索推荐
        Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
        Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
        |
        27天前
        |
        机器学习/深度学习 分布式计算 算法
        大模型开发:你如何确定使用哪种机器学习算法?
        在大型机器学习模型开发中,选择算法是关键。首先,明确问题类型(如回归、分类、聚类等)。其次,考虑数据规模、特征数量和类型、分布和结构,以判断适合的算法。再者,评估性能要求(准确性、速度、可解释性)和资源限制(计算资源、内存)。同时,利用领域知识和正则化来选择模型。最后,通过实验验证和模型比较进行优化。此过程涉及迭代和业务需求的技术权衡。
        |
        1月前
        |
        机器学习/深度学习 数据采集 算法
        构建高效机器学习模型:从数据处理到算法优化
        【2月更文挑战第30天】 在数据驱动的时代,构建一个高效的机器学习模型是实现智能决策和预测的关键。本文将深入探讨如何通过有效的数据处理策略、合理的特征工程、选择适宜的学习算法以及进行细致的参数调优来提升模型性能。我们将剖析标准化与归一化的差异,探索主成分分析(PCA)的降维魔力,讨论支持向量机(SVM)和随机森林等算法的适用场景,并最终通过网格搜索(GridSearchCV)来实现参数的最优化。本文旨在为读者提供一条清晰的路径,以应对机器学习项目中的挑战,从而在实际应用中取得更精准的预测结果和更强的泛化能力。
        |
        1月前
        |
        机器学习/深度学习 自然语言处理 算法
        【机器学习】包裹式特征选择之拉斯维加斯包装器(LVW)算法
        【机器学习】包裹式特征选择之拉斯维加斯包装器(LVW)算法
        51 0
        |
        1月前
        |
        机器学习/深度学习 存储 算法
        【机器学习】包裹式特征选择之基于遗传算法的特征选择
        【机器学习】包裹式特征选择之基于遗传算法的特征选择
        50 0

        热门文章

        最新文章