【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值

简介: 【1月更文挑战第26天】【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值

目录

一、Linear Regression with multiple variable - 多变量线性回归:

二、Gradient descent for multiple carables - 多变量梯度下降:

三、Feature Scaling - 特征缩放:

1.特征缩放方法:

2.归一化和标准化的区别:

四、Learning rate - 学习率:

五、Features and polynomial regression:


一、Linear Regression with multiple variable - 多变量线性回归:

image.gif编辑

image.gif编辑

Multivariate linear regression:    

image.gif编辑


二、Gradient descent for multiple carables - 多变量梯度下降:

image.gif编辑

image.gif编辑

image.gif编辑

image.gif编辑


三、Feature Scaling - 特征缩放:

image.gif编辑

1.特征缩放方法:

image.gif编辑

有一些时候,只对数据进行中心化和缩放是不够的,还需对数据进行白化(whitening)处理来消除特征间的线性相关性。

2.归一化和标准化的区别:

    • 归一化(normalization):归一化是将样本的特征值转换到同一量纲下,把数据映射到[0,1]或者[-1, 1]区间内。
    • 标准化(standardization):标准化是将样本的特征值转换为标准值(z值),每个样本点都对标准化产生影响。

    四、Learning rate - 学习率:

           首先我们简单回顾下什么是学习率,在梯度下降的过程中更新权重时的超参数,即下面公式中的:        

           学习率越低,损失函数的变化速度就越慢,容易过拟合。虽然使用低学习率可以确保我们不会错过任何局部极小值,但也意味着我们将花费更长的时间来进行收敛,特别是在被困在局部最优点的时候。而学习率过高容易发生梯度爆炸,loss振动幅度较大,模型难以收敛。下图是不同学习率的loss变化,因此,选择一个合适的学习率是十分重要的。

    image.gif编辑

    image.gif编辑

    image.gif编辑

    image.gif编辑


    五、Features and polynomial regression:

    image.gif编辑

    image.gif编辑

    image.gif编辑image.gif编辑

    可以通过选择不同的特征值,来对数据进行拟合!

    相关文章
    |
    9天前
    |
    机器学习/深度学习 人工智能 自然语言处理
    机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
    机器学习之线性回归与逻辑回归【完整房价预测和鸢尾花分类代码解释】
    |
    1月前
    |
    机器学习/深度学习 人工智能 算法
    【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
    阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
    |
    1月前
    |
    机器学习/深度学习 人工智能 自然语言处理
    人工智能与机器学习:开启智能新时代的密钥
    人工智能与机器学习:开启智能新时代的密钥
    23 0
    |
    14天前
    |
    机器学习/深度学习 人工智能 运维
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(二)
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
    47 1
    |
    14天前
    |
    机器学习/深度学习 人工智能 自然语言处理
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)(一)
    【人工智能技术专题】「入门到精通系列教程」打好AI基础带你进军人工智能领域的全流程技术体系(机器学习知识导论)
    53 1
    |
    1天前
    |
    机器学习/深度学习 人工智能 自然语言处理
    |
    29天前
    |
    机器学习/深度学习 人工智能 算法
    机器学习的魔法(一)从零开始理解吴恩达的精炼笔记
    机器学习的魔法(一)从零开始理解吴恩达的精炼笔记
    |
    1月前
    |
    机器学习/深度学习 人工智能 自然语言处理
    解密人工智能:探索机器学习奥秘
    解密人工智能:探索机器学习奥秘
    19 1
    |
    2月前
    |
    机器学习/深度学习 人工智能
    人工智能平台PAI问题之维度不匹配如何解决
    人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
    43 1
    |
    29天前
    |
    人工智能 安全 网络安全
    欧盟《人工智能法案》对通用AI模型的监管要求
    【2月更文挑战第24天】欧盟《人工智能法案》对通用AI模型的监管要求
    76 1
    欧盟《人工智能法案》对通用AI模型的监管要求

    热门文章

    最新文章