《深度学习》李宏毅 -- task7总结

简介: 进一步学习机器学习基础,希望以后有机会多多实践,为以后进入这个领域做准备。

总结:


进一步学习机器学习基础,希望以后有机会多多实践,为以后进入这个领域做准备。


学习内容:


01-机器学习介绍

介绍机器学习的概念,监督学习,无监督学习,迁移学习,强化学习等概念


02-回归

介绍回归的概念,应用,线性回归,利用损失函数进行模型评估,使用梯度下降法拟合模型


03-误差和梯度下降

介绍偏差与方差,欠拟合与过拟合,交叉验证方法,梯度下降优化(学习率调节,随机梯度下降法,特征缩放等)


04-深度学习反向传播机制

介绍神经网络的构建,模型的评估,优化函数选择,梯度下降反向传播机制


05-网络设计技巧

介绍局部最小值与鞍点、批次与动量、自动调整学习率等

06-卷积神经网络

介绍CNN的特点,作用,与全连接的关系,卷积、池化的操作,CNN应用的场景

image.png


1. 初识机器学习

机器学习是让机器有自己学习的能力,是通过人类编写程序去实现这种能力的。

机器学习的技术多种多样,主要分为监督学习(分类、回归)、半监督学习、迁移学习、无监督学习和强化学习。

image.png



2 回归

当机器学习找到的一个功能时,它输出的结果是一个标量,称为回归。

image.png


3 误差和梯度下降

3.1 误差

image.png

误差为什么会产生,是由于方差和偏差的不同而导致的。

image.png


3.2 梯度下降


梯度下降底的直观解释如下:比如我们在一座大山上的某处位置,由于我们不知道怎么下山,于是决定走一步算一步,也就是在每走到一个位置的时候,求解当前位置的梯度,沿着梯度的负方向,也就是当前最陡峭的位置向下走一步,然后继续求解当前位置梯度,向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去,一直走到觉得我们已经到了山脚。当然这样走下去,有可能我们不能走到山脚,而是到了某一个局部的山峰低处。


可以通过调整学习率得到不同的值。



4 深度学习介绍

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。

image.png


5 网络设计的优化

批次和动量


批次是对某对象进行批量的处理,可以减少运算时间。

动量具有一定的惯性,让其沿着原有惯性的方向前行,从而不会被最低点卡住。

自动调整学习率


每一个时刻的学习率不应该都相同的,需要特制化。

6 卷积神经网络

image.png

目录
相关文章
|
机器学习/深度学习 运维 安全
异常检测|深度学习(李宏毅)(二十一)
异常检测|深度学习(李宏毅)(二十一)
890 0
异常检测|深度学习(李宏毅)(二十一)
|
机器学习/深度学习 编解码 算法
深度学习知识点全面总结(二)
深度学习定义:一般是指通过训练多层网络结构对未知数据进行分类或回归
493 0
深度学习知识点全面总结(二)
|
机器学习/深度学习 存储 人工智能
深度学习模型压缩方法的特点总结和对比
深度学习模型压缩方法的特点总结和对比
219 0
深度学习模型压缩方法的特点总结和对比
|
机器学习/深度学习 编解码 文字识别
深度学习系列资料总结(二)
深度学习定义:一般是指通过训练多层网络结构对未知数据进行分类或回归 深度学习分类: 有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等; 无监督学习方法——深度信念网、深度玻尔兹曼机,深度自编码器等。
775 0
|
机器学习/深度学习 算法 语音技术
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
|
机器学习/深度学习 人工智能 算法
深度学习系列资料总结(一)
深度学习定义:一般是指通过训练多层网络结构对未知数据进行分类或回归 深度学习分类: 有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等; 无监督学习方法——深度信念网、深度玻尔兹曼机,深度自编码器等。
435 0
深度学习系列资料总结(一)
|
机器学习/深度学习 自然语言处理 算法
深度学习知识点全面总结(一)
深度学习定义:一般是指通过训练多层网络结构对未知数据进行分类或回归
763 0
深度学习知识点全面总结(一)
|
机器学习/深度学习
《深度学习》李宏毅 -- task6卷积神经网络
CNN常常被用在影像处理上,比如说你想要做影像的分类,就是training一个neural network,input一张图片,然后把这张图片表示成里面的像素(pixel),也就是很长很长的矢量(vector)。output就是(假如你有1000个类别,output就是1000个dimension)dimension。
111 0
《深度学习》李宏毅 -- task6卷积神经网络
|
机器学习/深度学习
《深度学习》李宏毅 -- task5网络技巧设计
局部最小值saddle point和鞍点local minima
96 0
《深度学习》李宏毅 -- task5网络技巧设计
|
机器学习/深度学习
《深度学习》李宏毅 -- task4深度学习介绍和反向传播机制
Step1:神经网络(Neural network) Step2:模型评估(Goodness of function) Step3:选择最优函数(Pick best function)
104 0
《深度学习》李宏毅 -- task4深度学习介绍和反向传播机制