深度学习基础知识扫盲(2)

简介: Training Set/ Validation Set/ Test Set训练集:用来训练w,b的参数。生成w,b。交叉验证集、开发集、验证集:用来选择具体的模型。生成d。测试集:要有泛化评估能力,不能参与参数生成。

深度学习基础知识扫盲(1):https://developer.aliyun.com/article/1390825?spm=a2c6h.13148508.setting.24.25ef4f0eINdJn3

Training Set/ Validation Set/ Test Set

训练集:用来训练w,b的参数。生成w,b。

交叉验证集、开发集、验证集:用来选择具体的模型。生成d。

测试集:要有泛化评估能力,不能参与参数生成。


cf91eb769f754bd4af655f2c9bba88d4.png

高偏差/和高方差


image.png


左图是高偏差,右图是高方差。


高偏差不能只增大训练集数据量,没用!!


image.png


高方差可以增加训练集的数据量,来减小Jcv!!!


277da15b23034c3bb85ed4c90260d60a.png

针对高方差和高偏差的解决方法:


image.png

如何


image.png

正则化项(Lambda)

正则化可以调整参数的权重,从而影响fit的效果。


image.png


Lambda越大,算法越试图保持平方项越小,正则化项的权重越大,对训练集实际的表现关注越少。(欠拟合);Lambda越小,越过拟合。

基准性能水平

可以合理的希望学习算法最终达到的误差水平;建立基准性能水平常见的是:衡量人在这项任务上的表现;或者是对比其他相似的算法。


a4ff38a2634a4e25ac12c98fdc9edbac.png

学习曲线(learning curves)

为什么训练集越大,训练集的损失函数越大?

以右面的图为例:数据越多,二次函数越难拟合数据,只有一个数据时,能完美拟合,但当数据越来越越多,损失函数就越大。

为什么验证集的损失函数越来越小呢?

因为训练集越大,越可能准确,因此验证集的损失函数会变小。


64b2733d4dcc459184000c216b5a3f30.png

数据增强(data augmentation)

通过修改已有的数据,(图片放缩,反转,透视变换、扭曲失真)或者音频变换(添加背景噪音)来变成新的样例。通过这些方法,可以获得更多数据。


9d12af89989541b1b15ee780421e28eb.png

迁移学习(Transfer learning)

将别人训练好的模型和网络(包括参数,但不包括output layer的参数,因为结果不一样),完全复制过来,由于output lunits 不同,所以w5,b5不能用,因此用前4组w,b训练第五组‘或者仅仅复制网络,参数自己训练。


image.png

方法一:适用训练集较少的情况,数据不够。

方法二:使用训练集较多的情况,数据量充足,自己训练更好。


迁移学习的步骤:


9f2d5755a7514e55b05646f88ef1069e.png

准确率/召回率(Precision/recall)

(稀有病的预测)

Precision:预测的稀有病的准确率,如下表:(越高越好)

recall():在所有得病的人群中,被检测出有病的概率。越高越好。


image.png

如何权衡精度与召回率之间的关系:

高精度:更偏向于信任True

高召回:更偏向信任False


image.png

调和平均数(harmonic mean)

这种mean更加倾向于较小的平均数:


a1e87afaa5be4e71aa539958f9e10bb9.png


image.png

熵(Entrop)

表示一个样本的混乱程度,熵越大,样本越混乱,越不纯。


5ce7e2213194493b940281100fe5251b.png

深度学习基础知识扫盲(3):https://developer.aliyun.com/article/1390829?spm=a2c6h.13148508.setting.22.480c4f0e4XpETF

目录
相关文章
|
机器学习/深度学习 自然语言处理 算法
深度学习基础知识:介绍深度学习的发展历程、基本概念和主要应用
深度学习基础知识:介绍深度学习的发展历程、基本概念和主要应用
4646 0
|
6月前
|
机器学习/深度学习 运维 算法
深度学习基础知识扫盲(3)
信息增益(Information Gain) P96 熵的减少/减少杂质/增大纯度称为信息增益。 在构建决策树中,如何选择特征先后?如何停止构建树?
146 1
|
6月前
|
机器学习/深度学习 算法 搜索推荐
深度学习基础知识扫盲(1)
监督学习(Supervised learning) 计算机通过示例进行学习,它从过去的数据进行学习,并将学习结果应用到当前数据中,以预测未来事件,在这种情况下,输入和期望的输出数据都有助于预测未来事件。
176 0
|
机器学习/深度学习 人工智能 数据挖掘
【人工智能】45测试深度学习基础知识的数据科学家的问题(以及解决方案)(下)
【人工智能】45测试深度学习基础知识的数据科学家的问题(以及解决方案
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】45测试深度学习基础知识的数据科学家的问题(以及解决方案)(上)
【人工智能】45测试深度学习基础知识的数据科学家的问题(以及解决方案)
|
机器学习/深度学习 Python
使用Anaconda运行深度学习基础知识
使用Anaconda运行深度学习基础知识
133 0
使用Anaconda运行深度学习基础知识
|
机器学习/深度学习 人工智能 自然语言处理
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
深度学习(Deep Learning, DL)或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks, ANNs),在计算系统中实现人工智能 。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力 ,可以实现端到端的监督学习和非监督学习 。此外,深度学习也可参与构建强化学习(reinforcement learning)系统,形成深度强化学习 。
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
|
机器学习/深度学习 算法 程序员
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
|
机器学习/深度学习 人工智能 自然语言处理
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
|
7天前
|
机器学习/深度学习 人工智能 测试技术
深度学习在图像识别中的应用与挑战
本文探讨了深度学习技术,尤其是卷积神经网络(CNN)在图像识别任务中的最新进展和面临的主要挑战。通过分析不同的网络架构、训练技巧以及优化策略,文章旨在提供一个全面的概览,帮助研究人员和实践者更好地理解和应用这些技术。
36 9