DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略-阿里云开发者社区

开发者社区> 一个处女座的程序猿> 正文

DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略

简介: DL:深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
+关注继续查看

目录


深度学习(神经网络)的简介


1、深度学习浪潮兴起的三大因素


深度学习(神经网络)的基础知识(相关概念、训练策略)


1、神经网络的基础知识


2、神经元的结构


3、感知机


4、万能逼近定理


5、神经网络训练


6、神经网络学习


7、神经网络的前馈运算与反向传播


8、激活函数


深度学习(神经网络)的算法分类


1、常用的神经网络模型概览


深度学习(神经网络)的经典案例应用



深度学习(神经网络)的简介


      深度学习(Deep Learning, DL)或阶层学习(hierarchical learning)是机器学习的技术和研究领域之一,通过建立具有阶层结构的人工神经网络(Artifitial Neural Networks, ANNs),在计算系统中实现人工智能  。由于阶层ANN能够对输入信息进行逐层提取和筛选,因此深度学习具有表征学习(representation learning)能力 ,可以实现端到端的监督学习和非监督学习 。此外,深度学习也可参与构建强化学习(reinforcement learning)系统,形成深度强化学习  。


      深度学习所使用的阶层ANN具有多种形态,其阶层的复杂度被通称为“深度”  。按构筑类型,深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑  。深度学习使用数据对其构筑中的参数进行更新以达成训练目标,该过程被通称为“学习”  。学习的常见方法为梯度下降算法及其变体 ,一些统计学习理论被用于学习过程的优化 [9]  。


       在应用方面,深度学习被用于对复杂结构和大样本的高维数据进行学习,按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等,且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。


1、深度学习浪潮兴起的三大因素

海量的数据

不断提升的算法能力

高性能计算硬件的实现:GPU、TPU


深度学习(神经网络)的基础知识(相关概念、训练策略)


      深度学习的实质是构建具有多个隐藏层的机器学习模型,通过海量的训练数据来学习更有用的特征,从而最终提升分类或预测的准确性。“深度模型”是手段,“表示学习”是目的。

      深度学习与传统的浅层学习的不同在于:


(1) 强调了模型结构的深度,有2层以上的隐藏层;

(2) 明确突出了表示学习的重要性。通过逐层特征变换,将样本在原空间的特征表示变换到一个新的特征空间,使分类或预测更加容易。

image.png

DL之DNN优化技术:神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略

DL之DNN:BP类神经网络理解之不需要额外任何文字,只需要八张图讲清楚BP类神经网络的工作原理


1、神经网络的基础知识


神经元

感知机

激活函数:Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Softmax。

多层感知机:

万能逼近定理:


2、神经元的结构


生物神经元包括细胞体和突起两个部分,突起又包括树突(接收信号)和轴突(传出信号)。

轴突记录了神经元间联系的强弱。只有达到一定的兴奋程度,神经元才向外界传输信息。

神经元之间的信号通过突触传递。

image.png


3、感知机

DL之Perceptron:Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略



4、万能逼近定理


(Universal approximation theorem)


只需一个包含单个隐藏层的前馈神经网络,即可逼近任意一个连续函数。

尽管仅有一个隐藏层的前馈网络足以表示任何函数,但是该隐藏层的神经元数目可能非常多,从而导致网络无法学习或正确泛化。


5、神经网络训练


(1)、损失函数:

平均损失函数

绝对值损失函数

交叉熵损失函数:softmax回归,独热编码。


(2)、优化目标


(3)、梯度下降:


梯度下降批次训练策略:

          批次梯度下降(Batch Gradient Descent)、

          随机梯度下降(Stochastic Gradient Descent)、

          小批次梯度下降(Mini-batch Gradient Descent)、

DL之DNN优化技术:神经网络算法简介之梯度下降算法(GD算法)中相关概念(方向导数/梯度)、目标函数、其他常见损失函数求梯度(求导)案例之详细攻略


梯度下降各种优化算法:Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam

(4)、反向传播法:计算图解释


1、神经网络训练的优化目标

image.png







版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【Elastic Engineering】Elasticsearch:使用 Elasticsearch 在键入时实现类似 Linkedin 的搜索
Elasticsearch:使用 Elasticsearch 在键入时实现类似 Linkedin 的搜索
11 0
Aerospike在实时竞价广告中的应用
Aerospike在实时竞价广告中的应用
8 0
携科技、与智能同行-CSDI技术峰会有感
携科技、与智能同行-CSDI技术峰会有感
6 0
阿里云,容器服务领导者!
日前,权威咨询机构 Forrester 发布:2022 Q1 全球公共云容器平台报告,阿里云稳居“领导者”象限,当前容器产品能力评分最高
15 0
其他学习算法| 学习笔记
快速学习其他学习算法
9 0
+关注
一个处女座的程序猿
国内互联网圈知名博主、人工智能领域优秀创作者,全球最大中文IT社区博客专家、CSDN开发者联盟生态成员、中国开源社区专家、华为云社区专家、51CTO社区专家、Python社区专家等,曾受邀采访和评审十多次。仅在国内的CSDN平台,博客文章浏览量超过2500万,拥有超过57万的粉丝。
1701
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载