用Python 进行深度学习

简介: 深度学习背后的主要原因是人工智能应该从人脑中汲取灵感。本文就用一个小例子无死角的介绍一下深度学习!

人脑模拟

    深度学习背后的主要原因是人工智能应该从人脑中汲取灵感。此观点引出了“神经网络”这一术语。人脑中包含十亿个神经元,它之间有万个接。很多情况下,深度学习算法和人脑相似,因为人脑和深度学习模型都拥有大量的编译单元(神经元),这些编译单元(神经元)在独立的情况下都不太智能,但是当他们相互作用时就会变得智能。

    我认为人们需要了解到深度学习正在使得很多幕后的事物变得更好。深度学习已经应用于谷歌搜索和图像搜索,你可以通过它搜索像“拥抱”这样的词语以获得相应的图像。-杰弗里·辛顿

神经元

    神经网络的基本构建模块是人工神经元,它模仿了人类大脑的神经元。这些神经元是简单、强大的计算单元,拥有加权输入信号并且使用激活函数产生输出信号。这些神经元分布在神经网络的几个层中。

81bb8545cf2cbb1523ec5cfb667831ce4aab2f50

inputs 输入 outputs 输出 weights 权值 activation 激活

人工神经网络的工作原理是什么?

    深度学习由人工神经网络构成,该网络模拟了人脑中类似的网络。当数据穿过这个人工网络时,每一层都会处理这个数据的一方面,过滤掉异常值,辨认出熟悉的实体,并产生最终输出。

08a2192dd9da5f3732e7cafea5a79f89dc33c07c

输入层:该层由神经元组成,这些神经元只接收输入信息并将它传递到其他层。输入层的图层数应等于数据集里的属性或要素的数量。输出层:输出层具有预测性,其主要取决于你所构建的模型类型。隐含层:隐含层处于输入层和输出层之间,以模型类型为基础。隐含层包含大量的神经元。处于隐含层的神经元会先转化输入信息,再将它们传递出去。随着网络受训练,权重得到更新,从而使其更具前瞻性。

神经元的权重

    权重是指两个神经元之间的连接的强度或幅度。你如果熟悉线性回归的话,可以将输入的权重类比为我们在回归方程中用的系数。权重通常被初始化为小的随机数值,比如数值0-1。

前馈深度网络

前馈监督神经网络曾是第一个也是最成功的学习算法。该网络也可被称为深度网络、多层感知机(MLP)或简单神经网络,并且阐明了具有单一隐含层的原始架构。每个神经元通过某个权重和另一个神经元相关联。

    该网络处理向前处理输入信息,激活神经元,最终产生输出值。在此网络中,这称为前向传递。

821dc6d79528c226583bc9f03a1874c0a4980286

input layer 输入层   hidden layer 输出层  output layer 输出层

激活函数

激活函数就是求和加权的输入到神经元的输出的映射。之所以称之为激活函数或传递函数是因为它控制着激活神经元的初始值和输出信号的强度。

用数学表示为:

4de61b06389d734c54770b66faeb3b905b3a5440

    我们有许多激活函数,其中使用最多的是整流线性单元函数、双曲正切函数和solfPlus函数。

激活函数的速查表如下:

f76faee803c9ec3e73e7c52d1915eba04a00f041

反向传播

    在网络中,我们将预测值与预期输出值相比较,并使用函数计算其误差。然后,这个误差会传回这个网络,每次传回一个层,权重也会根绝其导致的误差值进行更新。这个聪明的数学法是反向传播算法。这个步骤会在训练数据的所有样本中反复进行,整个训练数据集的网络更新一轮称为一个时期。一个网络可受训练数十、数百或数千个时期。

a0331b7477e97d8cfc644590ee089087caa3f8cb

prediction error 预测误差

代价函数和梯度下降

    代价函数度量了神经网络对给定的训练输入和预期输出“有多好”。该函数可能取决于权重、偏差等属性。

    代价函数是单值的,并不是一个向量,因为它从整体上评估神经网络的性能。在运用梯度下降最优算法时,权重在每个时期后都会得到增量式地更新。

兼容代价函数

用数学表述为差值平方和:

21ed08df4c772fc64da20535c7f83cf0c0b357da

target 目标值 output 输出值

    权重更新的大小和方向是由在代价梯度的反向上采取步骤计算出的。

a7bcdf5994e9f93943d16f88d821db0103581caf

其中η 是学习率

    其中Δw是包含每个权重系数w的权重更新的向量,其计算方式如下:

df6ca5df8fef05ad5e7c53a355b7becc5af33894

target 目标值 output 输出值

图表中会考虑到单系数的代价函数

826e54071c05412da2a0fca9a49e80081e9f24b0

initial weight 初始权重 gradient 梯度 global cost minimum 代价极小值

    在导数达到最小误差值之前,我们会一直计算梯度下降,并且每个步骤都会取决于斜率(梯度)的陡度。

多层感知器(前向传播)

    这类网络由多层神经元组成,通常这些神经元以前馈方式(向前传播)相互连接。一层中的每个神经元可以直接连接后续层的神经元。在许多应用中,这些网络的单元会采用S型函数或整流线性单元(整流线性激活)函数作为激活函数

   现在想想看要找出处理次数这个问题,给定的账户和家庭成员作为输入

    要解决这个问题,首先,我们需要先创建一个前向传播神经网络。我们的输入层将是家庭成员和账户的数量,隐含层数为1, 输出层将是处理次数。

    将图中输入层到输出层的给定权重作为输入:家庭成员数为2、账户数为3。

现在将通过以下步骤使用前向传播来计算隐含层(i,j)和输出层(k)的值。

步骤:

1, 乘法-添加方法。

2, 点积(输入*权重)。

3,一次一个数据点的前向传播。

4, 输出是该数据点的预测。

c7ab55a3f2feba860848eb652496318ff8841fea

i的值将从相连接的神经元所对应的输入值和权重中计算出来。

i = (2 * 1) + (3 * 1)    → i = 5

同样地,j = (2 * -1) + (3 * 1)   → j = 1

K = (5 * 2) + (1 * -1)   → k = 9

3597586916413f522b8f88e53881531097f72782

Python中的多层感知器问题的解决

7b89e2efd3dcfcc43de76e90a3e782fca55b86be

dbd327a6fdd02e5ef77bd2f84ec904f20df00f28

激活函数的使用

    为了使神经网络达到其最大预测能力,我们需要在隐含层应用一个激活函数,以捕捉非线性。我们通过将值代入方程式的方式来在输入层和输出层应用激活函数。

这里我们使用整流线性激活(ReLU):

99ad9b325cb015a72c32870698321a1e11246395

1706e626be999c3147b7bdb6bf60c888430ad1f6

2201ef8adbef498626b503713ab0d2c6e9d7c423

用Keras开发第一个神经网络

关于Keras:

    Keras是一个高级神经网络的应用程序编程接口,由Python编写,能够搭建在TensorFlow,CNTK,Theano上。

    使用PIP在设备上安装Keras,并且运行下列指令。

ea6b60dd8a75a80a8332348dd08e4a6238463c7c

在keras执行深度学习程序的步骤

1,加载数据;

2,创建模型;

3,编译模型;

4,拟合模型;

5,评估模型;

开发Keras模型

   全连接层用Dense表示。我们可以指定层中神经元的数量作为第一参数,指定初始化方法为第二参数,即初始化参数,并且用激活参数确定激活函数。既然模型已经创建,我们就可以编译它。我们在底层库(也称为后端)用高效数字库编译模型,底层库可以用Theano或TensorFlow。目前为止,我们已经完成了创建模型和编译模型,为进行有效计算做好了准备。现在可以在PIMA数据上运行模型了。我们可以在模型上调用拟合函数f(),以在数据上训练或拟合模型。

我们先从KERAS中的程序开始,

2a4f9ddb17f0ee3eb09d188ad48ac3be672651b7

f37613cd9fb9e0eb30fb4816d5a89a2b1361de62

神经网络一直训练到150个时期,并返回精确值。


本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Deep Learning With Python》

作者:Vihar Kurama 

译者:荷叶

文章为简译,更为详细的内容,请查看原文 。

相关文章
|
8天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能社交媒体内容分析
使用Python实现深度学习模型:智能社交媒体内容分析
130 70
|
11天前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
23 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
9天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能新闻生成与校对
使用Python实现深度学习模型:智能新闻生成与校对
32 10
|
7天前
|
机器学习/深度学习 数据采集 网络安全
使用Python实现深度学习模型:智能网络安全威胁检测
使用Python实现深度学习模型:智能网络安全威胁检测
33 5
|
6天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:智能数据隐私保护
使用Python实现深度学习模型:智能数据隐私保护
17 1
|
10天前
|
机器学习/深度学习 数据采集 自然语言处理
使用Python实现深度学习模型:智能广告创意生成
使用Python实现深度学习模型:智能广告创意生成
27 4
|
11天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:智能电影制作与剪辑
使用Python实现深度学习模型:智能电影制作与剪辑
28 5
|
12天前
|
机器学习/深度学习 数据采集 人工智能
使用Python实现深度学习模型:智能音乐创作与生成
使用Python实现深度学习模型:智能音乐创作与生成
33 3
|
11天前
|
机器学习/深度学习 人工智能 算法
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台。果蔬识别系统,本系统使用Python作为主要开发语言,通过收集了12种常见的水果和蔬菜('土豆', '圣女果', '大白菜', '大葱', '梨', '胡萝卜', '芒果', '苹果', '西红柿', '韭菜', '香蕉', '黄瓜'),然后基于TensorFlow库搭建CNN卷积神经网络算法模型,然后对数据集进行训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地文件方便后期调用。再使用Django框架搭建Web网页平台操作界面,实现用户上传一张果蔬图片识别其名称。
30 0
【果蔬识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
13天前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:智能艺术品鉴定与修复
使用Python实现深度学习模型:智能艺术品鉴定与修复
37 1
下一篇
无影云桌面