一篇文章教你用 11 行 Python 代码实现神经网络-阿里云开发者社区

开发者社区> 玄学酱> 正文

一篇文章教你用 11 行 Python 代码实现神经网络

简介:
+关注继续查看

声明:本文是根据英文教程 A Neural Network in 11 lines of Python(用 11 行 Python 代码实现的神经网络)学习总结而来,关于更详细的神经网络的介绍可以参考我的另一篇博客:从感知机到人工神经网络

如果你读懂了下面的文章,你会对神经网络有更深刻的认识,有任何问题,请多指教。

  Very simple Neural Network

首先确定我们要实现的任务:

一篇文章教你用 11 行 Python 代码实现神经网络


输出的为样本为 X 为 4*3,有 4 个样本 3 个属性,每一个样本对于这一个真实值 y,为 4*1 的向量,我们要根据 input 的值输出与 y 值损失最小的输出。

  Two Layer Neural Network

首先考虑最简单的神经网络,如下图所示:

一篇文章教你用 11 行 Python 代码实现神经网络


输入层有3个神经元(因为有3个属性),输出为一个值,w1,w2,w3为其权重。输出为: 

一篇文章教你用 11 行 Python 代码实现神经网络

这里的f为sigmoid函数: 

一篇文章教你用 11 行 Python 代码实现神经网络

一个重要的公式: 

一篇文章教你用 11 行 Python 代码实现神经网络

神经网络的优化过程是:

1. 前向传播求损失 
2. 反向传播更新w

简单是实现过程如下所示:


import numpy as np
# sigmoid function
# deriv=ture 是求的是导数
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))
# input dataset
X = np.array([  [0,0,1],
                [1,1,1],
                [1,0,1],
                [0,1,1] ])
# output dataset            
y = np.array([[0,1,1,0]]).T
# seed random numbers to make calculation
np.random.seed(1)
# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1
# 迭代次数
for iter in xrange(10000):
    # forward propagation
    # l0也就是输入层
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
    # how much did we miss?
    l1_error = y - l1
    # multiply how much we missed by the 
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)
    # update weights
    syn0 += np.dot(l0.T,l1_delta)
print "Output After Training:"
print l1


注意这里整体计算了损失,X(4*3) dot w(3*1) = 4*1 为输出的 4 个值,所以 
l1_error = y - l1 同样为一个 4*1 的向量。

重点理解:

  

 # slope of the sigmoid at the values in l1
   #nonlin(l1,True),这里是对sigmoid求导
   #前向计算,反向求导
   l1_delta = l1_error * nonlin(l1,True)  
  # update weights
   syn0 += np.dot(l0.T,l1_delta)

下面看一个单独的训练样本的情况,真实值y==1,训练出来的为0.99已经非常的接近于正确的值了,因此这时应非常小的改动syn0的值,因此:

一篇文章教你用 11 行 Python 代码实现神经网络

一篇文章教你用 11 行 Python 代码实现神经网络

运行输出结果为,可以看到其训练的不错:


Output After Training:
Output After Training:[[ 0.00966449]
[ 0.99211957]
[ 0.99358898]
[ 0.00786506]]123456123456


  Three Layer Neural Network

我们知道,两层的神经网络即为一个小的感知机(参考:感知机到人工神经网络),它只能出来线性可分的数据,如果线性不可分,则其出来的效果较差,如下图所示的数据:

 一篇文章教你用 11 行 Python 代码实现神经网络

如果仍用上述的代码(2层的神经网络)则其结果为:


Output After Training:[[ 0.5]
[ 0.5]
[ 0.5]
[ 0.5]]1234512345


因为数据并不是线性可分的,因此它是一个非线性的问题,神经网络的强大之处就是其可以搭建更多的层来对非线性的问题进行处理。

下面我将搭建一个含有5个神经元的隐含层,其图形如下,(自己画的,略丑),这来要说下神经网络其实很简单,只要你把层次的结果想清楚。

一篇文章教你用 11 行 Python 代码实现神经网络

要搞清楚w的维度:第一层到第二层的w为3*5,第二层到第三层的W为5*1,因此还是同样的两个步骤,前向计算误差,然后反向求导更新w。 

完整的代码如下:


import numpy as np
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))
X = np.array([[0,0,1],
            [0,1,1],
            [1,0,1],
            [1,1,1]])
y = np.array([[0],
            [1],
            [1],
            [0]])
np.random.seed(1)
# randomly initialize our weights with mean 0
syn0 = 2*np.random.random((3,5)) - 1
syn1 = 2*np.random.random((5,1)) - 1
for j in xrange(60000):
    # Feed forward through layers 0, 1, and 2
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
    l2 = nonlin(np.dot(l1,syn1))
    # how much did we miss the target value?
    l2_error = y - l2
    if (j% 10000) == 0:
        print "Error:" + str(np.mean(np.abs(l2_error)))
    # in what direction is the target value?
    # were we really sure? if so, don't change too much.
    l2_delta = l2_error*nonlin(l2,deriv=True)
    # how much did each l1 value contribute to the l2 error (according to the weights)?
    l1_error = l2_delta.dot(syn1.T)
    # in what direction is the target l1?
    # were we really sure? if so, don't change too much.
    l1_delta = l1_error * nonlin(l1,deriv=True)
    syn1 += l1.T.dot(l2_delta)
    syn0 += l0.T.dot(l1_delta)
print l2


运行的结果为:


Error:0.500628229093
Error:0.00899024507125
Error:0.0060486255435
Error:0.00482794013965
Error:0.00412270116481
Error:0.00365084766242
# 这一部分是最后的输出结果
[[ 0.00225305]
[ 0.99723356]
[ 0.99635205]
[ 0.00456238]]


如果上面的代码看懂了,那么你就可以自己搭建自己的神经网络了,无论他是多少层,或者每个层有多少个神经元,都能很轻松的完成。当然上面搭建的神经网络只是一个很简单的网络,同样还有许多的细节需要学习,比如说反向传回来的误差我们可以用随机梯度下降的方法去更新W,同时还可以加上偏置项b,还有学习率 α 等问题。





本文作者:AI研习社
本文转自雷锋网禁止二次转载,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
纯Python实现鸢尾属植物数据集神经网络模型
本文以Python代码完成整个鸾尾花图像分类任务,没有调用任何的数据包,适合新手阅读理解,并动手实践体验下机器学习方法的大致流程。
10108 0
手把手教你生成对抗网络 GAN,50 行代码玩转 GAN 模型!
本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。
1623 0
三层BP神经网络的python实现
这是一个非常漂亮的三层反向传播神经网络的python实现,下一步我准备试着将其修改为多层BP神经网络。   下面是运行演示函数的截图,你会发现预测的结果很惊人!         提示:运行演示函数的时候,可以尝试改变隐藏层的节点数,看节点数增加了,预测的精度会否提升   ...
1007 0
生成对抗网络入门指南(内含资源和代码)
生成对抗网络是由两个相互竞争的网络组成的深度神经网络架构。本文对其进行详细讲解,并附上大量相关英文文章链接供参考。
7527 0
Python聊天机器人实现代码【NLTK】
聊天机器人(Chatbot)是一种人工智能软件,利用它你可以通过网站、手机App或电话等途径和用户进行自然语言对话。聊天机器人可以在不同的行业中应用于不同的场景。NLTK是进行自然语言处理(NLP)的领先的Python开发包 — 另一个常用的NLP开发包是Spacy — 在这个教程中,我们将使用NLTK开发库创建一个简单的聊天机器人。
1974 0
05.Java网络编程(代码实践)
计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路链接起来,在网络操作系统,网络管理软件及网络通信协议的协调下,实现资源贡献和信息传递的计算机系统 网络编程就是用来实现网络互连的不同计算机上运行的程序间可以进行数据交换 网...
783 0
Boltzmann机神经网络python实现
(python 3)   1 import numpy 2 from scipy import sparse as S 3 from matplotlib import pyplot as plt 4 from scipy.
802 0
独家 | 一文教你如何处理不平衡数据集(附代码)
本文作者用python代码示例解释了3种处理不平衡数据集的可选方法,包括数据层面上的2种重采样数据集方法和算法层面上的1个集成分类器方法。
1020 0
+关注
玄学酱
这个时候,玄酱是不是应该说点什么...
20710
文章
438
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载