开发者社区> 罗兵> 正文

极简反传(BP)神经网络

简介:  一、两层神经网络(感知机) import numpy as np '''极简两层反传(BP)神经网络''' # 样本 X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]]) y = np.
+关注继续查看

 

 一、两层神经网络(感知机)

import numpy as np

'''极简两层反传(BP)神经网络'''

# 样本
X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([0,0,1,1])
 
# 权值矩阵 初始化
Wi = 2 * np.random.random(3) - 1
 
for iter in range(10000):
    # 前向传播,计算误差
    li = X
    lo = 1 / (1 + np.exp(-np.dot(li, Wi))) # 激活函数:sigmoid
    lo_error = y - lo

    # 后向传播,更新权值
    lo_delta = lo_error * lo * (1 - lo)    # sigmoid函数的导数(梯度下降)
    Wi += np.dot(lo_delta, li)
    
print("训练效果:\n", lo)

说明:

  只有两层:输入层/输出层, 本质是感知机

  离线算法:批量学习(numpy矩阵运算的威力在此体现出来了

  效果还蛮不错:

    

 

二、三层神经网络

import numpy as np

'''极简三层反传(BP)神经网络'''

# 样本
X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([0,1,1,0])

# 权值矩阵
Wi = 2 * np.random.random((3, 5)) - 1
Wh = 2 * np.random.random(5) - 1

# 训练
for i in range(10000):
    # 前向传播,计算误差
    li = X
    lh = 1 / (1 + np.exp(-np.dot(li, Wi)))
    lo = 1 / (1 + np.exp(-np.dot(lh, Wh)))
    lo_error = y - lo
    
    # 后向传播,更新权值
    lo_delta = lo_error * (lo * (1 - lo))
    lh_delta = np.outer(lo_delta, Wh) * (lh * (1 - lh)) # 外积!感谢 numpy 的强大!
    Wh += np.dot(lh.T, lo_delta)
    Wi += np.dot(li.T, lh_delta)
    
print("训练之后:\n", lo)

说明: 增加了一个隐藏层(五个节点)

 

三、四层神经网络

import numpy as np

'''极简四层反传(BP)神经网络'''

# 样本
X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([0,1,1,0])

# 权值矩阵
Wi  = 2 * np.random.random((3, 5)) - 1
Wh1 = 2 * np.random.random((5, 4)) - 1
Wh2 = 2 * np.random.random(4) - 1

# 训练
for i in range(10000):
    # 前向传播,计算误差
    li = X
    lh1 = 1 / (1 + np.exp(-np.dot(li,  Wi )))
    lh2 = 1 / (1 + np.exp(-np.dot(lh1, Wh1)))
    lo  = 1 / (1 + np.exp(-np.dot(lh2, Wh2)))
    lo_error = y - lo
    
    # 后向传播,更新权值
    lo_delta = lo_error * (lo * (1 - lo))
    lh2_delta = np.outer(lo_delta, Wh2.T) * (lh2 * (1 - lh2))
    lh1_delta = np.dot(lh2_delta, Wh1.T) * (lh1 * (1 - lh1))  # 注意:这里是dot!
    
    Wh2 += np.dot(lh2.T, lo_delta)
    Wh1 += np.dot(lh1.T, lh2_delta)
    Wi  += np.dot(li.T,  lh1_delta)
    
print("训练之后:\n", lo)

说明: 增加了两个隐藏层(五个节点,四个节点)

 

四、三层神经网络的另一种方式

import numpy as np

# 样本
X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([0,1,1,0])

ni = 3 # 输入层节点数
nh = 5 # 隐藏层节点数
no = 2 # 输出层节点数(注意这里是2!!)

# 初始化矩阵、偏置
Wi = np.random.randn(ni, nh) / np.sqrt(ni)
Wh = np.random.randn(nh, no) / np.sqrt(nh)
bh = np.zeros(nh)
bo = np.zeros(no)

# 训练
for i in range(1000):
    # 前向传播
    li = X
    lh = np.tanh(np.dot(X, Wi) + bh)     # tanh 函数
    lo = np.exp(np.dot(lh, Wh) + bo)
    probs = lo / np.sum(lo, axis=1, keepdims=True)

    # 后向传播
    lo_delta = probs
    lo_delta[range(X.shape[0]), y] += 1 # -=1
    lh_delta = np.dot(lo_delta, Wh.T) * (1 - np.power(lh, 2)) # tanh 函数的导数

    # 更新权值、偏置
    epsilon = 0.01    # 学习速率
    lamda = 0.01      # 正则化强度 
    bo += -epsilon * np.sum(lo_delta, axis=0, keepdims=True).reshape(-1)
    Wh += -epsilon * (np.dot(lh.T, lo_delta) + lamda * Wh)
    bh += -epsilon * np.sum(lh_delta, axis=0)
    Wi += -epsilon * (np.dot(X.T, lh_delta) + lamda * Wi)
    
    
print("训练之后:\n", np.argmax(probs, axis=1))

说明:

  1. 输出层有两个节点。其原因是样本有两种类别(最值得注意

  2. 添加了偏置、学习速率、正则化强度

  3. 预测结果是: np.argmax(probs, axis=1)

  4. 当然,也可以推广到多个隐藏层的情况

 

五、任意层数的神经网络

import numpy as np

# 样本
X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([0,1,1,0])

# 神经网络结构,层数任意!
sizes = [3,5,7,2]

# 初始化矩阵、偏置
biases = [np.random.randn(j) for j in sizes[1:]]
weights = [np.random.randn(i,j) for i,j in zip(sizes[:-1], sizes[1:])]

layers = [None] * len(sizes)
layers[0] = X
layers_delta = [None] * (len(sizes) - 1)

epsilon = 0.01 # 学习速率
lamda = 0.01   # 正则化强度

# 训练
for i in range(1000):
    # 前向传播
    for i in range(1, len(layers)):
        layers[i] = 1 / (1 + np.exp(-(np.dot(layers[i-1], weights[i-1]) + biases[i-1])))
    
    # 后向传播
    probs = layers[-1] / np.sum(layers[-1], axis=1, keepdims=True)
    layers_delta[-1] = probs
    layers_delta[-1][range(X.shape[0]), y] += 1
    for i in range(len(sizes)-2, 0, -1):
        layers_delta[i-1] = np.dot(layers_delta[i], weights[i].T) * (layers[i] * (1 - layers[i]))

    # 更新权值、偏置
    for i in range(len(sizes)-2, -1, -1):
        biases[i]  -= epsilon * np.sum(layers_delta[i], axis=0)
        weights[i] -= epsilon * (np.dot(layers[i].T, layers_delta[i]) + lamda * weights[i])
    
    
print("训练之后-->np.argmax(probs, axis=1):\n", np.argmax(probs, axis=1))

说明:

  1. 这只是上一种神经网络的层数的扩展

  2. 通过内部循环,层数可以任意。

  3. 循环次数太大的时候(比如10000),会报RunTimeError,貌似溢出

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
18582 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
27728 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
21935 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
15292 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
19980 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
14855 0
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
23524 0
+关注
罗兵
数学专业。擅数据分析,涉stock、lotto。了解随机过程分析、神经网络。涉web前端、后端。了解vba、js,稍擅python
251
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载