机器学习之神经网络

简介: 多层神经网络前面说到的感知器是一种最基础的神经网络,他只有输入层和输出层,感知器只能处理线性可分问题,而对于非线性问题就需要多层神经网络。

多层神经网络

前面说到的感知器是一种最基础的神经网络,他只有输入层和输出层,感知器只能处理线性可分问题,而对于非线性问题就需要多层神经网络。一般如下图所示,有多个层,比如左边的包含输入层、隐层和输出层,而右边的则包含了两个隐层。每层的神经元与下一神经元全互连,同层之间的神经元不会相连,输入层用于接收输入,经过隐层加工后再到输出层加工并输出。

这里写图片描述

如何训练多层网络

对于多层网络我们常用误差逆传播算法来训练,而我们最常见的BP神经网络指的是使用误差逆传播来训练的多层前馈神经网络。除此之外其他类型的神经网络也可能会用误差逆传播算法来训练。

总的来说,误差逆传播是使用梯度下降法,通过反向传播不断调整神经网络中各个权重从而使输出层的误差平方和最小。

BP神经网络

BP神经网络好的地方就是我们完全不必事先考虑怎么用数学方程来描述输入和输出之间的关系,转而考虑的是设计一个N层神经网络,而要多少层、每层要多少个节点就可以我们根据经验来设计,可通过不同的网络模型来看哪个模型能更好地拟合。

BP神经网络其实很直观很好理解,整个过程如下。

下面是一个三层(不算输入层)神经网络,两个输入经过几层网络后得到一个输出。

这里写图片描述

在训练该网络的过程中,输入 x1 x2 f1(e) 节点对应的权重为 w(x1)1 w(x2)1 ,则有 y1=f1(w(x1)1+w(x2)1)

这里写图片描述

f2(e) 节点对应的权重为 w(x1)2 w(x2)2 ,则有 y2=f2(w(x1)2+w(x2)2)
这里写图片描述

f3(e) 节点对应的权重为 w(x1)3 w(x2)3 ,则有 y3=f3(w(x1)3+w(x2)3)
这里写图片描述

这么一来就得到第一层隐层的所有信号输出,接下去往下一层传播,这时对于第二层隐层来说,第一层隐层的所有节点的输出就是它的输入,这时输入节点变为3个,分别为 y1 y2 y3 ,对应权重为 w14 w24 w34 ,则 y4=f4(w14y1+w24y2+w34y3)

这里写图片描述

f5(e) 对应的权重为 w15 w25 w35 ,则 y5=f5(w15y1+w25y2+w35y3)
这里写图片描述

于是又得到第二层隐层的两个输出,继续往下一层(输出层)传播,对于输出层,第二层隐层的两个节点的输出即为它的输入,此时输入节点为2个,分别为 y4 y5 ,假设权重分别为 w46 w56 ,则 y6=f6(w46y4+w56y5)

这里写图片描述

误差逆传播

往下看看误差逆传播是怎么一回事。通过上面的过程我们获取到了一个最终的输出,而这个输出与目标值可能存在误差,表示为 δ=zy 。则对于样本的目标函数为 Ed=12i(ziyi)2
这里写图片描述

使用梯度下降法更新每一个权重,即 wjiwjiηEdwji 。解决了上面的式子就可以完成迭代优化了。
如下图,对于每个节点输入 nodej 有,

nodej=iwjixji

这里写图片描述
根据链式求导法则有,
Edwji=Ednodejnodejwji=Ednodejiwjixjiwji=Ednodejxji

于是只要求得 Ednodej 即知道梯度权重更新。

对于输出层,其中 yjnodej=sigmoid(nodej)nodej=yj(1yj) ,则有

Edwji=Edyjyjnodejxji=(tjyj)yj(1yj)xji

则按照下面进行权重更新,
wjiwjiηEdwji=wji+η(tjyj)yj(1yj)xji

为方便表示,也可以令误差项 δj=Ednodej ,则
δj=(tjyj)yj(1yj)
wjiwji+ηδjxji

有了上面的更新公式后就可以对输出层进行迭代更新了。

对于隐层,设节点j的所有输出为A,则下一层网络有多少个节点,则它的集合大小为多少,比如上图中,对于节点1,它的输出集合A大小为2,分别输出到节点4和节点5。隐层节点的输入 nodej 通过影响所有输出A再往下影响 Ed ,再设 nodek 为下一层的输入,则 Ed nodek 的函数,且 nodek nodej 的函数。对于节点输入 nodej ,由于其输出A包含多个元素,有多个影响分量,所以,

Ednodej=kAEdnodeknodeknodej=kAEdnodeknodekf(nodej)f(nodej)nodej=kAδkwkjf(nodej)nodej=kAδkwkjf(nodej)(1f(nodej))=f(nodej)(1f(nodej))kAδkwkj

正则化

为了抑制过拟合,对于整个训练样本集目标函数进行正则化。

E=λ1m1mEd+(1λ)w2

全局最小

神经网络的训练可能陷入局部最小中,有时需要一些策略跳出局部最小,以便有一定几率得到全局最小。
1. 模拟退火
2. 随机梯度下降
3. 多个不同的初始点

实现3-5-1网络

import numpy as np
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))
X = np.array([[0,0,1],
            [0,1,1],
            [1,0,1],
            [1,1,1]])
y = np.array([[0],
            [1],
            [1],
            [0]])
np.random.seed(1)
syn0 = 2*np.random.random((3,5)) - 1
syn1 = 2*np.random.random((5,1)) - 1
for j in range(60000):
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))
    l2 = nonlin(np.dot(l1,syn1))
    l2_error = y - l2
    if (j% 10000) == 0:
        print("Error:" + str(np.mean(np.abs(l2_error))))
    l2_delta = l2_error*nonlin(l2,deriv=True)
    l1_error = l2_delta.dot(syn1.T)
    l1_delta = l1_error * nonlin(l1,deriv=True)
    g = 0.01
    syn1 += g * l1.T.dot(l2_delta)
    syn0 += g * l0.T.dot(l1_delta)
print(l2)

====广告时间,可直接跳过====

鄙人的新书《Tomcat内核设计剖析》已经在京东预售了,有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。感谢各位朋友。

=========================

欢迎关注:

这里写图片描述

目录
相关文章
|
3天前
|
机器学习/深度学习 数据采集 运维
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
35 18
|
1月前
|
机器学习/深度学习 边缘计算 运维
机器学习在网络安全中的防护:智能化的安全屏障
机器学习在网络安全中的防护:智能化的安全屏障
153 15
|
2月前
|
人工智能 搜索推荐 决策智能
不靠更复杂的策略,仅凭和大模型训练对齐,零样本零经验单LLM调用,成为网络任务智能体新SOTA
近期研究通过调整网络智能体的观察和动作空间,使其与大型语言模型(LLM)的能力对齐,显著提升了基于LLM的网络智能体性能。AgentOccam智能体在WebArena基准上超越了先前方法,成功率提升26.6个点(+161%)。该研究强调了与LLM训练目标一致的重要性,为网络任务自动化提供了新思路,但也指出其性能受限于LLM能力及任务复杂度。论文链接:https://arxiv.org/abs/2410.13825。
70 12
|
3月前
|
机器学习/深度学习 人工智能 数据挖掘
打破传统:机器学习与神经网络获2024年诺贝尔物理学奖引发的思考
诺贝尔物理学奖首次授予机器学习与神经网络领域,标志该技术在物理学研究中的重要地位。本文探讨了这一决定对物理学研究的深远影响,包括数据分析、理论物理突破及未来科研方向的启示,同时分析了其对学术跨界合作与全球科研产业的影响。
73 4
|
3月前
|
机器学习/深度学习 数据采集 算法
机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用
医疗诊断是医学的核心,其准确性和效率至关重要。本文探讨了机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用。文章还讨论了Python在构建机器学习模型中的作用,面临的挑战及应对策略,并展望了未来的发展趋势。
253 1
|
3月前
|
机器学习/深度学习 自然语言处理 算法
深入理解机器学习算法:从线性回归到神经网络
深入理解机器学习算法:从线性回归到神经网络
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
86 17
|
2月前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将介绍网络安全的重要性,分析常见的网络安全漏洞及其危害,探讨加密技术在保障网络安全中的作用,并强调提高安全意识的必要性。通过本文的学习,读者将了解网络安全的基本概念和应对策略,提升个人和组织的网络安全防护能力。
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
随着互联网的普及,网络安全问题日益突出。本文将从网络安全漏洞、加密技术和安全意识三个方面进行探讨,旨在提高读者对网络安全的认识和防范能力。通过分析常见的网络安全漏洞,介绍加密技术的基本原理和应用,以及强调安全意识的重要性,帮助读者更好地保护自己的网络信息安全。
63 10
|
2月前
|
SQL 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,并提供一些实用的代码示例。通过阅读本文,您将了解到如何保护自己的网络安全,以及如何提高自己的信息安全意识。
73 10

热门文章

最新文章