机器学习课后题——神经网络

简介: 机器学习课后题——神经网络

6.1 试述将线性函数f(x) = wTx作为激活函数的缺陷。


答:


如果使用线性函数作为激活函数时,无论是在隐藏层还是在输出层,本质上其单元值还是输入x的线性组合。


这个时候的若神经网络输出层使用Sigmoid函数退化为逻辑回归,若输出层也使用线性函数作为激活函数,那么就退化为线性回归。


6.2 以下是几种在神经网络或深度学习网络中常用的激活函数,试总结激活函数所具备的特征,并解释下面几种函数是否适合作为激活。


答:


 激活函数一般特征:


非线性:

激活函数为非线性激活函数的时候,基本上两层的神经网络就可以模拟大多数函数。如果为线性,缺陷见6.1题。


有界(大多数):

当输出有界的时候,基于梯度的优化方法会更加稳定,因为特征量表示受到有限权值的影响会更加显著。


同时,当输出无界时,模型训练更加有效果。


单调性:

当激活函数是单调函数的时候,单层的神经网络能够保持是凸函数。


可微且导数易于计算或者表示:

在进行梯度优化和计算的时候,必须满足函数可微性的这一个条件以方便进行求导运算。


(1)gx= 11+e-ax ,a>0


当a = 1时,为Sigmoid函数,a取其他正值情况与之类似。


它主要的特点是,它能够将输入的连续实数值压缩到0和1之间的输出值。当取到特别的值的时候,趋近于 +∞的时候,输出的值趋近于1;当趋近于 -∞  的时候,输出值趋近于0。


曾经,Sigmoid函数为神经网络计算过程中的主要激活函数,但是现在它已经不太受欢迎,实际中很少使用。原因是sigmoid存在3个问题:


sigmoid函数饱和使梯度消失。

sigmoid函数输出不是“零为中心”(zero-centered)。

指数函数的计算是比较消耗计算资源的。

(2)gx= 1-e-ax1+e-ax=tanhax2,a>0


当a = 2时,为Tanh函数,a取其他正值情况与之类似。


tanh 作为sigmoid 函数的改进版本,将函数值压缩在了[-1,1]之间,并且是一个关于原点对称的函数。它是完全可微分的,反对称,对称中心在原点。在梯度的反向传播过程中解决了 sigmoid函数中的一些问题,但是指数运算性质和梯度消失问题仍然存在。


(3)gx=x1+x2


函数图像如下所示:



函数单调,有界,且非线性,适合作为激活函数。


6.3 神经元j从其它四个神经元接受输入,它们的值分别为10,-20,4,-2。神经元j的每个突触的权值分别为0.8,0.2,-1.0,-0.9。计算下列两种情况下神经元j的输出。


(1)偏置θ=0 ,神经元是线性的(即不经过激活函数的处理)。


(2)偏置θ=0 ,神经元的激活函数为sigmoid函数。


(3)偏置θ=-9 ,神经元的激活函数为sigmoid函数。


答:计算结果如下图所示:




6.4  利用前向传播算法,补全下列网络中结点取值。




注:g(x)为sigmoid函数


答:


补全后网络如下所示:


6.5 依据后向传播算法,补全下列网络的结点误差。


输入特征向量[2.00, 0.00]时,由前向传播算法得到如下结果:



对类别向量y1=[1, 0],后向误差传播如下:


对类别向量y2=[0, 1],后向误差传播如下:


答:


补全结果如下所示:

目录
相关文章
|
7月前
|
机器学习/深度学习 数据采集 运维
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
机器学习在网络流量预测中的应用:运维人员的智慧水晶球?
323 19
|
7月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。
|
8月前
|
机器学习/深度学习 边缘计算 运维
机器学习在网络安全中的防护:智能化的安全屏障
机器学习在网络安全中的防护:智能化的安全屏障
435 15
|
9月前
|
人工智能 搜索推荐 决策智能
不靠更复杂的策略,仅凭和大模型训练对齐,零样本零经验单LLM调用,成为网络任务智能体新SOTA
近期研究通过调整网络智能体的观察和动作空间,使其与大型语言模型(LLM)的能力对齐,显著提升了基于LLM的网络智能体性能。AgentOccam智能体在WebArena基准上超越了先前方法,成功率提升26.6个点(+161%)。该研究强调了与LLM训练目标一致的重要性,为网络任务自动化提供了新思路,但也指出其性能受限于LLM能力及任务复杂度。论文链接:https://arxiv.org/abs/2410.13825。
181 12
|
10月前
|
机器学习/深度学习 人工智能 数据挖掘
打破传统:机器学习与神经网络获2024年诺贝尔物理学奖引发的思考
诺贝尔物理学奖首次授予机器学习与神经网络领域,标志该技术在物理学研究中的重要地位。本文探讨了这一决定对物理学研究的深远影响,包括数据分析、理论物理突破及未来科研方向的启示,同时分析了其对学术跨界合作与全球科研产业的影响。
178 4
|
10月前
|
机器学习/深度学习 数据采集 算法
机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用
医疗诊断是医学的核心,其准确性和效率至关重要。本文探讨了机器学习在医疗诊断中的前沿应用,包括神经网络、决策树和支持向量机等方法,及其在医学影像、疾病预测和基因数据分析中的具体应用。文章还讨论了Python在构建机器学习模型中的作用,面临的挑战及应对策略,并展望了未来的发展趋势。
672 1
|
12天前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
|
12天前
|
机器学习/深度学习 并行计算 算法
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
【CPOBP-NSWOA】基于豪冠猪优化BP神经网络模型的多目标鲸鱼寻优算法研究(Matlab代码实现)
|
8天前
|
机器学习/深度学习 缓存 算法
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
199 1
|
23天前
|
机器学习/深度学习 传感器 算法
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
【表面粗糙度】基于粒子群PSO算法优化-BP神经网络的表面粗糙度研究(Matlab代码实现)
142 7