人工智能—— 关于权重与偏置

简介: 人工智能—— 关于权重与偏置

1、人工智能的本质


        人工智能是使用程序模拟人类神经感知的技术,他从根本上改变了传统程序的思维。传统程序采用断言的方式来进行,而人工智能则采用抽取规律来实现对应的功能


       这种方式其实是对分析归纳法的一种体现,随着算力与数据量的提升使得人工智能技术变得可能。人工智能涵盖很多领域、如机器学习、深度学习、神经网络等。本文的内容默认都在神经网络的架构下采用tensorflow进行实现。


2、从线性方程说起


   线性方程是我们开到的最简单的数学公式,在二维空间中可以表示为一条直线、直线的特征可以用权重 W 与 偏置 b 来确定,从数学角度也可以表示为斜率与截距。只要这两个特征确定,那么直线也就确定了。所以权重 W 与 偏置 b是这个直线分布的关键特征。

 

   人工智能可以通过给定一系列的训练值来确定整体分布状态

   

3、关于求解模型


   我们可以模拟一些符合这个分布的x值与y值用于确定这个分布状态


4、关于代价函数


   我们需要衡量我们学习到的参数值W与b是否真实的反应了直线的状态,需要有一个值来衡量误差,这个往往是一个数学函数,在这里我们选择最为常见的方差函数。


   在人工智能进行训练的时候是要是的代价函数最小,也就是使预测值更加接近真实值。可以采用梯度下降方法来进行此操作。关于梯度下降算法不再本文的涉及范围之内。可以这样简单粗暴的理解。


   如果要想让C越来越小,那么W,B必须适当的进行调整,C的最快变小的方向W与b调整的方向,这个方向我们称之为梯度。如下图所示,代价函数是一个关于y’的抛物线。y'是关于W与b的线性函数。

image.png


目录
相关文章
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
|
2月前
|
机器学习/深度学习 人工智能 关系型数据库
南京大学提出量化特征蒸馏方法QFD | 完美结合量化与蒸馏,让AI落地更进一步!!!
南京大学提出量化特征蒸馏方法QFD | 完美结合量化与蒸馏,让AI落地更进一步!!!
146 0
|
3月前
|
机器学习/深度学习 人工智能
【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值
【1月更文挑战第26天】【人工智能】<吴恩达-机器学习>多变量线性回归&学习率&特征值
|
11月前
|
人工智能 算法 计算机视觉
人工智能卷积算法
人工智能卷积算法
164 0
|
11月前
|
机器学习/深度学习 人工智能
做时间序列预测有必要用深度学习吗?事实证明,梯度提升回归树媲美甚至超越多个DNN模型
做时间序列预测有必要用深度学习吗?事实证明,梯度提升回归树媲美甚至超越多个DNN模型
189 0
|
11月前
|
机器学习/深度学习 算法
深度学习相关概念:动量法与自适应梯度
在梯度下降的每一步中,我们都用到了所有的训练样本,我们需要进行求和运算,在梯度下降中,在计算微积随机梯度下降(SGD)
124 0
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习05】 交叉熵损失函数
不同的信息,含有不同的信息量,假设下列对阵表中阿根廷的夺冠概率是1/8,A同学告诉我阿根廷夺冠了,那么这个信息量就很大了(因为它包括了阿根廷进了四强,决赛);B同学告诉我阿根廷进决赛了,那么这个信息量就较小。
97 0
|
机器学习/深度学习 算法 数据可视化
深度学习中“消失的梯度”
在上图中,神经元上的条可以理解为神经元的学习速率。这个网络是经过随机初始化的,但是从上图不难发现,第二层神经元上的条都要大于第一层对应神经元上的条,即第二层神经元的学习速率大于第一层神经元学习速率。那这可不可能是个巧合呢?其实不是的,在书中,Nielsen通过实验说明这种现象是普遍存在的。
深度学习中“消失的梯度”
|
机器学习/深度学习 算法 Python
深度学习基础:为什么神经网络的感知机中的神经元需要偏置项?
深度学习基础:为什么神经网络的感知机中的神经元需要偏置项?
201 0
深度学习基础:为什么神经网络的感知机中的神经元需要偏置项?