干货|机器学习-感知机perceptron

简介:

什么是感知机


a2a3c3214c359f2926cfb238c1ac4311b915e040

在机器学习中,感知机(perceptron)是二分类的线性分类模型,属于监督学习算法。输入为实例的特征向量,输出为实例的类别(取+1和-1)。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面,为求得超平面导入了基于误分类的损失函数,利用梯度下降法 对损失函数进行最优化(最优化)。感知机的学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的实例进行预测的,因此属于判别模型。感知机由Rosenblatt于1957年提出的,是神经网络和支持向量机的基础。
定义
a2a3c3214c359f2926cfb238c1ac4311b915e040

c03e5848b9ea4ad5b5b472d6a768c077d892d641

48fee962c823e63d5913566da639428d364fce78



称为感知机。其中,参数w叫做权值向量weight,b称为偏置bias。w⋅x表示w和x的点积
e9407af92f543cb8a602a23c6fba0445edd0920e sign为符号函数,即
059f9822c1eb3112155e00b06b92631f3fa67156 在二分类问题中,f(x)的值(+1或-1)用于分类x为正样本(+1)还是负样本(-1)。感知机是一种线性分类模型,属于判别模型。我们需要做的就是找到一个最佳的满足w⋅x+b=0的w和b值,即分离超平面(separating hyperplane)。如下图,一个线性可分的感知机模型
49cdbdb2226b5fe1dd894d355fbb5bb72d97edb5 中间的直线即w⋅x+b=0这条直线。 线性分类器的几何表示有:直线、平面、超平面。
学习策略
a2a3c3214c359f2926cfb238c1ac4311b915e040
核心:极小化损失函数。
如果训练集是可分的,感知机的学习目的是求得一个能将训练集正实例点和负实例点完全分开的分离超平面。为了找到这样一个平面(或超平面),即确定感知机模型参数w和b,我们采用的是损失函数,同时并将损失函数极小化。
对于损失函数的选择,我们采用的是误分类点到超平面的距离(可以自己推算一下,这里采用的是几何间距,就是点到直线的距离):
452b7066e34b88d1b0a9affce6153725966fb395 其中||w||是L2范数。
对于误分类点(xi,yi)来说:
d6d5e6b28a4e79b7dcab7fb5e6a42d975c1f7334 误分类点到超平面的距离为:
e6313bb276ec4bf08cf6513e779f5480c38c312a 那么,所有点到超平面的总距离为:
400ea0af832f30ba8b37d2697f5d099796f78c79 2c6f67a610195188557c7eeccfaf60e67f48aec2 b8d0c7406def3e222f007d030a2533fbb39544d1
其中M为误分类的集合。这个损失函数就是感知机学习的经验风险函数。
可以看出,随时函数L(w,b)是非负的。如果没有误分类点,则损失函数的值为0,而且误分类点越少,误分类点距离超平面就越近,损失函数值就越小。同时,损失函数L(w,b)是连续可导函数。
学习算法
a2a3c3214c359f2926cfb238c1ac4311b915e040
感知机学习转变成求解损失函数L(w,b)的最优化问题。最优化的方法是随机梯度下降法(stochastic gradient descent),这里采用的就是该方法。关于梯度下降的详细内容,参考wikipedia Gradient descent。下面给出一个简单的梯度下降的可视化图:
a0213334cd98bcaa2fd736688729b4efbb04e143 31412634addcffc8786833d43b456f5f8647f4c7 e55a172305188d2c7664f16dfce38c2558c4351b
其中η是步长,大于0小于1,在统计学习中称之为学习率(learning rate)。这样,通过迭代可以期待损失函数L(w,b)不断减小,直至为0.
下面给出一个感知器学习的图,比较形象:
3f4b060146a0bcdea21606e8665368c16567d681 由于上图采取的损失函数不同,所以权值的变化式子有点区别,不过思想都是一样的。
算法描述如下:
算法:感知机学习算法原始形式
21321b0335d2d5085c2a91a0b4db26e48d7be66d
解释:当一个实例点被误分类时,调整w,b,使分离超平面向该误分类点的一侧移动,以减少该误分类点与超平面的距离,直至超越该点被正确分类。 伪代码描述:
20325cd4d9c1656d93032a58ec5d6395061be802
对于每个w⋅x其实是这样子的(假设x表示的是七维):
86c85f30c0188b8ecc3715586d656fe5bfcf9494
对于输入的每个特征都附加一个权值,然后将相加得到一个和函数f,最后该函数的输出即为输出的y值。
实例
a2a3c3214c359f2926cfb238c1ac4311b915e040
a0e7925d6c87ef364edc6b2ac83a050a927aa20b
解答思路:根据上面讲解的,写初始化权值w和偏置b,然后一步一步的更新权值,直到所有的点都分正确为止。
解: (1) 令w0=0,b0=0 
(2) 随机的取一个点,如x1,计算y1(w0⋅x1+b0),结果为0,表示未被正确分类,根据下面的式子更新w,b(此例中,我们将学习率η设置为1):

810f321ec1930174409e0ac8a659cc91982f8a59 8c9bf9959b3500fb651cba894da5a2711f11e31a
最后求得
3cca77eb284f005d5bccee298d1aad50cfbd81b3
所以感知机模型为:
beef0a4b61e66a6d025ac91b2803ddf1d7ae0827
即我们所求的感知机模型。
小结
a2a3c3214c359f2926cfb238c1ac4311b915e040
感知器Perceptron在机器学习当中是相当重要的基础,理解好感知器对后面的SVM和神经网络都有很大的帮助。事实上感知器学习就是一个损失函数的最优化问题,这里采用的是随机梯度下降法来优化。
好吧,对于感知机的介绍,就到此为止!在复习的过程中顺便做下笔记,搜搜资料,整理整理,也算是给自己一个交代吧。希望本文章能对大家能有点帮助。

References
[1] 统计学习方法, 李航 著 
[2] Wikiwand之Perceptron http://www.wikiwand.com/en/Perceptron 
[3] Wikipedia https://en.wikipedia.org/wiki/Machine_learning

原文链接:http://blog.csdn.net/dream_angel_z/article/details/48915561

相关文章链接:https://www.52ml.net/15104.html

本文来源于"中国人工智能学会",原文发表时间" 2016-09-08"

相关文章
|
9月前
|
机器学习/深度学习 算法 BI
机器学习笔记(一) 感知机算法 之 原理篇
机器学习笔记(一) 感知机算法 之 原理篇
|
机器学习/深度学习 算法 测试技术
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
在现实生活中,除了分类问题外,也存在很多需要预测出具体值的回归问题,例如年龄预测、房价预测、股价预测等。相比分类问题而言,回归问题输出类型为一个连续值,如下表所示为两者的区别。在本文中,将完成房价预测这一回归问题。
616 0
机器学习实战︱基于多层感知机模型和随机森林模型的某地房价预测
|
机器学习/深度学习 算法 数据挖掘
机器学习:感知机+代码实现(原始+对偶形式)
机器学习:感知机+代码实现(原始+对偶形式)
383 0
机器学习:感知机+代码实现(原始+对偶形式)
|
机器学习/深度学习 索引
机器学习中的数学原理——感知机模型
机器学习中的数学原理——感知机模型
514 0
机器学习中的数学原理——感知机模型
|
机器学习/深度学习 人工智能 算法
【机器学习】线性分类——感知机算法(理论+图解+公式推导)
【机器学习】线性分类——感知机算法(理论+图解+公式推导)
379 0
【机器学习】线性分类——感知机算法(理论+图解+公式推导)
|
机器学习/深度学习 资源调度 算法
机器学习:感知机算法
机器学习:感知机算法
144 0
 机器学习:感知机算法
|
机器学习/深度学习
机器学习:浅析从感知机到多层感知机
机器学习:浅析从感知机到多层感知机
155 0
机器学习:浅析从感知机到多层感知机
|
机器学习/深度学习 算法
今日机器学习概念:感知机模型
今日机器学习概念:感知机模型
171 0
今日机器学习概念:感知机模型
|
4月前
|
机器学习/深度学习 算法 数据挖掘
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
212 6
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于机器学习的人脸识别算法matlab仿真,对比GRNN,PNN,DNN以及BP四种网络
本项目展示了人脸识别算法的运行效果(无水印),基于MATLAB2022A开发。核心程序包含详细中文注释及操作视频。理论部分介绍了广义回归神经网络(GRNN)、概率神经网络(PNN)、深度神经网络(DNN)和反向传播(BP)神经网络在人脸识别中的应用,涵盖各算法的结构特点与性能比较。

热门文章

最新文章