大家经常在评论区问我如果学习Python,如何锻炼 自己的Python编程能力,这里给大家推荐一个我经常练习Python的网站:牛客网 - 找工作神器|笔试题库|面试经验|实习招聘内推,求职就业一站解决_牛客网
里面还包含很多大厂笔试的Python题目,大家可以跟我一起刷题,从本周起我会陆续在博客分享我的刷题心得,欢迎大家跟我一起学习,有问题可以在评论区指出来,大家一起讨论。
注意力机制更详细的可以被称为资源分配机制,神经网络的计算能力是有限的,因为我们为了在有限的资源下提高神经网络的准确性,因此我们要对识别对象的重要特征,增加更多的资源(在神经网络中叫做权重)用来提高识别的准确率。
卷积神经网络特征的提取,越来越成为大家研究的重点,由于卷积神经网络提取特征时对于每部分特征的提取都是相同权重,并不能专注于有效特征的提取,反而提取了很多无用的特征,增大运算量,因此跟人类相似的注意力机制(专注有效特征提取的方式)得到了发展。
注意力机制思想的引入主要在于使得卷积神经网络提取有效的特征,删掉无用的特征。事实上卷积神经网络并不能算是人工智能,我用一个简单的例子来形容就是:假如我们要识别一个人,卷积神经网络更像是一个扫描仪,对着当前的图像进行扫描,根据胳膊,腿,身材等部分综合判断(每部分占的权重一样),然后得出结论这是我们要识别的那个人,但是真正的人我们在现实生活中识别人的时候往往是这个人的脸是占更大权重的,比如说一个人他瘦了好多,我们也能认出来他,因为只要他没整容,他的脸对于我们对他的身份进行识别就占决定性作用。因此在我们对人进行识别的过程中,我们需要更在意他的脸,身材等其他部分占的权重非常少,这就是注意力机制的思想。
注意力机制极大的提高了人处理图像的效率,准确性和速度,深度学习的注意力机制跟人类的注意力机制类似,或者说深度学习中注意力机制的发展就是借鉴了人类注意力机制的思想。