Machine Learning - Gradient Descent (梯度下降)-阿里云开发者社区

开发者社区> fjie> 正文

Machine Learning - Gradient Descent (梯度下降)

简介: 为了减少数学知识的引入,先默认有以下几个结论(具体证明可见多元函数微分学中的方向导数与梯度部分): 1. 方向导数是一种单向导数,而偏导数是一种双向导数,即ΔX取正或负时,方向导数变号,而偏导数不变号。
+关注继续查看

为了减少数学知识的引入,先默认有以下几个结论(具体证明可见多元函数微分学中的方向导数与梯度部分):

1. 方向导数是一种单向导数,而偏导数是一种双向导数,即ΔX取正或负时,方向导数变号,而偏导数不变号。

2. 对多元函数求偏导得到一个向量,这个向量在空间中表示的方向上的方向导数(即梯度所指方向)是所有方向上的方向导数的最大值,与这个方向相反方向上的方向导数取得最小值,两者绝对值相同,符号不同。

由以上两点基本可以得到,方向与梯度指向(可由偏导数组成的向量表示)相同时,方向导数取得最大值,即在该方向上,函数值的变化率正向最大(增加最多),在与该方向相反的方向上,函值变化率负向最大,所以当求出梯度后,我们将当前的自变量减去(加上)各自方向上的偏导数即可取得函数值变化负向最大/减少最多(正向最大/增加最多)。


梯度下降法中涉及到的符号,输入X(x1, x2, ... ... , xn),输出Y(y1, y2, ... ... , yn),xi表示第i个样本,是向量形式,由一组特征表示,。。。



在梯度下降法中,我们关注的是函数的参数,其余都是已知的,因此换个角度,将待估计的参数作为自变量,损失函数作为函数值,则此时的梯度即对各个参数求偏导,要使函数值(损失函数)减少最快,就要从当前点按照梯度方向移动,做移动,就相当于各个自变量分别减去对于自变量的偏导,而移动的步子大小,我们可以由一个参数α控制,因此梯度下降法的核心是使损失函数最小,而自变量应该移动的方向有各个点的梯度(偏导数)决定,移动大小由参数α决定,梯度的性质保证我们每次移动的方向都是损失函数值减少最多的方向。(未完待续。。。)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
2810 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4425 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7740 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
5419 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9414 0
Gradient Descend 梯度下降法公式推导
通过求偏导的方式,求解多元函数,比较困难,可以用近似求解的方式,求解最大/最小值。即用迭代法求解x_{k+1}与前一个变量 x_k关系。
2060 0
腾讯云服务器 设置ngxin + fastdfs +tomcat 开机自启动
在tomcat中新建一个可以启动的 .sh 脚本文件 /usr/local/tomcat7/bin/ export JAVA_HOME=/usr/local/java/jdk7 export PATH=$JAVA_HOME/bin/:$PATH export CLASSPATH=.
2131 0
+关注
fjie
计算机学生,研究方向为数据挖掘与机器学习,现阶段主要兴趣为深度学习方法在图/网络等非常规(non Euclidean domain)数据中的应用。Github pages: flycser.github.io,Email: hfut_jf@aliyun.com
68
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载