梯度下降求极值

导数

导数也叫导函数，或者微商，它是微积分中的重要基础概念，从物理学角度来看，导数是研究物体某一时刻的瞬时速度，比如你开车从家 8:00 出发到公司上班，9:00 到到达公司，这一个小时内的平均车速是 80km/h，而途中8:15:30这一时刻的速度，就被称为瞬时速度，此刻的速度可能是 100km/h，也可能是 20km/h。而从几何意义上来讲，你可以把它理解为该函数曲线在一点上的切线斜率。

导数有其严格的数学定义，它巧妙的利用了极限的思想，也就是无限趋近于 0 的思想。设函数 y=f(x) 在点 x0 的某个邻域内有定义，当自变量 x 在 x0 处有增量 Δx，(x0+Δx）也在该邻域内时，相应地函数取得增量 Δy=f(x0+Δx)-f(x0)；如果 Δy 与 Δx 之比当 Δx→0 时极限存在，则称函数 y=f(x) 在点 x0 处可导，并称这个极限为函数 y=f(x) 在点 x0 处的导数记做 ：

那么什么样的函数具有导数呢？是不是所有的函数都有导数？当然不是，而且函数也不一定在其所有点上都有导数。如果某函数在某一点导数存在，则称其在这一点可导，否则称为不可导。可导的函数一定连续；不连续的函数一定不可导。

导数的发明者是伟大的科学家牛顿与布莱尼茨，它是微积分的一个重要的支柱。在机器学习中，我们只需会用前辈科学家们留下来的知识就行了，比如熟悉常见的导函数公式，以下列举了常用的导数公式：

偏导数

偏导数虽然和导数只有一字之差，但是却相差甚多，从它们的定义来看，偏导数是指对含有两个自变量的函数中的一个自变量求导，也就是说偏导数要求函数必须具备两个自变量。比如拿 z=f(x,y) 举例，如果只有自变量x变化，而自变量y固定（即看作常量），这时它就是x的一元函数，这函数对x的导数，就称为二元函数z对于x的偏导数，记做 fx(x,y) 。

有如下函数 z = x2 + 3xy + y2，分别求 z 对于 x 、y 的偏导数。如下所示：

fx(x,y) = 2x + 3y # 关于 x 的偏导数
fy(x,y) = 3x + 2y # 关于 y 的偏导数

当求 x 的偏导时就要把 y 当做常数项来对待，而当求 y 的偏导时就要把 x 当做常数项对待。关于偏导数还会涉及到高阶偏

梯度下降

梯度下降是机器学习中常用的一种优化方法，主要用来解决求极小值的问题，某个函数在某点的梯度指向该函数取得最大值的方向，那么它的反反向自然就是取得最小值的方向。在解决线性回归和 Logistic（逻辑） 回归问题时，梯度下降方法有着广泛的应用。

梯度是微积分学的术语，它本质上是一个向量，表示函数在某一点处的方向导数上沿着特定的方向取得最大值，即函数在该点处沿着该方向变化最快，变化率最大。梯度下降法的计算过程就是沿梯度方向求解极小值，当然你也可以沿梯度上升的方向求解极大值。

那么如何能够更好的理解“梯度下降”呢？如果不考虑其他外在因素，其实你可以把它想象成“下山”的场景，如何从一个高山上以最快的时间走到山脚下呢？其实很简单，以你所在的当前位置为基准，寻找该位置最陡峭的地方，然后沿着此方向向下走，并且每走一段距离，都要寻找当前位置“最陡峭的地方”，反复采用上述方法，最终就能以最快的时间抵达山脚下。

在这个下山的过程中，“寻找所处位置最陡峭的地方，并沿此位置向下走”最为关键，如果把这个做法对应到函数中，就是找到“给定点的梯度”而梯度的方向就是函数值变化最快的方向。

图1：示意图

从上述描述中，你可能感觉到平淡无奇，其实每一个词语都蕴含着数学知识，比如“以当前所在位置为基准，找到最陡峭的地方”从数学角度来讲就是找到所在点的“切线”方向，也就是对这点“求导”，然后循着切线轨迹点反复使用此方法，就可以到达极小值点。

在《线性回归：损失函数和假设函数》一节，我们讲解了线性回归的损失函数，而梯度下降作为一种优化方法，其目的是要使得损失值最小。因此“梯度下降”就需要控制损失函数的w和b参数来找到最小值。比如控制 w 就会得到如下方法：

w新=w旧 - 学习率 * 损失值

通过梯度下降计算极小值时，需要对损失函数的w求偏导求得，这个偏导也就是“梯度”，通过损失值来调节w，不断缩小损失值直到最小，这也正是梯度下降的得名来由。

“学习率”是一个由外部输入的参数，被称为“超参数”，可以形象地把它理解为下山时走的“步长”大小，想要 w 多调整一点，就把学习率调高一点。不过学习率也不是越高越好，过高的学习率可能导致调整幅度过大，导致无法求得真正的最小值。当损失函数取得极小值时，此时的参数值被称为“最优参数”。因此，在机器学习中最重要的一点就是寻找“最优参数”。

梯度下降是个大家族，它有很多成员，比如批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（MBGD），其中批量梯度下降是最常用的，相关内容后续会详细介绍。

机器学习&深度学习

人工智能（Artificial Intelligence）是计算机科学技术的一个分支，指的是通过机器和计算机来模拟人类智力活动的过程。人工智能自 1950 年诞生以来，理论和技术日益成熟，应用领域也不断扩大，涉足了领域包括机器人、语言识别、图像识别、自然语言处理等。人工智能并不是人的智能，而是让机器像人一样思考，甚至于超过人类。

如今人工智能已经走进了千家万户，对于普通大众来说，它已经是一个耳熟能详的名字。但还有两个词语您可能没有听说过，它就是机器学习和深度学习。

对于从事计算机领域的工作者或者技术爱好者来说，机器学习与深度学习并不陌生，然而对于初学者而言就可能傻傻分不清楚，那么它们之前到底存在什么关系呢？其实它们之间是包含与被包含关系，下面展示了它们之间的关系图，如下所示：

图2：三者关系图

从图中可以看出，机器学习是人工智能的一部分，而深度学习又是机器学习的一部分。人工智能的范围最为广泛，机器学习是人工智能的核心分支，也是当前发展最迅猛的一部分，而关于深度学习，它之前也属于“机器学习”的一个分支，其主要研究对象是神经网络算法，因想要区别于“机器学习”，它重新起了一个高大上的名字。下面以最具有代表性的机器学习来做进一步介绍。

单从定义上来说，机器学习是一种功能、方法，或者更具体的说是一种算法，它能够赋予机器进行学习的能力，从而使机器完成一些通过编程无法直接实现的功能。但从具体的实践意义来说，其实机器学习是利用大量数据训练出一个最优模型，然后再利用此模型预测出其他数据的一种方法。比如要识别猫、狗照片就要拿它们各自的照片提炼出相应的特征（比如耳朵、脸型、鼻子等），从而训练出一个具有预测能力的模型。

学习形式分类

机器学习是人工智能的主要表现形式，其学习形式主要分为：有监督学习、无监督学习、半监督学习等，如果你之前没有接触过机器学习，那么对于“监督”一词会不明就里，其实你可以把这个词理解为习题的“参考答案”，专业术语叫做 “标记” 。比如有监督学习就是有参考答案的学习，而无监就是无参考答案。

1) 有监督学习

有监督学习（supervised learning），需要你事先需要准备好要输入数据（训练样本）与真实的输出结果（参考答案)，然后通过计算机的学习得到一个预测模型，再用已知的模型去预测未知的样本，这种方法被称为有监督学习。这也是是最常见的机器学习方法。简单来说，就像你已经知道了试卷的标准答案，然后再去考试，相比没有答案再去考试准确率会更高，也更容易。

2) 无监督学习

理解了有监督学习，那么无监督学习理解起来也变的容易。所谓无监督学习（unsupervised learning）就是在没有“参考答案”的前提下，计算机仅根据样本的特征或相关性，就能实现从样本数据中训练出相应的预测模型。

除了上述两种学习形式外，还有半监督学习和强化学习，它不在本教程的讨论范畴之内，有兴趣的可以自己研究一下。

预测结果分类

根据预测结果的类型，我们可以对上述学习形式做具体的问题划分，这样就可以具体到实际的应用场景中，比如有监督学习可以划分为：回归问题和分类问题。如果预测结果是离散的，通常为分类问题，而为连续的，则是回归问题。

1) 回归&分类

连续和离散是统计学中的一种概念，全称为“连续变量”和“离散变量”。比如身高，从 1.2m 到 1.78m 这个长高的过程就是连续的，身高只随着年龄的变化一点点的长高。那么什么是“离散变量”呢？比如超市每天的销售额，这类数据就是离散的，因为数据不是固定，可能多也可能少。关于什么是“回归”和“分类”在后续内容中会逐步讲解。

2) 聚类

无监督学习是一种没有“参考答案”的学习形式，它通过在样本之间的比较、计算来实现最终预测输出，比如聚类问题，那什么是“聚类”？其实可以用一个成语表述“物以类聚，人以群分”，将相似的样本聚合在一起后，然后进行分析。关于聚类也会在后续内容中逐步讲解。

在学习机器学习技术的过程中，我们会遇到很多专业术语或者生僻词汇，这些名词大多数来自于数学或者统计学领域，比如模型、数据集、样本、熵，以及假设函数、损失函数等，这些属词汇于基本的常识，但是如果你第一次接触的话，也会感觉到些许惊慌。在下一节我们将介绍机器学习的常用术语。