机器学习中的数学:为什么对数如此重要

简介: 机器学习中的数学:为什么对数如此重要

如果你住在一栋楼的10层,你会选择走楼梯还是乘电梯。

这两种选择的目的都是一样的:在漫长的一天工作之后,你想回到你的公寓。

当然,如果你是一个忙碌的人,没有时间去健身房,把楼梯当作是有氧运动的简易版,那么走楼梯会更好。但是除此之外,你更可能选择乘电梯。


我们再举一个例子:

假如你要去上班,当没有交通堵塞的时候,开车需要十分钟,走路需要五十分钟。

你可以选择开车或者步行。虽然最终到达同一个目的地,但是你想要节省时间。你每天都去上班而不是一辈子只去一次。因此,你可能需要定期做出决定。

你想要更快地去上班,这样你就有很多的时间和家人朋友待在一起,开始你的副业,读一下你在当地书店买的那本书,观看一下你一直想看的课程。

你不想花那么多时间去同一个目的地,你想驾车或乘公交车帮你到达那里。这样,你就有更多的时间去做其他事。

使用对数的好处的例子

使用对数也是一样的:你需要找到使损失函数最小的参数,这是你在机器学习中试图解决的主要问题之一。

image.png

假设你的函数如下:

image.png


如果我们求出了他的一阶导数,我们最终会得到如下表达式:

image.png


有时,我们甚至需要求出它的二阶导数来判断这个函数是否是凸函数。当一个函数是凸函数时,我们知道它只有一个最小值,所以每一个局部最小值实际上就是全局最小值。

在我们的表达式中,我们会有以下的内容:

image.png


正如你看到的,它很混乱,对吧?


此外,也很乏味


同一函数的对数函数的一阶导数要简单得多:

image.png


二阶导数也很简单:

image.png


当你实际使用对数时,你会得到一个不同的函数。


你走路和开车时不需要走相同的路线。你有与行人使用的车道分开的汽车车道。但你其实并不在乎这么多。


这并不是说你太关心那些在路边开着的商店。你已经在家里吃了一顿简单的快餐,想直接去上班,这意味着这些都不重要。


你想要最小化某些参数的损失函数。你需要最小化损失函数的参数。这正是一个函数和该函数的对数函数共同之处:相同的参数可以最小化损失函数。


对这个函数和它对数函数同时求导就得到损失函数的最小值。

一个数学证明

我们来证明一个使函数最小化的参数等于这个函数的对数函数的最小化的参数。

image.png


假设w*是g(w) = log f(w)的局部最小值点,这意味着w*附近的点都满足g(w*)≤ g(w),现在由于 e(通常也表示为exp)具有单调性,则有:

image.png


换句话说,w*是函数f的最小值点,这也是我们要证明的。

这意味着我们将对数应用于任何函数时,我们会保留最小值或最大值点(使函数最大化或最小化的参数,而不是函数的实际值)

正如我们在上面的例子所看到的,这样可以简化计算并提高稳定性。

如果你理解起来有困难,让我们用一些图来说明。

我们取以下函数:

image.png


它的部分图像如下:

image.png


它的对数函数是:

image.png


部分图像如下:

image.png


可以看到,在这两种情况下,函数的最大值都是当x=0.3时取得。


是的,我们没有得到相同的函数,但是我们仍然有相同的临界点来帮助我们最小化损失函数。


一句话总结:一个函数和该函数的对数函数有一个共同之处,就是最小化的参数是相同的,对数求导要简单很多,会加快我们的计算速度。

目录
相关文章
|
机器学习/深度学习 资源调度 算法
【机器学习基础】对数几率回归(logistic回归)
【机器学习基础】对数几率回归(logistic回归)
352 0
|
6月前
|
机器学习/深度学习
技术心得:机器学习的数学基础
技术心得:机器学习的数学基础
44 0
|
7月前
|
机器学习/深度学习 大数据 程序员
[机器学习]机器学习数学基础(三)
[机器学习]机器学习数学基础(三)
40 0
|
机器学习/深度学习 人工智能 移动开发
线性代数 | 机器学习数学基础
**线性代数**(linear algebra)是关于向量空间和线性映射的一个数学分支。它包括对线、面和子空间的研究,同时也涉及到所有的向量空间的一般性质。
255 0
线性代数 | 机器学习数学基础
|
机器学习/深度学习
机器学习数学基础 2
机器学习数学基础
76 0
|
机器学习/深度学习
机器学习数学基础 1
机器学习数学基础
57 0
|
机器学习/深度学习 人工智能 芯片
机器学习中的新数学,加速AI训练离不开数字表示方式和基本计算的变革
机器学习中的新数学,加速AI训练离不开数字表示方式和基本计算的变革
213 0
|
机器学习/深度学习 人工智能 算法
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题(2)
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题
259 0
|
机器学习/深度学习 人工智能 算法
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题(1)
鄂维南:从数学角度,理解机器学习的“黑魔法”,并应用于更广泛的科学问题
323 0
|
机器学习/深度学习
机器学习数学基础十一:方差分析
分析四个行业之间的服务质量是否有显著差异,也就是要判断“行业”对“投诉次数”是否有显著影响。如果它们的均值相等,就意味着“行业”对投诉次数是没有影响的,即它们之间的服务质量没有显著差异;如果均值不全相等,则意味着“行业”对投诉次数是有影响的,它们之间的服务质量有显著差异
261 0
机器学习数学基础十一:方差分析

热门文章

最新文章