参数估计-1| 学习笔记

开发者学堂课程【机器学习算法 ：参数估计-1】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/535/detail/7221

参数估计-1

内容介绍

一、回顾：最大似然估计

二、最大似然估计法估计参数值

一、回顾：最大似然估计

在上一章介绍了如果因变量是二分类变量的话，怎样去把它转化一个可以使用线性回归去处理的模型，选用了一个 Logistic 函数也就是逻辑回归函数来作为预测的对象。它实际上就把一个分类变量的取值转化成一个连续变量的取值，就是0到1之间的概率取值。通过这个转换之后回归模型就可以用了。同时又面临一个非常重要的问题，就是关于回归模型中的参数如何进行一个估计。之前在介绍回归模型的时候也介绍过了估算参数的一个重要方法叫最大似然估计。

最大似然估计(Maximum Likelihood Estimation，MLE):利用总体的分布密度或概率分布的表达式及其样本所提供的信息求未知参数估计量的一种方法。

最大似然估计基本思路:已知样本符合某种分布，但分布的具体参数未知，通过实验，估算分布的参数。估算的思想为:已知某组参数能使当前样本出现的概率最大，就认为该参数为最终的估计值。

投掷一枚已知质地并不均匀硬币，正反面的结果符合二项式分布: P(X=k)= 其中 n 和 k 为与实验相关的常数，p 为出现正面的概率，也是待确定的参数。

将该硬币投掷i次，出现正面次数为j，在没有其他更多信息的情况下，则有理由相信 。

最大似然估计解决的是“模型已定，参数未知”的问题。即用已知样本的结果，去反推既定模型中的参数最可能的取值。原则上就是去构造一个似然函数，其他函数怎样取值才能让似然函数最大，然后根据这一点去求相关的参数。就是现在看到的事情已经发生了，如何去调节相关的参数让这个事情发生的概率最大。这个时候就认为这个参数是最契合观察到现象的一种参数。

出现当前情形的概率为：f( )=f( )f( )…f( )，θ未知

称其为似然函数L:L(θ/ )=f( /θ)=f( /θ)f( /θ)…f( /θ)= nf( /θ)

为了方便计算，取对数：lnL(θ/ )=lnf( /θ)+lnf( /θ)+…+lnf( )= lnf( /θ)

将该硬币投掷10次，出现正面次数为3，有理由相信p=0.3

10投3正的概率：

其似然函数为：

二、最大似然估计法估计参数值

其实在做逻辑回归的时候也是需要使用最大似然估计法的。

最大似然估计既可用于线性模型，也可用于复杂的非线性模型估计，比如: Logistic 回归。

具体步骤:建立似然函数(Likelihood function)，该函数将观察数据的概率表述为未知模型的参数。这个事件已经发生了，想办法去调整这个模型里面的参数，让当前观察到的事件发生的概率最大。这个时候通过这个方法计算出来的参数就是最有可能满足当前观察现象发生的一组参数。就是选择能够使该函数值达到最大的参数估计值。即这套参数能够通过模型以最大概率再现观测数据。

似然函数：假设总体为 N 条数据，实际上这个总体是不太可能会得到的。随机抽取 n个数据作为观察样本，设 它的意思就是给定了一个 ，这个时候得到 的条件概率就是 。同样的道理 的概率就是 。这个时候就可以得到一个观察值的概率： 的时候它的概率是 ，等于0的时候就是 ，这与刚才的假设是一致的。其中 或者 。因为各项观测是互相独立的，所以它们的联合分布可以表示为各边际分布的乘积：  假设有两条记录，第一条观测到是1，那就把第一条出现的概率算出来，第二条出现的概率也算出来，这两条记录同时出现的概率就是把这两个概率乘起来。因为前提条件是各项观测互相独立，所以每条记录出现都有一个概率，那所有记录出现的概率就是每一条记录出现的概率乘起来，这是最基本的概率知识。这个时候只要去让  L(θ)  取得最大值，此时求得的 θ 的值就是参数值。比如要从所有记录中抽出5条记录来，其实有很多种抽法。当前已经观察到的这5条数据出现的概率最大的情况就是要求这个 L(θ)  最大，就是每一条记录出现的概率都可以表达为一个 θ 的函数，然后多条记录同时出现就是把概率乘起来，让整个多条记录同时出现的概率最大，取 L(θ) 的最大值，根据这个条件求出来的 θ 就是要估算的参数最有可能出现的值。

参数估计：求解使 L(θ) 最大的参数 θ，实际上此处的 θ 为未知参数 β=

为了方便计算，可将对 L(θ) 两侧取对数，得到：

这个就是对数似然函数。

对上述对数似然函数 求解使其最大的总体参数β= ,即求极值。

分别对 β 求偏导，令其分别等于 0，求解。此处简化为：

即有

多个参数可以生成联立方程组，不太容易求解，通常使用迭代的方式进行求解，如牛顿法、梯度法。假设一个值带进去，看这个值和最终结果的偏离程度，直到通过迭代的方法得出一个值和最终的结果接近。