PRML Chapter01 练习题Exercise

1.1

我们要证明我们可以根据这个式子得到我们的w的最优解，其实也就是最小化我们的平方损失函数

将1.1的多项式函数代入1.2的平方损失函数中，然后再对我们的w求导，最小化我们的函数，可得

然后我们再换一下位置就可以得到我们的结果

1.2

第二题就是用正则化的损失函数写成上述1.122的形式，其实很简单，我们只需要将我们第一题A i 替换成A i j + λ I i j A_{ij}，也就是对其我们加了一个单位矩阵，就是上面的式子，一样的方法证明，很简单。

1.3

1.3是一个简单用了贝叶斯概率的问题

首先求拿到苹果的概率

第二个问题是求已知拿到的是橙子，求它来自于绿色盒子的概率，这个我们利用贝叶斯公式

所以我们可以得到我们的结果p ( g ∣ o )

1.5

1.6

因为我们知道x和y是独立的，所以p ( x , y ) = p ( x ) p ( y )

所以最后c o v [ x , y ] = 0

一道题一道题做的有点麻烦，到后面我就跳过，做一些重点标注的题

1.10

因为x和z是独立的，所以

由上述结论可以得

并且最后两项会被积分到0，因此

1.15

由于题目有点长，这里为了方便理解，翻译一下

在这个练习和下⼀个练习中，我们研究多项式函数的独立参数的数量与多项式阶数M以及输⼊空间维度D之间的关系。⾸先，我们写下D维空间多项式的M阶项，形式为

系数w i 1 , i 2 , … , i M w_{i_1,i_2,由D M 个元素组成，但是独⽴参数的数量远小于此，因为因子x i 1 x i 2 …

有很多互换对称性。首先证明系数的冗余性可以通过把M阶项写成下面的形式的方法消除

使用这个结果证明，M阶项的独立参数的数量n ( D ∣ M )满足下面的递归关系

接下来，使用归纳法证明下面结果成立

可以这样证明：首先证明D = 1情况下，对于任意的M，这个结果成立。证明的过程中会用0 ! = 1 。然后假设这个结论对于D维成立，证明它对D+1维也成立即可。最后，使用之后的两个结果，以及数学归纳法，证明

可以这样证明：首先证明这个结果对于M = 2 且任意的D ≥ 1 D ，这可以通过对比联系1.14的结果得出。然后使⽤公式（ 1.135 ） （和公式（ 1.136 ，证明，如果结果对于M − 1阶成⽴，那么它对于M阶也成成立

证明：

为了得到我们1.135 式子的结果，我们进行一个推导，独立参数的个数n ( D , M )可以写成

一共有M项，并且这也可以写成

其中大括号中有M − 1项，并且为n ( i 1 , M − 1 ) 所以我们就可以写成

这就推导出了我们的第1.135的式子

接着我们需要推导1.136 的式子，我们需要用我们数学归纳法

首先当D = 1时，左边和右边都为1，这个式子是成立的，这里我们用了0 ! = 1

接着利用数学归纳法的思想，我们假设我们的式子在任意的D都成立，然后证明他在D+1的情况也是成立的，那么这个式子就是成立的。

所以这个式子当对D + 1 也是满足的，所以，这个式子成立

最后我们来证明1.137 的式子，我们也是用数学归纳法来证明，首先证明当M = 2 时成立

当M = 2 时，我们可以得到，这个是成立的

然后我们假设，对于M − 1来说，这个式子

把这个式子带入我们前面的1.135 的右边，我们可以得到

然后我们再将前面的1.136 带入，我们就可以得到我们的结果

因此，对于所有的多项式都是成立。

1.16

1.16和1.15是同一类型的题目，这道题他是想证明所有阶数小于等于M阶的所有项的独立参数的总数N ( D , M )，利用前面的结果，我们来证明

其中n ( D , m )是m阶项的独立参数的数量

首先当M=0的时候这个式子是明显成立的，我们假设当M 的时候式子成立，我们需要证明当M + 1 时也成立

所以对于M+1时等式也是成立的

当M ≫ D ，在这之中，我们需要用到一个Stirling近似，这个近似关系对于大的n是成立的。

当然，当D ≫ M D也是相同的，通过计算得N ( 10 , 3 ) = 286 和N ( 100 , 3 ) = 176 , 851

1.18

对于这道题，首先作者给出了一个从笛卡尔坐标到极坐标系的公式，我们可以证明1.143 ，1.144

D = np.linspace(0.1, 20, 1000)
Sd = 2 * np.pi * D / gamma(D / 2)
Vd = Sd / D

fig = plt.figure(figsize=(15, 5))
ax = fig.add_subplot(1, 2, 1)
ax.plot(D, Sd)
ax.set_title("Surface Area for unit sphere in $D$ dimensions")
ax.set_xlabel("$D$")
ax.set_ylabel("$S_D$")
ax.grid(alpha=0.6)
ax = fig.add_subplot(1, 2, 2)
ax.plot(D, Vd)
ax.set_title("Volume of a unit sphere in $D$ dimensions")
ax.set_xlabel("$D$")
ax.set_ylabel("$V_D$")
ax.grid(alpha=0.6)

1.27

这个题目需要我们证明对于不同q的情况下，我们的y ( x )的取值，当q = 1 时，y ( x ) 取中位数，当q 趋近于0的时候，我们最小误差为条件众数

1.30

计算两个高斯分布的KL散度

从书本前面我可以得到K L ( p ∣ ∣ q )

我们将p和q 的高斯分布带入第一个积分，可以得到

对于我们的第二个积分，我们可以看出来，这是高斯函数的负微分熵，所以我们最后可以写成