PRML Chapter01 练习题Exercise
1.1
我们要证明我们可以根据这个式子得到我们的w的最优解，其实也就是最小化我们的平方损失函数
将1.1的多项式函数代入1.2的平方损失函数中，然后再对我们的w求导，最小化我们的函数，可得
然后我们再换一下位置就可以得到我们的结果
1.2
第二题就是用正则化的损失函数写成上述1.122的形式，其实很简单，我们只需要将我们第一题A i 替换成A i j + λ I i j A_{ij}，也就是对其我们加了一个单位矩阵，就是上面的式子，一样的方法证明，很简单。
1.3
1.3是一个简单用了贝叶斯概率的问题
首先求拿到苹果的概率
第二个问题是求已知拿到的是橙子，求它来自于绿色盒子的概率，这个我们利用贝叶斯公式
所以我们可以得到我们的结果p ( g ∣ o )
1.5
1.6
因为我们知道x和y是独立的，所以p ( x , y ) = p ( x ) p ( y )
所以最后c o v [ x , y ] = 0
一道题一道题做的有点麻烦，到后面我就跳过，做一些重点标注的题
1.10
因为x和z是独立的，所以
由上述结论可以得
并且最后两项会被积分到0，因此
1.15
由于题目有点长，这里为了方便理解，翻译一下
在这个练习和下⼀个练习中，我们研究多项式函数的独立参数的数量与多项式阶数M以及输⼊空间维度D之间的关系。⾸先，我们写下D维空间多项式的M阶项，形式为
系数w i 1 , i 2 , … , i M w_{i_1,i_2,由D M 个元素组成，但是独⽴参数的数量远小于此，因为因子x i 1 x i 2 …
有很多互换对称性。首先证明系数的冗余性可以通过把M阶项写成下面的形式的方法消除
使用这个结果证明，M阶项的独立参数的数量n ( D ∣ M )满足下面的递归关系
接下来，使用归纳法证明下面结果成立
可以这样证明：首先证明D = 1情况下，对于任意的M，这个结果成立。证明的过程中会用0 ! = 1 。然后假设这个结论对于D维成立，证明它对D+1维也成立即可。最后，使用之后的两个结果，以及数学归纳法，证明
可以这样证明：首先证明这个结果对于M = 2 且任意的D ≥ 1 D ，这可以通过对比联系1.14的结果得出。然后使⽤公式（ 1.135 ） （和公式（ 1.136 ，证明，如果结果对于M − 1阶成⽴，那么它对于M阶也成成立
证明：
为了得到我们1.135 式子的结果，我们进行一个推导，独立参数的个数n ( D , M )可以写成
一共有M项，并且这也可以写成
其中大括号中有M − 1项，并且为n ( i 1 , M − 1 ) 所以我们就可以写成
这就推导出了我们的第1.135的式子
接着我们需要推导1.136 的式子，我们需要用我们数学归纳法
首先当D = 1时，左边和右边都为1，这个式子是成立的，这里我们用了0 ! = 1
接着利用数学归纳法的思想，我们假设我们的式子在任意的D都成立，然后证明他在D+1的情况也是成立的，那么这个式子就是成立的。
所以这个式子当对D + 1 也是满足的，所以，这个式子成立
最后我们来证明1.137 的式子，我们也是用数学归纳法来证明，首先证明当M = 2 时成立
当M = 2 时，我们可以得到，这个是成立的
然后我们假设，对于M − 1来说，这个式子
把这个式子带入我们前面的1.135 的右边，我们可以得到
然后我们再将前面的1.136 带入，我们就可以得到我们的结果
因此，对于所有的多项式都是成立。
1.16
1.16和1.15是同一类型的题目，这道题他是想证明所有阶数小于等于M阶的所有项的独立参数的总数N ( D , M )，利用前面的结果，我们来证明
其中n ( D , m )是m阶项的独立参数的数量
首先当M=0的时候这个式子是明显成立的，我们假设当M 的时候式子成立，我们需要证明当M + 1 时也成立
所以对于M+1时等式也是成立的
当M ≫ D ，在这之中，我们需要用到一个Stirling近似，这个近似关系对于大的n是成立的。
当然，当D ≫ M D也是相同的，通过计算得N ( 10 , 3 ) = 286 和N ( 100 , 3 ) = 176 , 851
1.18
对于这道题，首先作者给出了一个从笛卡尔坐标到极坐标系的公式，我们可以证明1.143 ，1.144
D = np.linspace(0.1, 20, 1000) Sd = 2 * np.pi * D / gamma(D / 2) Vd = Sd / D
fig = plt.figure(figsize=(15, 5)) ax = fig.add_subplot(1, 2, 1) ax.plot(D, Sd) ax.set_title("Surface Area for unit sphere in $D$ dimensions") ax.set_xlabel("$D$") ax.set_ylabel("$S_D$") ax.grid(alpha=0.6) ax = fig.add_subplot(1, 2, 2) ax.plot(D, Vd) ax.set_title("Volume of a unit sphere in $D$ dimensions") ax.set_xlabel("$D$") ax.set_ylabel("$V_D$") ax.grid(alpha=0.6)
1.27
这个题目需要我们证明对于不同q的情况下，我们的y ( x )的取值，当q = 1 时，y ( x ) 取中位数，当q 趋近于0的时候，我们最小误差为条件众数
1.30
计算两个高斯分布的KL散度
从书本前面我可以得到K L ( p ∣ ∣ q )
我们将p和q 的高斯分布带入第一个积分，可以得到
对于我们的第二个积分，我们可以看出来，这是高斯函数的负微分熵，所以我们最后可以写成
