⚡最近很烦⚡
有一阵子没更新了，感觉整个暑假被忽悠了，六月份找Boss指明了一个Direction，然后整个暑假都在忙于补充Proposal相关的Knowledge，但是，被忽悠局局长Boss给忽悠了（谁人能明白其中的难受），干工科的master怎么可能不依靠数据，本来就知道拿不到数据，还跟着让指哪儿打哪儿,最终项目还是拿不到，唉~，Project always Project（Boss），一心就只有Project，这还让等到Sep去Proposal，调研的都白费了，谁爱去Proposal谁去。终究或许还是自己太菜了。
Sometimes one pays most for the things one gets for nothing.
最近看到算法比较多，其中发现一个FGD（Feasible Gradient Direction）方法，可行梯度方向法，很是疑惑，到处寻找答案，找不到。和Zoutendijk可行方向法相比好像又有所区别，下面根据Paper的SEDA（sparse exponential discrimination analysis）稀疏指数判别分析算法求解其目标函数进行解释一下（菜鸡的自我修养）。
背景
首先，先介绍一下背景，之前出过一篇LDA的解释Blog，LDA主要用于降维和简单分类，在多分类问题上比较有用。
在过去的几十年里，针对LDA方法提出过很多中改进的方法，如惩罚判别分析（PDA）、两阶段主成分判别分析（PCA+LDA）、零空间LDA（NLDA）、指数判别分析（EDA）、灵活判别分析（FDA）、混合判别分析（HDA）、稀疏判别分析（SDA）等等…一系列改进方法。
最近研究到一篇是关于对指数判别分析（EDA）的改进方法—稀疏指数判别分析（sparse exponential discrimination analysis，SEDA）。
简单来说一下作者的改进路线。
EDA
而改进的EDA的目标函数长这样：
注意，其中
此为改进的地方，可使用类间距离与类内距离的比率来评估判别分析方法的性能。
SEDA
现在我们加上EDA的约束条件，
将其进一步等价为，
加上lasso（套索）惩罚后得到SEDA，
其中，γ为一个非负调谐参数，应予以指定。
一般来说，随着lasso惩罚因子γ的增加，SEDA算法的模型可解释性和判别性能有所提高，但当γ 超过一定程度时，情况正好相反。
（中间过程过于复杂已忽略）
最终变形为下面这样的目标函数（为凸函数，原本为非凸函数，估计是为了增加一个创新点吧或许，本来可以直接拉格朗日干起来，搞非凸函数求其最优解，现在改进使用最小化-最大化（MM）算法将其重新表达为一个迭代凸优化问题变为凸函数，学到了）：
可行梯度方向法
这里主要针对稀疏判别优化的可行梯度方向法，将（*）式的约束优化问题转变为无约束优化问题，(公式太多了，就不打公式了哈)
上式的Hessian矩阵显然是对称正定的。因此，上式的无约束优化问题是严格凸的，这意味着其极值点对应于最优解。首先将上式的优化问题简化为一个标准的二次规划问题，然后利用一种可行的梯度方向法来有效地求解该问题。
将上式进行进一步优化，
同理，原无约束优化函数变为，
再将二次项重新表述为，
同样的，
因此，无约束优化的问题可以简化为一个标准的二次规划（二次规划凸优化有个好处，就是，局部最优解即为全局最优解），
其中，
下面是关于可行梯度方向法的核心观点:
可行梯度方向法示意图
其中，τ表示为
