1. 凸优化部分
凸优化在人工智能领域有着举足轻重的地位，对于模型的训练实际上等同于对模型的优化。我们平时使用的sgd, adam, adagrad, l-bfgs这类算法均属于优化范畴。在AI的应用中，当我们构造了目标函数之后，接下来的工作就是优化部分。那为什么凸优化这么重要呢？设想一下，如果你想设计一个新的模型，或者在原有的模型基础做一些创新，那对于新构造的目标函数，你需要懂得如何去优化，以及用什么样的优化算法才能解出更好的局部最优解。所以，对于想进阶的AI工程师来说，凸优化是必备课，必须要掌握的内容。
课程大纲第一周：凸优化基础学习目标：了解凸优化技术以及应用场景，理解凸优化技术的类别、技术范畴、以及能把凸优化技术跟生活和工作中的问题联系在一起。同时，深入理解线性规划技术，以及它在不同场景中的应用，并能够实现。学习安排：- 从优化角度理解机器学习- 凸优化的重要性- 常见的凸优化问题- 线性规划以及Simplex Method- Stochastic LP- P，NP，NPC问题- 案例分析：运输中的优化问题- 案例分析：打车中的优化问题
- 案例分析：投放运营中的优化问题
第二周：凸优化基础学习目标：学习如何识别凸函数和如果判定凸函数，这里会涉及到三种不同的方法以及多个案例讲解。同时，本周能学到二次规划相关的知识，以及能够用二次规划去模拟的实际问题以及求解方式。 学习安排：- 如何判断一个集合是凸集- 各类凸集以及证明- 方法1：Prove by Definition- 方法2：First-order Convexity- 方法3：Second-order Convexity- 二次规划问题以及凸函数证明- 最小二乘问题详解
- 案例分析：WDM距离计算- 案例分析：股票投资组合优化问题
第三周：常见的凸优化问题学习目标：学习如何识别凸函数和如果判定凸函数，这里会涉及到三种不同的方法以及多个案例讲解。同时，本周能学到二次规划相关的知识，以及能够用二次规划去模拟的实际问题以及求解方式。 学习安排：- 常见的凸优化问题类别- 半正定规划问题（SDP）- 几何规划问题（GP）- 非凸函数的优化方法- 非凸函数的松弛华- 整数规划以及松弛华- 案例分析：Set Cover问题
- 案例分析：Vertex Cover问题- 案例分析：0-1 Knapsack问题- 案例分析：Cutting-stock问题- 案例分析：Max-cut问题
第四周：优化与量化投资学习目标：作为一个案例章节，主要学习优化在量化投资中的应用，同时也学习常见的量化投资策略。这一章的学习一方面可以带来对新的领域的学习，同时也给其他领域的问题提供思路。 学习安排：- 量化投资介绍- 如何阅读K线图- 基于规则的量化策略- 基于机器学习模型的量化策略- 基于LP、QP优化的量化策略- Efficient Frontier, Sharp Ratio- 量化平台介绍
第五周：对偶（Duality）学习目标：掌握对偶相关的知识，对偶可以算是优化领域最为经典的一套方法论。学完本部分之后，可以对已有的模型做改进，同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property，KKT条件，Weak Duality等基本理论。一句话，Duality是优化的精华！ 学习安排：- 拉格朗日对偶函数- 对偶的几何意义- Lower Bound Property- Weak and Strong Duality- KKT条件- LP、QP、SDP的对偶转换- 对偶的一些应用场景- 经典机器学习模型的对偶转换- 案例分析：SVM的完整对偶转换- 案例分析：不同损失函数的分析
第六周：对偶（Duality）学习目标：掌握对偶相关的知识，对偶可以算是优化领域最为经典的一套方法论。学完本部分之后，可以对已有的模型做改进，同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property，KKT条件，Weak Duality等基本理论。一句话，Duality是优化的精华！ 学习安排：- Gradient Descent- GD的收敛分析- Subgradient Method- Proximal Gradient Descent- Projected Gradient Descent- Stochastic Gradient Descent- Newton's Method- Quasi-Newton Method- L-BFGS- 案例分析：ADMM的分析
- 案例分析：Adadelta, Adam的比较
第七周：优化技术进阶学习目标：掌握其他主流的优化技术，这些都属于比较进阶的内容，需要前面内容的基础。主要掌握Interior Point Method，ADMM等模型。 学习安排：- Mirror Ascent- 分布式梯度下降法- Interior Point Method- ADMM方法- Sparsity与优化关系- Combinatorial优化
