斯坦福大学凸优化课程笔记-0

简介: 凸优化课程-0凸优化的重要性首先,在现实生活中,如果对实际问题进行建模,直接符合凸优化条件的问题很少很少,少的可怜,我们在机器学习中、深度学习中所谓的模型正好符合凸优化模型的情况是经过无数先辈几十年的沉淀转化而来的,现今的机器学习、深度学习,所谓的智能,其实也只是数据进行建模,kNN、贝叶斯、决策树、SVM做超平面分隔、k聚簇等等只是在使用统计学的方法来做决策,其实只是概率(对已发生事件的频率统计)选择来进行决策而已,而解决这些问题的过程当中,存在着无数约束条件:等式+不等式。

凸优化课程-0

凸优化的重要性

首先,在现实生活中,如果对实际问题进行建模,直接符合凸优化条件的问题很少很少,少的可怜,我们在机器学习中、深度学习中所谓的模型正好符合凸优化模型的情况是经过无数先辈几十年的沉淀转化而来的,现今的机器学习、深度学习,所谓的智能,其实也只是数据进行建模,kNN、贝叶斯、决策树、SVM做超平面分隔、k聚簇等等只是在使用统计学的方法来做决策,其实只是概率(对已发生事件的频率统计)选择来进行决策而已,而解决这些问题的过程当中,存在着无数约束条件:等式+不等式。求解ƒ(x),使得等式+不等式符合条件,经过先辈们的改善、切合,发现转化为凸优化可以解决这类问题。但是还有着大量的问题没法解决,例如NP问题,目前是无解的,因为它涉及的约束条件、可能性太多,计算过于复杂。我们没法直接将它转化为凸优化。

其次,凸优化的重要在于它是一个相对而言被嚼烂的数据模型,对凸优化的问题我们在基础数学上面已经有了很多解决方法,例如可以将凸优化问题Lagerange做对偶化,然后用Newton、梯度下降算法求解等等。再次,现有的优化方法不是都解决了的,还是有很多问题是没有解决的,例如NP问题,如果转化为可解问题,如何对这些问题做近似优化处理,这就需要遇到具体问题的时候具体去分析,而且建立一个近似可解的优化模型需要我们对优化本身理解透彻。一个对水墨、颜料都不懂的画家如何能够创造出新颖的画风?

最后,回答末尾一个问题,凸优化的作用在于思维方式的转变,跟计算机思维方式一样,计算机从业人员在遇到问题的时候习惯了通过电脑去协助解决问题,而他们的价值不在于知道听得懂别人告诉他如何解决问题,而是遇到现实问题的时候都会将问题拆分成机器可以实现的方式去解决:例如遇到购物,阿里巴巴建立了网站、app、c/s系统、b/s系统,用互联网建立信息流,建立帝国。遇到查询问题,百度建立了搜索引擎。这种思维方式才是最重要的。。同样,凸优化的价值也在于思维转变,遇到现实生活问题的时候,我们必然要对问题进行建模,然后抽象问题,利用机器去帮助我们解决问题,那么,当问题的计算量接近无穷大的时候我们如何去解决?这就需要我们抽离问题抽象结构,想办法将转换成“凸优化问题”,因为凸优化已经被嚼烂,所以只要问题转化成凸优化,我们就可以分布迭代去运算,于是才有了机器学习、深度学习这一门门的交叉科学。凸优化是数学领域的重要分支,而计算机科学仅仅是数学这门基础科学的延伸而已,基础科学才是王道!!! C#、Java固然是被封装成了便于人类使用的高级语言,但是总有些功能是“已有实现”没有封装好的,这时就需要我们回归更加原始语言C、汇编去编程。。深究底层、精通基础科学才是从容面对所有问题的解决王道,学会别人解决过的问题只能让你解决相同的问题,现实是无限可能的,总有未解决过的问题等着你,凸优化,你值得拥有

凸优化斯坦福课程网站

https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/courseware/7206c57866504e83821d00b5d3f80793/a87df9fb325c4bf49c3cd10a1681a6eb/

国内视频下载链接,与我个人进行的字幕翻译

链接:https://pan.baidu.com/s/1o9z2YXs 密码:pq20

字幕翻译github项目
https://github.com/zangzelin/convex_optimization_subtitle_file

相关文章
|
机器学习/深度学习 算法 数据挖掘
期末复习【机器学习】1
期末复习【机器学习】1
171 0
|
机器学习/深度学习 传感器 编解码
计算机视觉期末复习
计算机视觉期末复习
229 0
|
机器学习/深度学习 人工智能 PyTorch
被誉为「教科书」,牛津大学231页博士论文全面阐述神经微分方程,Jeff Dean点赞
被誉为「教科书」,牛津大学231页博士论文全面阐述神经微分方程,Jeff Dean点赞
217 0
|
机器学习/深度学习 人工智能 语音技术
重温经典:台大李宏毅的线性代数公开课
重温经典:台大李宏毅的线性代数公开课
重温经典:台大李宏毅的线性代数公开课
|
机器学习/深度学习 人工智能 自然语言处理
全球名校AI课程库(16)| Stanford斯坦福 · 计算机科学导论课程『Introduction to Computers』
循序渐进地介绍了计算机方向的大部分基础知识,包括计算设备的工作原理、诸多实用技能(包括网页开发等),适合初学者构建对计算机科学的全面认知。
2243 1
全球名校AI课程库(16)| Stanford斯坦福 · 计算机科学导论课程『Introduction to Computers』
|
机器学习/深度学习 算法 语音技术
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
李宏毅2021春季机器学习课程视频笔记2:(选修)深度学习简介,反向传播
|
机器学习/深度学习 JavaScript 算法
深入浅出 理解GAN中的数学原理 (基于李宏毅教授的视频理解)
深入浅出 理解GAN中的数学原理 (基于李宏毅教授的视频理解)
深入浅出 理解GAN中的数学原理 (基于李宏毅教授的视频理解)
|
机器学习/深度学习 算法 C++
独家干货 | 林轩田机器学习课程精炼笔记!
独家干货 | 林轩田机器学习课程精炼笔记!
567 1
独家干货 | 林轩田机器学习课程精炼笔记!
|
机器学习/深度学习 算法
台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
上节课,我们主要介绍了根据不同的设定,机器学习可以分为不同的类型。
216 0
台湾大学林轩田机器学习基石课程学习笔记4 -- Feasibility of Learning
|
机器学习/深度学习 人工智能 自然语言处理
撒花!斯坦福深度学习最新视频发布,吴恩达主讲!
撒花!斯坦福深度学习最新视频发布,吴恩达主讲!
175 0
撒花!斯坦福深度学习最新视频发布,吴恩达主讲!
下一篇
无影云桌面