在数据处理中，经常遇到寻求回归方程的问题，即根据一组实验数据，建立两个或多个物理量(舒称因素)之间的在统计意义上的依赖关系式。
引言
最小二乘模型可以解决两类实际问题。
第一类问题：在数据处理中经常遇到寻求回归方程的问题，即根据一组实验数据建立两个或多个物理量（俗称因素）之间的在统计意义上的依赖关系式。例如一个量y 与另一个或几个量t 1 , ⋅ ⋅ ⋅ ，有关系。这类问题的一般性描述如下。假定要建立量y yy与l ll个量t 1 , ⋅ ⋅ ⋅ ， t l 之间的依赖关系式，设方程为：
第二类问题：求解方程组（数学问题）
是非常自然的事情。它也是一个最小二乘问题。
最小二乘问题的解法
(1) 线性最小二乘问题
(2) 非线性最小二乘问题
则上式可写成矩阵-向量形式
称它为非线性最小二乘问题的Gauss-Newton迭代公式，而由这个公式所产生的算法称为Gauss-Newton法。当f ( x ) 满足一定的条件，并且x 0 充分靠近极小点x ∗ 时，Gauss-Newton法是收敛的。
我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！
