1、监督学习模型描述
为了构建模型，首先引入一系列符号进行表示：x(i)表示第i个输入变量，也叫输入特征； y ( i ) y^{(i)} y(i)表示第i个输出变量，也叫目标变量；一个 (x(i), y(i))对称为一个训练样本，全部的训练样本集合 (x(i), y(i)), i=1,...,m被称为一个训练集。我们同样会使用 X表示输入变量空间，表示输出变量空间。
有了上述符号，我们就可以更正式地定义监督学习模型：在给定一个训练集之后，我们的目标是学习一个函数 h(x):X→Y，使得 h(x)是对变量 y y y的一个好的预测，这个函数h(x)叫做hypothesis。所以监督学习的流程可以概述为下图：
若目标变量是连续的，如房价预测问题，则我们称这个问题是回归问题；若目标变量取值是一系列离散的数，则我们称这个问题是聚类问题。
2、代价函数
为了衡量hypothesis函数 h ( x ) h(x) h(x)的精度，引入了代价函数。对于线性回归问题，代价函数通常采用均方误差(square error function / mean square function)的形式，如下所示：
J(θ0,θ1)=2m1i=1∑m(h(xi)−yi)2
其中， h(xi)表示函数的预测值， yi表示函数的真实值。其中，添加一个 21项的原因在于为了后续梯度下降处理方便。
假如将线性函数中的 θ0项进行取消，只针对 θ1参数进行学习，给定的训练集为(1,1)，(2,2)，(3,3)，则如下图所示，在最小化代价函数目标值之下，参数 θ 1 \theta_1 θ1的最优取值为1。
当有两个参数需要进行学习时，不能像上述一样通过二维平面图来表示代价函数值和参数的关系，代价函数值是关于参数 θ 0 和 θ1的三维图像，但是可以通过二维等高线图来描述哪些 θ 0 \theta_0 θ0和 θ 1 \theta_1 θ1取值下，函数值是相等的。
