正文

假设有样本集合

T={(x1,y1),(x2,y2),(x3,y3),...,(xN,yN)}

其中 单个样本

1、首先根据特征向量xi的数据分布提出一个合适的模型函数

y=f(x;θ)

来估计样本分布

2、提出一个合适的损失函数L(x,y)L(x,y)计算在训练数据集上的所有训练样本估计的误差损失大小

3、使用合适的优化算法使得 损失函数 L(x,y)的值最小化，即：

4、利用得到的 损失函数L(yi,f(xi))的最小值，可以得到原函数 y=f(x;θ)y=f(x;θ)的参数值 θθ的解：

其中参数 KK与模型f(x;θ)f(x;θ)相关，与特征向量维数以及数据集个数无关。这样，将类标未知的样本 xx输入到函数f(x)f(x)中就可以得到新的预测类标值 <script type="math/tex" id="MathJax-Element-2894">y</script>