机器学习方法三要素-3| 学习笔记

简介: 快速学习机器学习方法三要素-3。

开发者学堂课程【机器学习算法 :机器学习方法三要素-3】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7170


机器学习方法三要素-3

 

内容介绍

一、经验风险( Empirical Risk)

二、风险函数( Risk Function)

三、经验风险 vs 期望风险

四、经验风险的问题

五、那么经验风险低预测模型就一定会好吗?

六、结构风险

七、结构风险 vs 经验风险

 

一、经验风险( Empirical Risk)

损失函数度量了单个样本的预测结果,要想衡量整个训练集的预

测值与真实值的差异,将整个训练集所有记录均进行一次预测,求取损失函数,将所有值累加,即为经验风险。经验风险越小说明模型 f(x)对训练集的拟合程度越好。

公式为:图片24.png

 

二、风险函数( Risk Function)

又称期望损失、期望风险。所有数据集(包括训练集和预测集,遵循联合分布 P(XY))的损失西数的期望值。

公式为:

图片25.png

 

三、经验风险 vs 期望风险

1、期望风险是模型对全局(所有数据集)的效果,即将发生:经验风险是模型对局部(训练集)的效果。

2、 期望风险往往无法计算,即联合分布 P(X,Y)通常是未知的;经验风险可以计算

3、当训练集足够大时,经验风险可以替代期望风险,即局部最优代替全局最优(实际上如果可以计算期望风险,期望风险对我们做判断是最佳的)经验风险是针对已有的样本计算,但是已有的样本是局部数据,得到的只是局部最优。

 

四、经验风险的问题

在样本较小时,仅关注经验风险,很容易导致过拟合。

过拟合:对当前的样本数据特别好,但是如果遇到新的数据集,预测效果很差,这就叫做过拟合。

图片26.png

一次模型:y = 1.0429x + 0.2571

二次模型:y=-0.0524x2 + 1.4619x - 0.3714

四次横型:y = 0.0886x4 - 1.3904x3 + 7.275x2 - 13.303x + 8.6571

六次横型:y=-0.0289x6 + 0.73x5 - 7.1972x4 + 34.933x3 - 86.574x2 + 103.14x - 43.8

例如:我们有两个数据,一个x一个y,把这些点在图上画出来,可以看到大概分布状况。实际上对数据处理有经验,会知道通过曲线去拟合。

二次模型:看上去比经验风险更小。

四次模型:与每个点都比较接近。

六次模型:完美拟合每一个点。

按照这个逻辑来讲,经验风险最低的是六次模型。

 

五、那么经验风险低预测模型就一定会好吗?

在样本较小时,仅关注经验风险,很容易导致过拟合。

下图为所有的数据集。刚刚我们拿到的是已有的训练集。实际上我们还有预测集。需要把十条数据全部加起来,才可以预测数据。

图片27.png

一次函数是4.68,二次是4.79,四次是2.62,六次是2.15。按这个道理来讲,六次在样本风险表现出来的最小。似乎我们应该选择这个模型。

我们可以看到一次函数在预测值时是1.15,二次函数是3.68,四次函数是134.29,六次函数是782.35。综合起来看,一次函数在整个数据集来看,数据风险最低。六次函数的期望风险最高。这就表示产生了严重的过拟合。

图片28.png

大家可以看到,数据全集上面是训练集,下面是预测集,在没达到数据全集的情况下算的是经验风险,基于7条记录做的经验风险。实际上下面的预测集合起来叫做数据全集。在数据全集算出来的叫做死亡风险。实际上下面三条记录没有产生的时候,我们是得不到全局的期望风险的。所以我们得到的只是局部的自由解。这个时候非常容易导致过拟合。

 

六、结构风险

结构风险 ( Structural Risk):在经验风险的基础上,增加一个正则化项(Reguarizer) 或者叫做惩罚项,公式:

图片29.png

其中λ为一个大于0的系数,J(f)表示模型f(x)的复杂度。

不管是结构风险还是经验风险,值越大说明模型匹配的拟合程度越差。值越小表示拟合程度越好。在这个基础上加了一个正数,实际上风险值就会变大,不同的模型,复杂度不一样。惩罚力度就不一样。

 

七、结构风险 vs 经验风险

1、经验风险越小,模型决策函数越复杂,其包含的参数越多(回想一次函数和六次函数的例子)

2、当经验风险函数小到一定程度就出现了过拟合现象

3、防止过拟合现象的方式,就要降低决策函数的复杂度,让惩罚项j(f最小化

4、需要同时经验风险函数和模型决策函数的复杂度都达到最小化(首先来说这个模型对数据拟合还不错同时模型不可以太复杂)

5、把两个式子融合成一个式子得到结构风险函数然后对这个结构风险函数进行最小化。

相关文章
|
1天前
|
机器学习/深度学习 数据采集 数据处理
谷歌提出视觉记忆方法,让大模型训练数据更灵活
谷歌研究人员提出了一种名为“视觉记忆”的方法,结合了深度神经网络的表示能力和数据库的灵活性。该方法将图像分类任务分为图像相似性和搜索两部分,支持灵活添加和删除数据、可解释的决策机制以及大规模数据处理能力。实验结果显示,该方法在多个数据集上取得了优异的性能,如在ImageNet上实现88.5%的top-1准确率。尽管有依赖预训练模型等限制,但视觉记忆为深度学习提供了新的思路。
8 2
|
26天前
|
机器学习/深度学习 数据采集 数据挖掘
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
因果推断方法为特征工程提供了一个更深层次的框架,使我们能够区分真正的因果关系和简单的统计相关性。这种方法在需要理解干预效果的领域尤为重要,如经济学、医学和市场营销。
52 1
特征工程在营销组合建模中的应用:基于因果推断的机器学习方法优化渠道效应估计
|
29天前
|
机器学习/深度学习
如何用贝叶斯方法来解决机器学习中的分类问题?
【10月更文挑战第5天】如何用贝叶斯方法来解决机器学习中的分类问题?
|
1月前
|
机器学习/深度学习 算法 API
机器学习入门(六):分类模型评估方法
机器学习入门(六):分类模型评估方法
|
1月前
|
机器学习/深度学习 算法 数据挖掘
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
机器学习入门(二):如何构建机器学习模型,机器学习的三要素,欠拟合,过拟合
|
1月前
|
机器学习/深度学习 算法 搜索推荐
机器学习入门(四):距离度量方法 归一化和标准化
机器学习入门(四):距离度量方法 归一化和标准化
|
2月前
|
机器学习/深度学习 Python
验证集的划分方法:确保机器学习模型泛化能力的关键
本文详细介绍了机器学习中验证集的作用及其划分方法。验证集主要用于评估模型性能和调整超参数,不同于仅用于最终评估的测试集。文中描述了几种常见的划分方法,包括简单划分、交叉验证、时间序列数据划分及分层抽样划分,并提供了Python示例代码。此外,还强调了在划分数据集时应注意随机性、数据分布和多次实验的重要性。合理划分验证集有助于更准确地评估模型性能并进行有效调优。
|
2月前
|
机器学习/深度学习 算法 搜索推荐
机器学习方法之强化学习
强化学习是一种机器学习方法,旨在通过与环境的交互来学习如何做出决策,以最大化累积的奖励。
54 4
|
3月前
|
机器学习/深度学习 算法 Python
【机器学习】面试问答:决策树如何进行剪枝?剪枝的方法有哪些?
文章讨论了决策树的剪枝技术,包括预剪枝和后剪枝的概念、方法以及各自的优缺点。
57 2
|
3月前
|
机器学习/深度学习
【机器学习】面试题:LSTM长短期记忆网络的理解?LSTM是怎么解决梯度消失的问题的?还有哪些其它的解决梯度消失或梯度爆炸的方法?
长短时记忆网络(LSTM)的基本概念、解决梯度消失问题的机制,以及介绍了包括梯度裁剪、改变激活函数、残差结构和Batch Normalization在内的其他方法来解决梯度消失或梯度爆炸问题。
103 2

热门文章

最新文章

  • 1
    机器学习实战:房价预测项目
    202
  • 2
    强化学习(Reinforcement Learning, RL)** 是一种机器学习技术,其中智能体(Agent)通过与环境(Environment)交互来学习如何执行决策以最大化累积奖励。
    77
  • 3
    集成学习(Ensemble Learning)是一种机器学习技术,它通过将多个学习器(或称为“基学习器”、“弱学习器”)的预测结果结合起来,以提高整体预测性能。
    219
  • 4
    `sklearn.metrics`是scikit-learn库中用于评估机器学习模型性能的模块。它提供了多种评估指标,如准确率、精确率、召回率、F1分数、混淆矩阵等。这些指标可以帮助我们了解模型的性能,以便进行模型选择和调优。
    454
  • 5
    在机器学习和数据科学中,数据预处理是一个至关重要的步骤。数据规范化(或称为特征缩放)是预处理的一种常见技术,它可以帮助我们改进模型的性能。`sklearn.preprocessing`模块提供了多种数据规范化的方法,其中`StandardScaler`和`MinMaxScaler`是最常用的两种。
    89
  • 6
    在人工智能和机器学习的领域中,语音识别(Speech Recognition,SR)是一个重要的研究方向。它旨在将人类的语音转换为计算机可读的文本。
    106
  • 7
    OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习库,它提供了大量的函数和工具,用于处理图像和视频数据。
    121
  • 8
    驾驭大数据洪流:Pandas与NumPy在高效数据处理与机器学习中的核心作用
    84
  • 9
    探索机器学习在图像识别中的应用
    53
  • 10
    智能化运维:机器学习在故障预测和自动化修复中的应用
    66