二、模型评估

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 模型评估的相关问题

1、区别欧式距离和余正弦距离?

dd9de3e55c17e8cb13256f1f3e10534c_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

2f033b13e5faf32e3bcc3a122ed34891_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png2、无偏估计和有偏估计的区别?

32d9d393c476b2e0c080036240f118be_20190304212324573.png

4.模型评估中不同的指标应用在什么场景中?

(1)准确率acc(分类问题)应用于样本类别比例平衡时,平均准确率,应用在不同类别样本比例非常不平衡时。

(2)针对实际的需求,权衡不同阈值下的召回率和精确率(PR曲线),使用一个指标调和平均值来综合反映模型的性能(排序模型)

(3)均方根误差用于衡量回归模型的好坏,但出现样本的离群点非常大时,从指标的角度考虑,应该选择平均绝对百分比误差指标评估

(4)二值分类器的评估指标:精确率,召回率,F1 score,PR曲线,还有一种roc曲线。 其中roc曲线能降低不同测试卷集带来的干扰,特别适用于正负样本数量不平衡的情况。若是希望看到模型在特定数据集的表现则PR曲线更加合适。

(5)欧式距离体现数值的绝对差异,余弦距离体现方向的相对差异,实际的使用看哪个的差异较为明显 kl距离,评估两个分布之间的差异

(6)A/B测试用于验证模型的最终效果,分实验组和测试组

参考:百面


目录
相关文章
|
存储 JavaScript 网络架构
【开源图床】使用Typora+PicGo+Github+CDN搭建个人博客图床
【开源图床】使用Typora+PicGo+Github+CDN搭建个人博客图床
463 3
|
人工智能 自然语言处理 Linux
进程(process) vs 线程(Thread)
本文主要介绍了进程和线程的基本概念、区别以及操作系统如何调度线程的方式。同时,还介绍了线程锁的核心原理和实现方式。在多线程编程中,理解进程和线程的概念以及线程锁的使用,对于保证程序的安全性和性能非常重要。
261 0
|
存储 网络协议 安全
CentOS7下搭建Rsyslog Server记录远程主机系统日志
CentOS7下搭建Rsyslog Server记录远程主机系统日志
1147 0
CentOS7下搭建Rsyslog Server记录远程主机系统日志
|
存储 机器学习/深度学习 消息中间件
数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验
在本篇文章中我们将对 RocksDB、Heap 和 Gemini 在相同场景下进行压测,并对其资源消耗进行对比。测试的 Flink 内核版本为 1.10.0。
数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验
|
11月前
|
存储 人工智能 弹性计算
产品技术能力飞跃,阿里云E-HPC荣获“CCF 产品创新奖”!
9月24日,在中国计算机学会举办的“2024 CCF 全国高性能计算学术年会”中,阿里云弹性高性能计算(E-HPC)荣获「 CCF HPC China 2024 产品创新奖」。这也是继 2022 年之后,阿里云E-HPC 再次荣获此奖项,代表着阿里云在云超算领域的持续创新结果,其产品能力和技术成果得到了业界的一致认可。
101302 61
|
12月前
|
网络协议 安全 Linux
如何配置Linux端的ftp?
如何配置Linux端的ftp?
268 64
|
12月前
|
SQL 关系型数据库 MySQL
MySQL数据库中给表添加字段并设置备注的脚本编写
通过上述步骤,你可以在MySQL数据库中给表成功添加新字段并为其设置备注。这样的操作对于保持数据库结构的清晰和最新非常重要,同时也帮助团队成员理解数据模型的变化和字段的具体含义。在实际操作中,记得调整脚本以适应具体的数据库和表名称,以及字段的详细规范。
323 8
|
人工智能 监控 安全
智能家居技术的未来:从自动化到人工智能
随着科技的飞速发展,智能家居已经从简单的自动化设备进化到了集成人工智能的高级系统。本文将探讨智能家居技术的演变历程、当前的应用实例以及未来的发展趋势,旨在为读者揭示如何通过技术创新实现家居生活的智能化和个性化。我们将从智能家居的基本概念出发,逐步深入到其背后的技术原理,最终展望人工智能如何塑造未来家居生活的可能性。
747 0
|
机器学习/深度学习 人工智能 测试技术
软件测试的演变:从手动到自动化的旅程
本文深入探讨了软件测试领域从传统的手动测试实践,经过部分自动化,最终发展到全面自动化测试的过程。文章首先概述了手动测试的局限性,然后详细介绍了自动化测试的兴起及其带来的革命性变化,包括提高测试效率、确保测试一致性和扩展测试覆盖范围等方面。接着,通过具体案例分析,展示了自动化测试在实际应用中的效益,并讨论了实施自动化测试时面临的挑战与解决策略。最后,文章对自动化测试的未来趋势进行了展望,强调了持续集成/持续部署(CI/CD)和人工智能(AI)在测试自动化中的重要性。
|
C语言
【C语言】求一个整数的二进制序列中1的个数的三种方法
【C语言】求一个整数的二进制序列中1的个数的三种方法
240 0

热门文章

最新文章