AI 助理
备案控制台
开发者社区 ModelScope模型即服务 文章 正文

一文让你了解AI产品的测试 评价人工智能算法模型的几个重要指标

2023-02-13 1067
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
交互式建模 PAI-DSW，5000CU*H 3个月
推荐场景：
AIGC Stable Diffusion文生图Lora模型微调实现虚拟上装
模型训练 PAI-DLC，5000CU*H 3个月
推荐场景：
低代码 Lora 微调及部署
模型在线服务 PAI-EAS，A10/V100等 500元 1个月
推荐场景：
基于PAI-EAS挂载OSS部署AIGC服务
简介： 一文让你了解AI产品的测试 评价人工智能算法模型的几个重要指标

如何测试人工智能产品越来越受到广大测试工程师的关注，由于人工智能的测试预言（Test Oracle）不是像普通软件产品那么明确，到目前为止，基于大数据的第四代人工智能产品的测试，主要集中在“对大数据测试”“白盒测试”“基于样本分析算法的优劣”以及“对最终产品的验收测试”。“对大数据测试”主要针对数据阶段验证、对数据计算验证和对输出阶段验证；“白盒测试”主要考虑神经元覆盖（Neuron Coverage）、阈值覆盖率（Threshold Coverage）、符号变更率（Sign Change Coverage）、值变更覆盖率（Value Change Coverage）、符号-符号覆盖率（Sign-SignCoverage）和层覆盖（LayerCoverage）这六个指标；“对最终产品的验收测试”可以采用对传统软件验收测试的方法，基于业务来进行测试，比如对于人脸识别系统，是否可以在各个人脸角度变化，光线等条件下正确识别人脸。本文重点讨论的是“基于样本分析算法的优劣”。


几个基本概念

大家都知道，人工智能通过训练样本来对系统通过深度学习的算法来进行训练，然后通过测试样本来对训练样本进行测试。“基于样本分析算法的优劣”中的样本仅对于测试样本而言。在这里样本的取样结果质量有几个关键的指标：正确率、精确度、召回率和F1分数。在介绍这些指标之前，我们先来看一下下面四个概念：


  • T（True）：真样本；
  • F（False）：假样本；
  • P（Positive）：判断为真；
  • N（Negative）：判断为假。

由此，我们又可以推断出如下四个概念：

  • TP True Positive：正确的判断为真（有病判断为有病，又称真阳性）
  • FN False Negative：错误的判断为假（有病判断为没病，又称假阴性，属于漏诊）
  • FP False Positive：错误的判断为真（没病判断为有病，又称假阳性，属于误诊）
  • TN True Negative：正确的判断为假（没病判断为没病，又称真阴性）


由此得到下面一个表：

实际

真(T)

假(F）

判断

真(P)

TP

FP

假(N)

FN

TN


精确度、召回率、准确性、FnScore

这个表，成为混淆矩阵。下面把这张表再进行加工。

image.png


通过这张表，我们得到了所有的指标，在这些指标中，以下2个是特别有用的：

  • 精确度（PPV）=TP/(TP+FP)：真阳性在判断为真的比例数。是衡量所有判断为真的样例的质量；
  • 召回率（TPR）= TP/(TP+FN)：在所有的真样本中有多少被找出。

另外还有2项是此重要的，其中1项没有在上表中体现：

  • 特异度（Specificity）= TN/(FP+FN)：即真阴率，实际的假样本被正确地找出；
  • 准确性=(TP + TN) / (TP + FP + TN + FN)：所有的查出的真阳与真阴数所占所有样本的比率。


为了让大家更不好的理解这些指标，我们来看一个案例。某电子商务网站，根据Linda的历史购物框推选了15个商品，其中12个是推荐正确的，3个是推荐错误的，这个系统中有50个商品，其中符合推荐给Linda的应该为20个，其他30个为不符合的。下面让我们来看一下上面谈到的各个指标:


  • 精确度（Precision）=12/15=80%;
  • 召回率（Recall）=12/20=60%;
  • 特异度（Specificity）=(30-(15-12))/30=27/30=90%;
  • 准确性=(12+ Specificity)/50=(12+27)/50=78%。


那么是不是精确度或者召回率越高越好呢，那可不一定，要视具体的产品而定。比如新冠病毒的检测软件，我们宁可降低精确度，也要保证召回率，不放过一个病例。这种情况即所谓的“宁错杀一百，不放过一个”的策略。比如：样本中有50真样本，50假样本，判断得到95个，其中50个为真，45个为假。这样精度50/95=53%，召回率=50/50=100%，由此可见这种算法精确度并不高，只有53%，而召回率达到了100%。另外一种情况，是可以牺牲召回率，而保证精确度，比如精准扶贫，对于每一个扶贫农夫开销是很大的，所以不允许存在把钱花在假贫困户上。比如：同样样本中有50真样本，判断得到15个，其中15个为真，其中0个为假。这样精度15/15=100%，召回率=15/50=30%，由此可见这种算法精确度很高高，达到100%，而召回率不高，仅为30%。


一般而言精确度和召回率应该是负相关的，如果两个值都低说明算法有了问题了，这里提出了F0.5分数、F1分数、F2分数、F3分数等指标。用的最多的是F1分数。


Fn分数（F1Score）=(1+n2)×精度×召回率×2 / (n2×精确度+召回率)

所以：

  • F0.5分数（F0.5Score）=1.25×精度×召回率/ (0.25×精度+召回率)；
  • F1分数（F1 Score）=2×精度×召回率/ (1×精度+召回率)；
  • F2分数（F1 Score）=5×精度×召回率/ (4×精度+召回率)。

这样在上面的商品推荐案例中：

  • F0.5 Score=1.25×80%×60%/（0.25×80%+60%）=0.6/0.8=75%；
  • F1 Score=2×80%×60%/（1×80%+60%）=0.96/1.4=68%；
  • F2 Score=5×80%×60%/（4×80%+60%）=2.4/3.8=63%。


一般而言，如果Fn分数低于60%算法就有问题了，如果低于50%，就存在严重事故了。由此可见n值越大，要求越严格。


        接下来介绍几个更高级的度量图


ROC 曲线（ReceiverOperating Characteristic curve）

ROC曲线为接受者操作特性曲线是指在特定刺激条件下，以被试在不同判断标准下所得的假阳率为横坐标，真阳率为纵坐标，画得的各点的连线。

image.png

AUC（Area Under the Curve）为ROC下面的面积。


P-R（Recall-Precision）曲线


横坐标为，纵坐标为召回率，纵坐标为精确度。

image.png


如何选择ROC和P-R曲线

  • 在很多实际问题中，正负样本数量往往很不均衡。比如，计算广告领域经常涉及转化率模型，正样本的数量往往是负样本数量的1/1000，甚至1/10000。若选择不同的测试集，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。所以，ROC曲线的适用场景更多，被广泛用于排序、推荐、广告等领域。


  • 但需要注意的是，选择P-R曲线还是ROC曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。


  • PR曲线比ROC曲线更加关注正样本，而ROC则兼顾了两者。


  • AUC越大，反映出正样本的预测结果更加靠前（推荐的样本更能符合用户的喜好）。


  • 当正负样本比例失调时，比如正样本1个，负样本100个，则ROC曲线变化不大，此时用PR曲线更加能反映出分类器性能的好坏。这个时候指的是两个分类器，因为只有一个正样本，所以在画auc的时候变化可能不太大；但是在画PR曲线的时候，因为要召回这一个正样本，看哪个分类器同时召回了更少的负样本，差的分类器就会召回更多的负样本，这样precision必然大幅下降，这样分类器性能对比就出来了。


Kappa系数

K=(P0-Pe)/(1-Pe)

P0是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度


假设每一类的真实样本个数分别为a1,a2,...,aC，而预测出来的每一类的样本个数分别为b1,b2,...,bC，总样本个数为n，则有Pe=( a1×b1+a2×b2+…+aC×bC)/(n×n)


让我们来看一个例子，比如有如下混淆矩阵：

判断

A

B

C

实际

A

239

21

16

B

16

73

4

C

6

9

280


  • 所有案例数：239+21+16+16+73+4+6+9+28=664；
  • 判断为A的案例数：239+16+6=261；
  • 判断为B的案例数：21+73+9=103；
  • 判断为C的案例数：16+4+280=300；
  • A的案例数：239+21+16=276；
  • B的案例数：16+73+4=93；
  • C的案例数：6+9+280=295。


这样：

  • P0=(239+73+280)/664=0.8916；
  • Pe=(261×276+103×93+300×295)/(64×64)=0.3883；
  • K=(0.8916-0.3883)/(1-0.3883)=0.8228。


通过K的值，可以判定模型的好坏：

  • 0.0~0.20：极低的一致性(slight)；
  • 0.21~0.40：一般的一致性(fair)；
  • 0.41~0.60：中等的一致性(moderate)；
  • 0.61~0.80：高度的一致性(substantial)；
  • 0.81~1：几乎完全一致(almostperfect)。


顾老师的课程

软件安全测试

https://study.163.com/course/courseMain.htm?courseId=1209779852&share=2&shareId=480000002205486

接口自动化测试

https://study.163.com/course/courseMain.htm?courseId=1209794815&share=2&shareId=480000002205486

DevOps 和Jenkins之DevOps

https://study.163.com/course/courseMain.htm?courseId=1209817844&share=2&shareId=480000002205486

DevOps与Jenkins 2.0之Jenkins

https://study.163.com/course/courseMain.htm?courseId=1209819843&share=2&shareId=480000002205486

Selenium自动化测试

https://study.163.com/course/courseMain.htm?

courseId=1209835807&share=2&shareId=480000002205486

性能测试第1季:性能测试基础知识

https://study.163.com/course/courseMain.htm?courseId=1209852815&share=2&shareId=480000002205486

性能测试第2季:LoadRunner12使用

https://study.163.com/course/courseMain.htm?courseId=1209980013&share=2&shareId=480000002205486

性能测试第3季:JMeter工具使用

https://study.163.com/course/courseMain.htm?courseId=1209903814&share=2&shareId=480000002205486

性能测试第4季:监控与调优

https://study.163.com/course/courseMain.htm?courseId=1209959801&share=2&shareId=480000002205486

Django入门

https://study.163.com/course/courseMain.htm?courseId=1210020806&share=2&shareId=480000002205486

啄木鸟顾老师漫谈软件测试

https://study.163.com/course/courseMain.htm?courseId=1209958326&share=2&shareId=480000002205486

文章标签：
云原生大数据计算服务 MaxCompute
性能测试
持续交付
测试技术
Devops
机器学习/深度学习
人工智能
关系型数据库
Oracle
jenkins
算法
大数据
关键词：
AI测试
测试ai
AI算法
人工智能算法
测试人工智能
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
顾翔
目录
相关文章
土木林森
|
3天前
|
机器学习/深度学习 人工智能 并行计算
"震撼！CLIP模型：OpenAI的跨模态奇迹，让图像与文字共舞，解锁AI理解新纪元！"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型，通过对比学习方法预训练，能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成，分别处理图像和文本数据，通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练，能够实现zero-shot图像分类、文本-图像检索等多种任务，展现出强大的跨模态理解能力。
土木林森
15 2
土木林森
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
当语言遇见智慧火花：GPT家族历代模型大起底，带你见证从平凡到卓越的AI进化奇迹！
【10月更文挑战第6天】随着自然语言处理技术的进步，GPT系列模型（Generative Pre-trained Transformers）成为该领域的明星。从GPT-1的开创性工作，到GPT-2在规模与性能上的突破，再到拥有1750亿参数的GPT-3及其无需微调即可执行多种NLP任务的能力，以及社区驱动的GPT-NeoX，这些模型不断进化。虽然它们展现出强大的语言理解和生成能力，但也存在如生成错误信息或偏见等问题。本文将对比分析各代GPT模型的特点，并通过示例代码展示其部分功能。
土木林森
48 2
-编程工程师-
|
1天前
|
机器学习/深度学习 人工智能 安全
AI真的能与人类数据科学家竞争吗？OpenAI的新基准对其进行了测试
AI真的能与人类数据科学家竞争吗？OpenAI的新基准对其进行了测试
-编程工程师-
14 8
土木林森
|
3天前
|
机器学习/深度学习 人工智能 算法
"拥抱AI规模化浪潮：从数据到算法，解锁未来无限可能，你准备好迎接这场技术革命了吗？"
【10月更文挑战第14天】本文探讨了AI规模化的重要性和挑战，涵盖数据、算法、算力和应用场景等方面。通过使用Python和TensorFlow的示例代码，展示了如何训练并应用一个基本的AI模型进行图像分类，强调了AI规模化在各行业的广泛应用前景。
土木林森
12 5
土木林森
|
4天前
|
人工智能 自然语言处理
从迷茫到精通：揭秘模型微调如何助你轻松驾驭AI新热点，解锁预训练模型的无限潜能！
【10月更文挑战第13天】本文通过简单的问题解答形式，结合示例代码，详细介绍了模型微调的全流程。从选择预训练模型、准备新任务数据集、设置微调参数，到进行微调训练和评估调优，帮助读者全面理解模型微调的技术细节和应用场景。
土木林森
21 6
何雨晨
|
2天前
|
存储 人工智能 Java
将 Spring AI 与 LLM 结合使用以生成 Java 测试
AIDocumentLibraryChat 项目通过 GitHub URL 为指定的 Java 类生成测试代码，支持 granite-code 和 deepseek-coder-v2 模型。项目包括控制器、服务和配置，能处理源代码解析、依赖加载及测试代码生成，旨在评估 LLM 对开发测试的支持能力。
何雨晨
9 1
游客762btuqu5wybw666
|
3天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在软件测试中的创新应用与实践###
本文旨在探讨人工智能（AI）技术如何革新软件测试领域，提升测试效率、质量与覆盖范围。通过深入分析AI驱动的自动化测试工具、智能化缺陷预测模型及持续集成/持续部署（CI/CD）流程优化等关键方面，本研究揭示了AI技术在解决传统软件测试痛点中的潜力与价值。文章首先概述了软件测试的重要性和当前面临的挑战，随后详细介绍了AI技术在测试用例生成、执行、结果分析及维护中的应用实例，并展望了未来AI与软件测试深度融合的趋势，强调了技术伦理与质量控制的重要性。本文为软件开发与测试团队提供了关于如何有效利用AI技术提升测试效能的实践指南。 ###
游客762btuqu5wybw666
20 2
游客5fdji2pvmf8888
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能：改变游戏规则的革新
在这篇技术性文章中，我们将深入探讨人工智能（AI）如何彻底改变了软件测试领域。从自动化测试到智能缺陷检测，AI不仅提高了测试的效率和准确性，还为软件开发团队提供了前所未有的洞察力。通过具体案例，本文揭示了AI在软件测试中应用的现状、挑战及未来趋势，强调了技术创新在提升软件质量与开发效率中的关键作用。
游客5fdji2pvmf8888
14 2
游客5fdji2pvmf8888
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
软件测试中的人工智能：提升效率与准确性的新途径
在当今快速发展的技术领域，人工智能（AI）正成为软件测试的重要工具。本文将探讨AI在软件测试中的应用，如何通过智能化手段提高测试的效率和准确性。从自动化测试到缺陷预测，我们将深入了解AI如何改变传统的软件测试方式，为软件开发流程带来革命性的变化。
游客5fdji2pvmf8888
36 1
土木林森
|
9天前
|
机器学习/深度学习 人工智能 TensorFlow
解锁AI潜力：让开源模型在私有环境绽放——手把手教你搭建专属智能服务，保障数据安全与性能优化的秘密攻略
【10月更文挑战第8天】本文介绍了如何将开源的机器学习模型（如TensorFlow下的MobileNet）进行私有化部署，包括环境准备、模型获取与转换、启动TensorFlow Serving服务及验证部署效果等步骤，适用于希望保护用户数据并优化服务性能的企业。
土木林森
24 4

ModelScope模型即服务

热门文章

最新文章

  • 1
    阿里云通义千问向全社会开放！
  • 2
    multi-agent：多角色Agent协同合作，高效完成复杂任务
  • 3
    智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • 4
    Llama 3开源，魔搭社区手把手带你推理，部署，微调和评估
  • 5
    自然语言处理Transformer模型最详细讲解（图解版）
  • 6
    从RMSE和MSE到更多选择：探索机器学习模型性能指标
  • 7
    【机器学习】集成学习——Stacking模型融合（理论+图解）
  • 8
    ChatGPT中文版杀疯了,已登录AI模型市场
  • 9
    AIGC技术解读：数据集、算法、模型和结果处理
  • 10
    【机器学习技巧】回归模型的几个常用评估指标（R2、Adjusted-R2、MSE、RMSE、MAE、MAPE）及其在sklearn中的调用方式
  • 1
    linux系统命令 losf详解
    16
  • 2
    Java“AccessControlException”解决
    10
  • 3
    NET Framework 到 .NET 5/6 的迁移是重大的升级
    16
  • 4
    一个最简单的 HTML 页面结构如下：
    16
  • 5
    AI大模型助力客户对话分析评测文章
    21
  • 6
    文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
    30
  • 7
    C语言：普通局部变量、普通全局变量、静态局部变量、静态全局变量的区别
    17
  • 8
    如何确定 FileRun 性能的瓶颈所在？
    13
  • 9
    FileRun 的性能如何？
    8
  • 10
    触手可及：阿里云函数计算助力AI大模型的评测
    35

    • 相关课程

    更多
  • AI开发者的Docker实践
  • AI社区开源学习实践
  • 趣味视觉AI应用入门与实战

    • 相关电子书

    更多
  • 智算时代，基于 Kubernetes 落地云原生 AI
  • AI让数据库的路走的“更快更远”
  • Data+AI时代大数据平台应该如何建设

    • 相关实验场景

    更多
  • 基于函数计算实现AI推理
  • 函数计算实战-云开发创建视觉AI应用
  • 部署Stable Diffusion玩转AI绘画（GPU云服务器）
  • 使用Swing算法实现商品推荐
  • 函数计算X RDS PostgreSQL，基于LLM大语言模型构建AI知识库
    • 下一篇
    AI助理直击要害，从繁复中提炼精华——使用CDN加速访问OSS存储的图片