达摩院发布大模型测试基准:GPT-4勉强及格,其他模型悉数落败

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: 达摩院发布大模型测试基准:GPT-4勉强及格,其他模型悉数落败

阿里巴巴达摩院多语言 NLP 团队发布了首个多语言多模态测试基准 M3Exam,共涵盖 12317 道题目。

随着大模型的发展,尤其是近来各种开源大模型的发布,如何对各种模型进行充分并且准确的评估变得越来越重要。其中一个越来越受到认可的方向就是利用人类考题来检验模型,从而可以测试模型的知识及推理能力。例如对于英文模型,MMLU 已经被广泛用来评估模型在多个学科上的表现。类似的,最近中文社区也涌现了例如 C-Eval 以及 GAOKAO 这种利用中文试题来测试模型,特别是中文模型的表现。


这样的测试基准对于促进模型的发展起着至关重要的作用,然而对于多语言 / 多模态大模型,相应的评测依然是一片空白。由此,阿里巴巴达摩院多语言 NLP 团队发布了首个多语言多模态测试基准 M3Exam 以推动此类评测的发展,论文和数据代码已公开:


论文:https://arxiv.org/pdf/2306.05179.pdf

数据 & 代码:https://github.com/DAMO-NLP-SG/M3Exam


背景
传统的 NLP 任务已经越来越难充分测试大语言模型的真正效果,在这样的背景下,利用人类考题来检验模型已经逐渐成为了测试大模型的一个常见做法。例如 MMLU 数据集涵盖了多个学科,被广泛用来测试各种模型,GPT-4 也将其作为一个重要的测试基准。类似地,最近一个月我们也看到了中文上的类似尝试例如 C-Eval 和 GAOKAO,将各类 / 高考的中文试题汇总起来用以测试中文大模型。
然而目前的测试基准都仅有英文或者加上中文问题,尽管许多模型涌现 / 宣称有多语言的效果,模型的多语言能力无法得到充分测试。此外,多模态类问题,也即涉及图片的考题也往往在构建过程中被忽略。这导致了多语言 / 多模态大模型的效果无法被准确衡量。为了弥补这一空白,我们构建了 M3Exam - 一个利用人类考题构建的多语言、多模态、多级别的测试基准,共涵盖 12317 道题目。


正如名字所示,M3Exam 有三个特征:

Multilingual 多语言:我们综合考虑语言特点、资源高低、文化背景等多个因素,挑选了 9 个国家对应的语言,涵盖英文、中文、意大利语、葡萄牙语、越南语、南非荷兰语、斯瓦希里语、泰语、爪哇语,所有问题均来自于对应国家的官方试题。

Multimodal 多模态:我们同时考虑纯文字以及带图片的题目,并且认真处理了所有图片从而方便模型进行处理。

Multilevel 多阶段:我们考虑三个重要的教育阶段:小升初、初升高、高中毕业,并且从对应阶段的官方考试取得题目,使得可以比较不同阶段对应的不同智力要求下,模型的表现差异。


多语言测试
我们选取了多种开源、闭源模型来测试它们的多语言能力,结果如图所示:

可以看到虽然许多模型的英文效果不错(比如 Claude 和 ChatGPT 都可以达到 75% 左右),但平均而言效果均不佳。GPT-4 是唯一一个可以超过 60% 准确率的模型,而 ChatGPT 也只能达到 57% 的准确率。从语言的角度看,在低资源或者非拉丁字符语言比如泰语、爪哇语上,即使是 GPT-4 也只能达到 50+% 的准确率。这显示目前大部分模型的能力仍然是集中体现在英文上,多语言能力仍然有待提高。

我们同样可以看到,来自于各个国家本土的问题更加充分地测试出了模型的多语言能力。例如 GPT-4 的 report 里将 MMLU 翻译成了多个语言,在不同语言的翻译试题上取得了较好的结果。但是如果用真实场景下的问题,这迫使模型必须学习到每个语言,甚至是其背后对应的文化背景知识,才能解答。例如上图中给的例子,斯瓦希里语涉及到一个谚语的填空;泰语则涉及到泰国本地常见的自然景观特点:


可以看到,即使是根据准确的翻译(上图的英文翻译由泰语母语者提供),但没有对应的语言、文化常识也无法作答,体现出对模型多语言能力的充分测试。

多模态测试
我们也选取了多个多模态大模型并对其进行测试,包括 Fromage, OpenFlamingo, BLIP-2, InstructBLIP,结果如下图所示:


可以看到,大部分模型表现都很糟糕,甚至没有模型可以超过 50% 的准确率。即使跟相近参数量的 Flan-T5 模型相比(Flan-T5 并没有拿图片当作输入),多模态模型基本没有体现出优势。
进一步检查我们发现,可能是因为现有的多模态测试数据都比较简单,例如 VQA 中往往只是对图片的某一方面进行简单提问。而人类考题往往涉及到对图片更复杂的理解,例如数理类考试中需要注意到图片的数字细节。下图给了一个具体问题以及各个模型的输出:

可以看到所有模型均回答错误。为了进一步检验模型对图片理解的程度,我们额外构造了一个 prompt 让模型对图片的各种细节进行描述(上图右边),可以看到所有模型都无法准确描述出图片里标注的角度 65 度,所以自然无法解答出图中的反射角是多少度。

多层级测试
在数据构造过程中,我们选取了三个重要的考试阶段,即小升初、初升高、高中升大学。值得注意的是我们发现即使各个国家的教育体系各有差异,但基本都有相应的教育阶段。不同的教育阶段往往对应着在不同国家,大家对相应年龄段人群所期待的智力水平。这样的划分给我们提供了用不同教育阶段的问题来观察模型效果的角度。结果汇总如下图所示:

可以看到出人意料的是,从较低的教育阶段到更高阶段,模型效果并没有呈现显著下降。奇怪的是基本所有模型都在中等阶段的问题上表现最好。然而对于人类来说,例如在中国,如果能在高考中得到 70% 左右的正确率,解决小学考题应该是轻而易举的事情,然而对模型来说似乎并不如此。
这个观察给我们带来的启发是,不断用更困难的数据去测试模型不一定能最大限度衡量出模型的差异。如果想要可靠地在实际生活中使用模型,例如用于 AI 教育,研究为什么模型会在基础问题上犯错可能更有价值。

结语
这篇文章介绍了我们新创建的测试基准 M3Exam,目标是可以为多语言 / 多模态大模型的评价提供一个可靠的基准。从目前的测试结果我们可以看出,虽然不少模型在高资源语言例如英文甚至中文上已经可以取得还不错的效果,但在多语言情况下绝大部分模型的效果都差强人意。多模态模型的效果则更难令人满意,显示目前的多模态模型还只能对图片的简单特征进行捕捉,而无法捕捉更精确的细节。我们期待 M3Exam 未来可以帮助相关模型的开发迭代,从而将大模型的便利带给所有语言的使用者以及更丰富的使用场景。

相关文章
|
2月前
|
安全 测试技术
北大李戈团队提出大模型单测生成新方法,显著提升代码测试覆盖率
【10月更文挑战第1天】北京大学李戈教授团队提出了一种名为“统一生成测试”的创新方法,有效提升了大模型如GPT-2和GPT-3在单一测试中的代码生成覆盖率,分别从56%提升至72%和从61%提升至78%。这种方法结合了模糊测试、变异测试和生成对抗网络等多种技术,克服了传统测试方法的局限性,在大模型测试领域实现了重要突破,有助于提高系统的可靠性和安全性。然而,该方法的实现复杂度较高且实际应用效果仍需进一步验证。论文可从此链接下载:【https://drive.weixin.qq.com/s?k=ACAAewd0AA48Z2kXrJ】
70 1
|
1月前
|
编解码 人工智能 自然语言处理
迈向多语言医疗大模型:大规模预训练语料、开源模型与全面基准测试
【10月更文挑战第23天】Oryx 是一种新型多模态架构,能够灵活处理各种分辨率的图像和视频数据,无需标准化。其核心创新包括任意分辨率编码和动态压缩器模块,适用于从微小图标到长时间视频的多种应用场景。Oryx 在长上下文检索和空间感知数据方面表现出色,并且已开源,为多模态研究提供了强大工具。然而,选择合适的分辨率和压缩率仍需谨慎,以平衡处理效率和识别精度。论文地址:https://www.nature.com/articles/s41467-024-52417-z
44 2
|
2月前
|
机器学习/深度学习 弹性计算 人工智能
大模型进阶微调篇(三):微调GPT2大模型实战
本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。
284 6
|
2月前
|
机器学习/深度学习 人工智能 安全
AI真的能与人类数据科学家竞争吗?OpenAI的新基准对其进行了测试
AI真的能与人类数据科学家竞争吗?OpenAI的新基准对其进行了测试
|
2月前
|
人工智能 前端开发
大模型体验体验报告:OpenAI-O1内置思维链和多个llm组合出的COT有啥区别?传统道家理论+中学生物理奥赛题测试,名不虚传还是名副其实?
一个月前,o1发布时,虽然让人提前体验,但自己并未进行测试。近期终于有机会使用,却仍忘记第一时间测试。本文通过两个测试案例展示了o1的强大能力:一是关于丹田及练气的详细解答,二是解决一道复杂的中学生物理奥赛题。o1的知识面广泛、推理迅速,令人印象深刻。未来,或许可以通过赋予o1更多能力,使其在更多领域发挥作用。如果你有好的测试题,欢迎留言,一起探索o1的潜力。
|
2月前
|
机器学习/深度学习 弹性计算 自然语言处理
前端大模型应用笔记(二):最新llama3.2小参数版本1B的古董机测试 - 支持128K上下文,表现优异,和移动端更配
llama3.1支持128K上下文,6万字+输入,适用于多种场景。模型能力超出预期,但处理中文时需加中英翻译。测试显示,其英文支持较好,中文则需改进。llama3.2 1B参数量小,适合移动端和资源受限环境,可在阿里云2vCPU和4G ECS上运行。
105 1
|
2月前
|
人工智能
反向和错位图灵测试:GPT-4比人类更人性化!
【10月更文挑战第8天】本文探讨了GPT-4在反向和错位图灵测试中的表现。反向测试中,GPT-4判断自身生成对话的准确性高于判断人类对话;错位测试中,人类更容易区分GPT-4生成的对话。研究揭示了GPT-4的某些特征及其局限性,如数据集偏差和任务特定性。
24 5
|
2月前
|
机器学习/深度学习 测试技术
ACL杰出论文奖:GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集,全面提升大模型心智能力
【10月更文挑战第6天】约翰斯·霍普金斯大学等机构提出了一项荣获ACL杰出论文奖的研究,旨在解决大模型在心智理论(ToM)上的不足。他们发布了首个MMToM-QA多模态ToM测试集,并提出BIP-ALM方法,从多模态数据中提取统一表示,结合语言模型进行贝叶斯逆规划,显著提升了模型的ToM能力。这一成果为机器与人类自然交互提供了新思路,尽管仍面临一些局限性和技术挑战。论文详情见:https://arxiv.org/abs/2401.08743。
48 6
|
2月前
|
测试技术
谈谈【软件测试的基础知识,基础模型】
谈谈【软件测试的基础知识,基础模型】
28 5
|
2月前
|
敏捷开发 测试技术
开发模型(瀑布、螺旋、scrum) 和 测试模型(V、W)、增量和迭代、敏捷(思想)及敏捷开发 scrum
文章详细介绍了软件开发过程中的不同开发模型(瀑布、螺旋、Scrum)和测试模型(V模型、W模型),以及增量和迭代的概念,最后阐述了敏捷思想及其在敏捷开发(如Scrum)中的应用。
89 0
开发模型(瀑布、螺旋、scrum) 和 测试模型(V、W)、增量和迭代、敏捷(思想)及敏捷开发 scrum