UC伯克利发布大语言模型排行榜!Vicuna夺冠,清华ChatGLM进前5

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: UC伯克利发布大语言模型排行榜!Vicuna夺冠,清华ChatGLM进前5
【新智元导读】万万没想到,现在大语言模型们也要像王者荣耀/LoL/Dota这些游戏里的玩家一样打排位赛了!据说,那些闭源模型们很快也会被拉出来溜溜。


最近,来自LMSYS Org(UC伯克利主导)的研究人员又搞了个大新闻——大语言模型版排位赛!

顾名思义,「LLM排位赛」就是让一群大语言模型随机进行battle,并根据它们的Elo得分进行排名。

然后,我们就能一眼看出,某个聊天机器人到底是「嘴强王者」还是「最强王者」。

划重点:团队还计划把国内和国外的这些「闭源」模型都搞进来,是骡子是马溜溜就知道了!(GPT-3.5现在就已经在匿名竞技场里了)

匿名聊天机器人竞技场长下面这样:

很明显,模型B回答正确,拿下这局;而模型A连题都没读懂……

项目地址:https://arena.lmsys.org/

在当前的排行榜中,130亿参数的Vicuna以1169分稳居第一,同样130亿参数的Koala位列第二,LAION的Open Assistant排在第三。

清华提出的ChatGLM,虽然只有60亿参数,但依然冲进了前五,只比130亿参数的Alpaca落后了23分。

相比之下,Meta原版的LLaMa只排到了第八(倒数第二),而Stability AI的StableLM则获得了唯一的800+分,排名倒数第一。

团队表示,之后不仅会定期更新排位赛榜单,而且还会优化算法和机制,并根据不同的任务类型提供更加细化的排名。

目前,所有的评估代码以及数据分析均已公布。

拉着LLM打排位

在这次的评估中,团队选择了目前比较出名的9个开源聊天机器人。

每次1v1对战,系统都会随机拉两个上场PK。用户则需要同时和这两个机器人聊天,然后决定哪个聊天机器人聊的更好。

可以看到,页面下面有4个选项,左边(A)更好,右边(B)更好,一样好,或者都很差。

当用户提交投票之后,系统就会显示模型的名称。这时,用户可以继续聊天,或者选择新的模型重新开启一轮对战。

不过,团队在分析时,只会采用模型是匿名时的投票结果。在经过差不多一周的数据收集之后,团队共收获了4.7k个有效的匿名投票。

在开始之前,团队先根据基准测试的结果,掌握了各个模型可能的排名。

根据这个排名,团队会让模型去优先选择更合适的对手。

然后,再通过均匀采样,来获得对排名的更好总体覆盖。

在排位赛结束时,团队又引入了一种新模型fastchat-t5-3b。

以上这些操作最终导致了非均匀的模型频率。

每个模型组合的对战次数

从统计数据来看,大多数用户所用的都是英语,中文排在第二位。

排名前15的语言的对战次数

评估LLM,真的很难


自从ChatGPT爆火之后,经过指令跟随微调的开源大语言模型如雨后春笋一般大量涌现。可以说,几乎每周都有新的开源LLM在发布。

但问题是,评估这些大语言模型非常难。

具体来说,目前用来衡量一个模型好不好的东西基本都是基于一些学术的benchmark,比如在一个某个NLP任务上构建一个测试数据集,然后看测试数据集上准确率多少。

然而,这些学术benchmark(如HELM)在大模型和聊天机器人上就不好用了。其原因在于:

1. 由于评判聊天机器人聊得好不好这件事是非常主观的,因此现有的方法很难对其进行衡量。

2. 这些大模型在训练的时候就几乎把整个互联网的数据都扫了一个遍,因此很难保证测试用的数据集没有被看到过。甚至更进一步,用测试集直接对模型进行「特训」,如此一来表现必然更好。

3. 理论上我们可以和聊天机器人聊任何事情,但很多话题或者任务在现存的benchmark里面根本就不存在。

那如果不想采用这些benchmark的话,其实还有一条路可以走——花钱请人来给模型打分。

实际上,OpenAI就是这么搞的。但是这个方法明显很慢,而且更重要的是,太贵了……

为了解决这个棘手的问题,来自UC伯克利、UCSD、CMU的团队发明了一种既好玩又实用的全新机制——聊天机器人竞技场(Chatbot Arena)。

相比而言,基于对战的基准系统具有以下优势:

  • 可扩展性(Scalability)

当不能为所有潜在的模型对收集足够的数据时,系统应能扩展到尽可能多的模型。

  • 增量性(Incrementality)

系统应能够使用相对较少的试验次数评估新模型。

  • 唯一顺序(Unique order)

系统应为所有模型提供唯一顺序。给定任意两个模型,我们应该能够判断哪个排名更高或它们是否并列。

Elo评分系统

Elo等级分制度(Elo rating system)是一种计算玩家相对技能水平的方法,广泛应用在竞技游戏和各类运动当中。其中,Elo评分越高,那么就说明这个玩家越厉害。

比如英雄联盟、Dota 2以及吃鸡等等,系统给玩家进行排名的就是这个机制。

举个例子,当你在英雄联盟里面打了很多场排位赛后,就会出现一个隐藏分。这个隐藏分不仅决定了你的段位,也决定了你打排位时碰到的对手基本也是类似水平的。

而且,这个Elo评分的数值是绝对的。也就是说,当未来加入新的聊天机器人时,我们依然可以直接通过Elo的评分来判断哪个聊天机器人更厉害。

具体来说,如果玩家A的评分为Ra,玩家B的评分为Rb,玩家A获胜概率的精确公式(使用以10为底的logistic曲线)为:

然后,玩家的评分会在每场对战后线性更新。

假设玩家A(评分为Ra)预计获得Ea分,但实际获得Sa分。更新该玩家评分的公式为:

1v1胜率

此外,作者还展示了排位赛中每个模型的对战胜率以及使用Elo评分估算的预测对战胜率。

结果显示,Elo评分确实可以相对准确地进行预测

所有非平局A对B战斗中模型A胜利的比例

在A对B战斗中,使用Elo评分预测的模型A的胜率

作者介绍


「聊天机器人竞技场」由前小羊驼作者机构LMSYS Org发布。

该机构由UC伯克利博士Lianmin Zheng和UCSD准教授Hao Zhang创立,目标是通过共同开发开放的数据集、模型、系统和评估工具,使每个人都能获得大型模型。

Lianmin Zheng

Lianmin Zheng是加州大学伯克利分校EECS系的博士生,他的研究兴趣包括机器学习系统、编译器和分布式系统。

Hao Zhang

Hao Zhang目前是加州大学伯克利分校的博士后研究员。他将于2023年秋季开始在加州大学圣地亚哥分校Halıcıoğlu数据科学研究所和计算机系担任助理教授。

参考资料:https://lmsys.org/blog/2023-05-03-arena/

相关文章
|
1天前
|
人工智能 自然语言处理 安全
Claude官网中文版:在国内使用claude AI的最佳选择!
Claude 是 Anthropic 公司开发的一款大型语言模型,类似于 OpenAI 的 ChatGPT 或 Google 的 Bard。它被设计成一个乐于助人 😊、诚实 🤝 且无害 😇 的 AI 助手。
|
3月前
|
人工智能 测试技术 计算机视觉
7B最强长视频模型! LongVA视频理解超千帧,霸榜多个榜单
【8月更文挑战第1天】新模型LongVA实现7B级最强长视频理解!通过长上下文转移技术,LongVA能够处理超千帧视频,显著提升长视频理解精度。不同于传统模型依赖视觉重采样导致的信息损失,LongVA扩展语言主干上下文长度,无需额外视频训练即可理解大量视觉标记。在V-NIAH等基准上取得SOTA成绩,处理2000帧以上视频无额外复杂度增加。但实时应用及非视频任务仍面临挑战。[论文](https://arxiv.org/abs/2406.16852)
81 4
|
5月前
|
人工智能 自然语言处理 算法
LLaMA 3:大模型之战的新序幕
【6月更文挑战第8天】LLaMA 3,一款代表自然语言处理前沿技术的大模型,以其强大的语言理解和生成能力引领新一轮人工智能竞争。相比以往模型,LLaMA 3在规模和性能上有显著提升,通过大量训练和算法优化突破语言处理边界。示例代码展示了如何使用LLaMA 3进行文本生成。尽管大模型发展带来数据隐私、伦理和资源消耗等挑战,但它也为开发者创造了新机遇,推动AI应用多元化。LLaMA 3开启了大模型新篇章,预示着人工智能更广阔未来。
72 3
|
6月前
|
人工智能 搜索推荐
国产黑马与GPT-4o称霸中文榜首!Yi-Large勇夺国内LLM盲测桂冠,冲进世界第七
在Chatbot Arena上,中国大模型公司零一万物的Yi-Large模型异军突起,超越多款国际大厂模型,成为中国首位、世界第7的千亿参数模型。OpenAI确认该模型为GPT-4的测试版。LMSYS Arena的盲测结果显示,Yi-Large在中文榜上与GPT-4o并列第一。此外,Yi-Large在编程能力、长提问和艰难提示词评测中均表现出色,位居全球第二。Chatbot Arena以其公正的盲测机制和Elo评分系统,成为大模型评测的新标准,获得了业界认可。Yi-Large的成功展示了中国在大模型领域的进步,推动了行业的客观评价和健康发展。
80 1
|
自然语言处理 测试技术 编译器
社区供稿 | 姜子牙大模型开源代码大模型Ziya-Coding-34B-v1.0 再创榜单新高,魔搭开源可体验!
使用自然语言生成高质量的代码是大模型落地中的高频需求。近日,IDEA研究院封神榜团队正式开源最新的代码大模型Ziya-Coding-34B-v1.0,我们在HumanEval Pass@1的评测上,取得了75.5的好成绩,超过了GPT-4(67.0)的得分,也成为目前已知开源模型新高。
|
机器学习/深度学习 人工智能 算法
WAVE SUMMIT 定档8月16日,或将曝百度飞桨、文心大模型最新进展
2023年全球AI浪潮迭起,大语言模型热度空前,生成式人工智能为千行百业高质量发展带来更多想象空间。作为前沿科技风向标、汇聚全球开发者的顶级盛会,WAVE SUMMIT 2023深度学习开发者峰会正式定档8月16日,在北京望京凯悦酒店召开。本次峰会聚焦深度学习及大模型技术的发展与未来,将带来行业前瞻洞察和一系列全新重磅发布。
128 0
WAVE SUMMIT 定档8月16日,或将曝百度飞桨、文心大模型最新进展
|
存储 人工智能 测试技术
击败Llama 2,抗衡GPT-3.5,Stability AI新模型登顶开源大模型排行榜
击败Llama 2,抗衡GPT-3.5,Stability AI新模型登顶开源大模型排行榜
286 0
|
机器学习/深度学习 自然语言处理 数据可视化
CVPR 2022 Oral | 视频文本预训练新SOTA!港大、腾讯ARC Lab推出基于多项选择题的借口任务(2)
CVPR 2022 Oral | 视频文本预训练新SOTA!港大、腾讯ARC Lab推出基于多项选择题的借口任务
133 0
|
Web App开发 人工智能 测试技术
中文大语言模型赶考:商汤与上海AI Lab等新发布「书生·浦语」
中文大语言模型赶考:商汤与上海AI Lab等新发布「书生·浦语」
178 0
|
机器学习/深度学习 人工智能 算法
总结过去三年,MIT发布AI加速器综述论文
总结过去三年,MIT发布AI加速器综述论文
186 0

热门文章

最新文章