中文竞技场大模型测评-体验版

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 个人测评

一、背景介绍

非常感谢您提供中文竞技场的详细场景介绍以及多个强大的AI模型,针对不同模型提出了问题并进行了测试。这里是我的评测文章:

中文竞技场是在modelscope魔搭搭建的ai语言对话,包含四套模型如下:

模型一:ChatGLM-6B模型介绍 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

模型二:moss-moon-003-sft

模型三:BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型. 模型的主要特性有: 较大提升 LLaMA 的中文理解能力, 并尽可能减少对原始 LLaMA 英文能力的损伤; 训练过程增加较多的任务型数据, 利用 ChatGPT 生成解析, 强化模型理解任务求解逻辑; 全量参数更新, 追求更好的生成效果. Github: https://github.com/Neutralzz/BiLLa 以下是经过有限的评测分析得出的结论: BiLLa-7B-LLM 中英语言建模能力显著优于 Chinese-LLaMA-7B; BiLLa-7B-SFT 中文推理能力显著优于 BELLE-LLaMA-Ext-7B 等模型; 由GPT4打分, BiLLa-7B-SFT 在英文指令上得分显著高于 ChatGLM-6B, 中文得分持平, 但解题与代码得分更高.

模型四:BELLE-LLaMA-13B-2M 搭建的ai对话包含双模型匿名对话、模型自动对话、单模型对话,三种对话模式,用了很多开源的ai对话模板 属于非常厉害的组合并且外接了很多ai对话模型,我们点击立刻进入进行测评:

image.png

二、实验步骤

实验第一个双模型匿名对话,选择中文游戏,会自动生成一个问题,我们直接点击发送即可

image.png

我们采用单点生成模式,对两个模型进行多次生成(10次左右)发现模型a稍微有一些问题,生成的文章内容均是乱码中文,或者只能理解一部分,而模型B生成的内容较为准确,也符合提问人的要求,我们来切换不同的对话类型,试一下其他的对话情况,清除对话历史后可以选择其他对话类型

中文游戏

image.png

写作创作相关,我们实验了哈利波特的阅读理解(5次),A模型更能写出优质的问答,而模型B则不能提供相关的素材

image.png

代码相关,常用库查找字符串中特定字符的索引位置:re,string,collections,io(5次)显然模型A比模型B的准确率更高一些,输出的内容也符合要求些

image.png

常用知识,问一道数学题(5次)这个我生成了三遍都不太满意两个模型给的答案,好像对传统的数学问题,这两个模型并不是很擅长,A类不能把汽车识别为单辆,B类不能根据要求计算,相比之下A稍微好一些

image.png

人类价值观,问一下隐私方面的问题(5次),这两个都比较强,解析也很类似,都挺棒的

image.png

NLP专业方向,对多个专业方向进行测评(5次)测评A模型更能解析出相关NLP的意思,但是B模型不太行

image.png

经过近50次的对比测试,对比表格如下:(仅代表测试期间数据,不能代表实际情况


中文游戏

写作创作相关

代码相关

常用知识

人类价值观

NLP专业方向

A模型

B模型

模型自动对话

对话训练10次以上,模型B稍微感觉有点问题,但是总体还是把相关的语言组织出来了,相较于模型A还是差了一些

image.png

单语言模型

通过对以下14个模型进行抽检测试结果如下


ChatGLM2-6B: 中英双语对话模型,由清华大学开发 BiLLa-7B-SFT: 推理能力增强的中英双语LLaMA模型,由独立研发者开发 Ziya-LLaMa-13B-v1: 姜子牙通用大模型,由IDEA研究院开发
ChatPLUG-initial: 初始开放域对话模型,由阿里开发 BELLE-LLaMa-13b-2m-v1: 中文对话大模型,由链家开发 moss-moon-003-sft: 支持中英双语和多种插件的开源对话语言模型,由复旦大学开发
ChatYuan-large-v2: 支持中英双语的功能型对话语言大模型,由复旦大学开发 ChatPLUG-100Poison: #100PoisonMpts治理后模型,由阿里开发 Baichuan-13B: Baichuan-13B-Chat为Baichuan-13B系列模型中对齐后的版本
Chinese-Alpaca-plus-13B: 中文LLaMA-Plus, Alpaca-Plus 13B版本 ChatFlow-7B: ChatFlow中文对话模型 Phoenix-7B: 由港中文大学(深圳)及深圳市大数据研究院四月发布的多语言大模型
RWKV-4-Raven-7B: 由RWKV(100% RNN)语言模型提供支持的中文对话模型 Qwen-Chat-7B: 阿里云研发的通义千问大模型系列的70亿参数规模的模型


单语言对话(5次)语言分析还是非常到位的,支持第一个

image.png

三、部分总结体验

写作创作领域

在这个领域中,我让模型分别为我自动创作一段小说开头。ChatGLM-6B生成的文字通顺流畅,段落结构合理,但是想象力不足;moss-moon-003-sft的创作能力较弱,生成的内容平淡无奇;BELLE-LLaMA-13B-2M的创作语言丰富多彩,段落逻辑清晰,想象力较强。

代码相关领域

在这个领域中,我要求模型给出获取当前时间的Python代码。ChatGLM-6B直接给出正确可运行的代码;moss-moon-003-sft生成的代码存在明显语法错误;BELLE-LLaMA-13B-2M给出的代码语法正确但逻辑有误,不能达到预期效果。

知识常识领域

在这个领域中,我让模型解释闰年的含义。ChatGLM-6B给出了简单的定义;moss-moon-003-sft对这个词没有理解;BELLE-LLaMA-13B-2M给出了比较完整和准确的解释。

通过上述测试,我发现不同的AI模型确实各有所长。ChatGLM-6B在代码生成方面表现突出;BELLE-LLaMA-13B-2M在创作和知识讲解上更胜一筹;moss-moon-003-sft的能力相对较弱。这为我们的AI开发提供了非常好的对比和启发。中文竞技场提供了难得的评测机会,让我们更加全面地了解不同AI的优劣。这次评测对我来说也是一个宝贵的学习经历。再次感谢主办方给予我这次独特的评测体验!



目录
相关文章
|
数据采集 机器学习/深度学习 人工智能
中文竞技场大模型测评-龙虎榜
本次测评选取写作创作相关、代码相关、知识常识、中文游戏、人类价值观、NLP专业领域6大场景和20个细分维度,分别对通义Qwen-Chat-7B、凤凰Phoenix-7B、ChatGLM2-6B、moss-moon-003-sft等大模型进行了超过 200+ 道题的评测。测评旨在为大家提供有关这些模型在不同领域和维度上的表现,更好地选择适合自己需求的模型和应用,期待这次测评能够为AI模型领域的学习和研究提供有价值的参考和指导。
69964 5
|
人工智能 自然语言处理 测试技术
中文大模型体验测评系列(一)
本文主要通过体验中文竞技场大模型,并详细记录体验过程及感受。
99526 84
|
数据采集 人工智能
对ModelScope 中的中文竞技场进行分析测评
ModelScope 是一款功能强大的人工智能模型,它在多个领域都有着广泛的应用
|
自然语言处理
「ModelScope」中文竞技场体验测评报告
体验大语言模型,并产出创作、代码相关、知识常识三个领域的评测报告
128 1
|
自然语言处理
|
自然语言处理 程序员 数据库
用Modelscope 中文竞技场的测评体验分享
用Modelscope 中文竞技场的测评体验分享体验了三个场景,分别体验1系统默认的问题提交体验; 2.根据任务问题体验; 3.自主式提问题体验。就系统给出的答案进行评测。
2100 300
|
弹性计算 运维 Serverless
中文竞技场大模型测评
以自身生活经验,测评中文大模型,感受大模型的魅力,为中文大模型的发展贡献一份绵薄之力
1229 2
中文竞技场大模型测评
|
机器学习/深度学习 PyTorch 算法框架/工具
关于Modelscope 中文竞技场测评
Modelscope 是一款用于模型性能测评的开源工具,它提供了一套简便而强大的功能,帮助用户评估和比较不同机器学习模型的性能
370 22
关于Modelscope 中文竞技场测评
|
机器学习/深度学习 人工智能 自然语言处理
关于Modelscope 中文竞技场的测评体验分享
众所周知,Modelscope 中文竞技场是一款备受关注和期待的智能辅助工具,帮助用户评估和比较不同机器学习模型的性能,它为中文自然语言处理任务提供了一个全新的评测平台。在当今人工智能快速发展的时代背景下,Modelscope 中文竞技场作为一个集写作相关、代码相关和人类价值观于一体的平台,吸引了众多用户的关注。那么接下来就来分享一下Modelscope 中文竞技场的测试分享,将从写作相关、代码相关和人类价值观三个方面对 Modelscope 进行综合测评,带您深入了解这一平台的优势、特点与潜力。
776 1
关于Modelscope 中文竞技场的测评体验分享
|
机器学习/深度学习 自然语言处理 开发者
关于Modelscope 中文竞技场的测评分享
众所周知,Modelscope 中文竞技场是一款备受关注和期待的智能辅助工具,帮助用户评估和比较不同机器学习模型的性能,它为中文自然语言处理任务提供了一个全新的评测平台。那么接下来就来分享一下Modelscope 中文竞技场的测试分享。
364 1
关于Modelscope 中文竞技场的测评分享

热门文章

最新文章