一、背景介绍
非常感谢您提供中文竞技场的详细场景介绍以及多个强大的AI模型,针对不同模型提出了问题并进行了测试。这里是我的评测文章:
中文竞技场是在modelscope魔搭搭建的ai语言对话,包含四套模型如下:
模型一:ChatGLM-6B模型介绍 ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
模型二:moss-moon-003-sft
模型三:BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability BiLLa 是开源的推理能力增强的中英双语 LLaMA 模型. 模型的主要特性有: 较大提升 LLaMA 的中文理解能力, 并尽可能减少对原始 LLaMA 英文能力的损伤; 训练过程增加较多的任务型数据, 利用 ChatGPT 生成解析, 强化模型理解任务求解逻辑; 全量参数更新, 追求更好的生成效果. Github: https://github.com/Neutralzz/BiLLa 以下是经过有限的评测分析得出的结论: BiLLa-7B-LLM 中英语言建模能力显著优于 Chinese-LLaMA-7B; BiLLa-7B-SFT 中文推理能力显著优于 BELLE-LLaMA-Ext-7B 等模型; 由GPT4打分, BiLLa-7B-SFT 在英文指令上得分显著高于 ChatGLM-6B, 中文得分持平, 但解题与代码得分更高.
模型四:BELLE-LLaMA-13B-2M 搭建的ai对话包含双模型匿名对话、模型自动对话、单模型对话,三种对话模式,用了很多开源的ai对话模板 属于非常厉害的组合并且外接了很多ai对话模型,我们点击立刻进入进行测评:
二、实验步骤
实验第一个双模型匿名对话,选择中文游戏,会自动生成一个问题,我们直接点击发送即可
我们采用单点生成模式,对两个模型进行多次生成(10次左右)发现模型a稍微有一些问题,生成的文章内容均是乱码中文,或者只能理解一部分,而模型B生成的内容较为准确,也符合提问人的要求,我们来切换不同的对话类型,试一下其他的对话情况,清除对话历史后可以选择其他对话类型
中文游戏
写作创作相关,我们实验了哈利波特的阅读理解(5次),A模型更能写出优质的问答,而模型B则不能提供相关的素材
代码相关,常用库查找字符串中特定字符的索引位置:re,string,collections,io(5次)显然模型A比模型B的准确率更高一些,输出的内容也符合要求些
常用知识,问一道数学题(5次)这个我生成了三遍都不太满意两个模型给的答案,好像对传统的数学问题,这两个模型并不是很擅长,A类不能把汽车识别为单辆,B类不能根据要求计算,相比之下A稍微好一些
人类价值观,问一下隐私方面的问题(5次),这两个都比较强,解析也很类似,都挺棒的
NLP专业方向,对多个专业方向进行测评(5次)测评A模型更能解析出相关NLP的意思,但是B模型不太行
经过近50次的对比测试,对比表格如下:(仅代表测试期间数据,不能代表实际情况)
中文游戏 |
写作创作相关 |
代码相关 | 常用知识 |
人类价值观 |
NLP专业方向 |
|
A模型 |
差 |
优 |
优 |
优 |
优 |
优 |
B模型 |
优 |
差 |
差 |
差 |
优 |
差 |
模型自动对话
对话训练10次以上,模型B稍微感觉有点问题,但是总体还是把相关的语言组织出来了,相较于模型A还是差了一些
单语言模型
通过对以下14个模型进行抽检测试结果如下
ChatGLM2-6B: 中英双语对话模型,由清华大学开发 | BiLLa-7B-SFT: 推理能力增强的中英双语LLaMA模型,由独立研发者开发 | Ziya-LLaMa-13B-v1: 姜子牙通用大模型,由IDEA研究院开发 |
ChatPLUG-initial: 初始开放域对话模型,由阿里开发 | BELLE-LLaMa-13b-2m-v1: 中文对话大模型,由链家开发 | moss-moon-003-sft: 支持中英双语和多种插件的开源对话语言模型,由复旦大学开发 |
ChatYuan-large-v2: 支持中英双语的功能型对话语言大模型,由复旦大学开发 | ChatPLUG-100Poison: #100PoisonMpts治理后模型,由阿里开发 | Baichuan-13B: Baichuan-13B-Chat为Baichuan-13B系列模型中对齐后的版本 |
Chinese-Alpaca-plus-13B: 中文LLaMA-Plus, Alpaca-Plus 13B版本 | ChatFlow-7B: ChatFlow中文对话模型 | Phoenix-7B: 由港中文大学(深圳)及深圳市大数据研究院四月发布的多语言大模型 |
RWKV-4-Raven-7B: 由RWKV(100% RNN)语言模型提供支持的中文对话模型 | Qwen-Chat-7B: 阿里云研发的通义千问大模型系列的70亿参数规模的模型 |
单语言对话(5次)语言分析还是非常到位的,支持第一个
三、部分总结体验
写作创作领域
在这个领域中,我让模型分别为我自动创作一段小说开头。ChatGLM-6B生成的文字通顺流畅,段落结构合理,但是想象力不足;moss-moon-003-sft的创作能力较弱,生成的内容平淡无奇;BELLE-LLaMA-13B-2M的创作语言丰富多彩,段落逻辑清晰,想象力较强。
代码相关领域
在这个领域中,我要求模型给出获取当前时间的Python代码。ChatGLM-6B直接给出正确可运行的代码;moss-moon-003-sft生成的代码存在明显语法错误;BELLE-LLaMA-13B-2M给出的代码语法正确但逻辑有误,不能达到预期效果。
知识常识领域
在这个领域中,我让模型解释“闰年”的含义。ChatGLM-6B给出了简单的定义;moss-moon-003-sft对这个词没有理解;BELLE-LLaMA-13B-2M给出了比较完整和准确的解释。
通过上述测试,我发现不同的AI模型确实各有所长。ChatGLM-6B在代码生成方面表现突出;BELLE-LLaMA-13B-2M在创作和知识讲解上更胜一筹;而moss-moon-003-sft的能力相对较弱。这为我们的AI开发提供了非常好的对比和启发。中文竞技场提供了难得的评测机会,让我们更加全面地了解不同AI的优劣。这次评测对我来说也是一个宝贵的学习经历。再次感谢主办方给予我这次独特的评测体验!