试用了中文竞技场中的双模型匿名对话

简介: 主要试用了双模型匿名对话中的三个方面,并进行双模型的比较分析。

主要针对中文竞技场中的双模型进行了知识常识、写作创作、人类价值观三个层面进行了分析,并进行了两种模型(A、B)的比较和看法。
A 主要针对知识常识方面
A1问题
提到秦始皇陵墓里有什么,问题比较模糊,因而生成了三次对话来综合比较两种模型的差异,基本多次生成后,可以比较B模型对于历史解读有着更具体的内容,而A模型更倾向于介绍秦始皇陵墓,A模型的整体语句关联性相比B来说对于该问题有一些差距。
1.jpg
2.jpg
3.jpg

A2问题
宋朝灭亡时间,感觉A模型对于该类问题储备相较于B来说有些不足。
4.jpg

A3问题 关于提建议,模型B更具有条理性,具有更强的逻辑性,但是B模型总结出了更详细的内容,A模型较为简洁。
6.jpg

B 主要针对写作创作
B1 有关互联网对年轻人影响,A和B模型比较,B模型一直偏重于条理性强,然而在语句内容方面,A模型存在标点使用错误,A、B模型的语言需要进行一定的提升,如成语的运动。
7.jpg

B2 模型B更能连贯的解读问题,模型A偏向于部分解读问题的一部分,
8.jpg

B3 文章续写方面,A要比B模型的连续性更强,更贴合之前的内容。
9.jpg

C 主要针对人类价值观
C1 针对盲人这个问题,A模型的回答太多单一,从一开始就认定了不会降低效率,而B模型相对客观,承认了可能会降低效率这一事实,但是两个模型都只考虑了单一方面,而没有从可能会降低效率出发提出建议。
10.jpg

C2 优秀问题,A模型的基本处于一种直白的秒数,言语太过生硬,“请不要把自己和别人比较”,相对而言,B模型更具有理智的声音,个人更偏向于B模型的解读。
11.jpg

C3 农村资源问题,在资源分配问题,A模型提出了各种因素,比较有调理和逻辑,B模型基本属于总结性的话题。

12.jpg

总的来说,A、B模型都存在各自的问题,但是个人认为B模型要强于A模型。其一,A模型明显存在着对问题的片面解读,A模型往往是针对于句中关键词的解读,而并非对整个连贯的句子解读,B模型在这方面要优于A模型,建议A模型应该优化语言识别功能。其二,A模型的储备相对不足,在测试的几个问题中,A模型多次出现无法回复的问题相较于B模型,认为A、B模型的库容量应该不断更新完善。其三,针对A、B两种AI语言模型,个人认为模型不应该给出已经确定的答案,特别是针对双刃剑的、好坏之类的问题,模型不应直接给出确定的立场,建议模型应该进一步完善。

目录
相关文章
|
8月前
|
人工智能 自然语言处理 Java
首次体验中文竞技场大模型体验!!!
我将分别从知识常识、中文游戏、NLP专业领域、代码相关、写作创作、人类价值观六大领域测评不同模型的效果,以及一些看法。
|
8月前
|
数据采集 机器学习/深度学习 人工智能
中文竞技场大模型测评-龙虎榜
本次测评选取写作创作相关、代码相关、知识常识、中文游戏、人类价值观、NLP专业领域6大场景和20个细分维度,分别对通义Qwen-Chat-7B、凤凰Phoenix-7B、ChatGLM2-6B、moss-moon-003-sft等大模型进行了超过 200+ 道题的评测。测评旨在为大家提供有关这些模型在不同领域和维度上的表现,更好地选择适合自己需求的模型和应用,期待这次测评能够为AI模型领域的学习和研究提供有价值的参考和指导。
69801 5
|
9月前
|
人工智能 测试技术 Java
【中文竞技场】大模型深度体验与测评
简介:本次,我深入体验了中文竞技场中的大语言模型,尝试了写作创作、代码编写和中文游戏三个领域,以下是我详细的评测报告。
291 10
【中文竞技场】大模型深度体验与测评
|
9月前
|
人工智能 自然语言处理 测试技术
中文大模型体验测评系列(一)
本文主要通过体验中文竞技场大模型,并详细记录体验过程及感受。
99324 27
|
9月前
|
自然语言处理 UED
中文竞技场大模型体验
中文竞技场大模型体验
|
9月前
|
自然语言处理 知识图谱
中文竞技场模型体验
中文竞技场模型体验
333 0
|
9月前
|
自然语言处理
|
9月前
中文竞技场大模型体验评测分析
中文竞技场大模型体验
401 0
中文竞技场大模型体验评测分析
|
9月前
|
算法 安全 测试技术
中文竞技场大模型体验报告
本次测评的主要目标是评估中文竞技场提供的大模型在写作创作相关、知识常识和代码相关方面的表现。我们进入“中文竞技场”体验了这些模型,并在以下方面进行了测试和评估。
194 30
|
8月前
|
算法 自然语言处理 机器学习/深度学习
中文竞技场大模型测评后续之双模型匿名对话
在中文竞技场大模型测评的延续中,我们将在双模型匿名对话技术场景中,通过趣味游戏方式对写作创作、代码相关、知识常识等领域进行全面测评
233 0
中文竞技场大模型测评后续之双模型匿名对话