试用了中文竞技场中的双模型匿名对话

简介: 主要试用了双模型匿名对话中的三个方面,并进行双模型的比较分析。

主要针对中文竞技场中的双模型进行了知识常识、写作创作、人类价值观三个层面进行了分析,并进行了两种模型(A、B)的比较和看法。
A 主要针对知识常识方面
A1问题
提到秦始皇陵墓里有什么,问题比较模糊,因而生成了三次对话来综合比较两种模型的差异,基本多次生成后,可以比较B模型对于历史解读有着更具体的内容,而A模型更倾向于介绍秦始皇陵墓,A模型的整体语句关联性相比B来说对于该问题有一些差距。
1.jpg
2.jpg
3.jpg

A2问题
宋朝灭亡时间,感觉A模型对于该类问题储备相较于B来说有些不足。
4.jpg

A3问题 关于提建议,模型B更具有条理性,具有更强的逻辑性,但是B模型总结出了更详细的内容,A模型较为简洁。
6.jpg

B 主要针对写作创作
B1 有关互联网对年轻人影响,A和B模型比较,B模型一直偏重于条理性强,然而在语句内容方面,A模型存在标点使用错误,A、B模型的语言需要进行一定的提升,如成语的运动。
7.jpg

B2 模型B更能连贯的解读问题,模型A偏向于部分解读问题的一部分,
8.jpg

B3 文章续写方面,A要比B模型的连续性更强,更贴合之前的内容。
9.jpg

C 主要针对人类价值观
C1 针对盲人这个问题,A模型的回答太多单一,从一开始就认定了不会降低效率,而B模型相对客观,承认了可能会降低效率这一事实,但是两个模型都只考虑了单一方面,而没有从可能会降低效率出发提出建议。
10.jpg

C2 优秀问题,A模型的基本处于一种直白的秒数,言语太过生硬,“请不要把自己和别人比较”,相对而言,B模型更具有理智的声音,个人更偏向于B模型的解读。
11.jpg

C3 农村资源问题,在资源分配问题,A模型提出了各种因素,比较有调理和逻辑,B模型基本属于总结性的话题。

12.jpg

总的来说,A、B模型都存在各自的问题,但是个人认为B模型要强于A模型。其一,A模型明显存在着对问题的片面解读,A模型往往是针对于句中关键词的解读,而并非对整个连贯的句子解读,B模型在这方面要优于A模型,建议A模型应该优化语言识别功能。其二,A模型的储备相对不足,在测试的几个问题中,A模型多次出现无法回复的问题相较于B模型,认为A、B模型的库容量应该不断更新完善。其三,针对A、B两种AI语言模型,个人认为模型不应该给出已经确定的答案,特别是针对双刃剑的、好坏之类的问题,模型不应直接给出确定的立场,建议模型应该进一步完善。

目录
相关文章
|
8月前
|
编解码 文字识别 测试技术
3000 字带你了解Claude3 视觉能力,OCR, 菜单识别统统能搞定!
五大任务,带你了解Claude3的视觉能力有多强 2024 年 3 月 4 日,Anthropic 震撼发布了全新的多模态模型——Claude 3。据该公司介绍,无论是语言处理还是视觉识别任务,Claude 3 都展现出了超越同类竞争产品(例如配备视觉功能的 GPT-4)的卓越性能。
237 0
|
人工智能 自然语言处理 Java
首次体验中文竞技场大模型体验!!!
我将分别从知识常识、中文游戏、NLP专业领域、代码相关、写作创作、人类价值观六大领域测评不同模型的效果,以及一些看法。
|
23天前
|
机器学习/深度学习 人工智能 测试技术
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
PsycoLLM 是合肥工业大学推出的中文心理大语言模型,基于高质量心理数据集训练,支持心理健康评估、多轮对话和情绪识别,为心理健康领域提供技术支持。
314 51
PsycoLLM:开源的中文心理大模型,免费 AI 心理医生,支持心理健康评估与多轮对话
|
6月前
|
人工智能
魔搭多模态AI单词助记&通义APP即时口语练习,你从未体验过的全新版本!
首次接触魔搭多模态AI单词助记工具让我颇感惊喜。传统背单词方式枯燥低效,而该工具通过生成关联图像、短语或故事,让记忆变得生动有趣。访问[Word-wizard](https://modelscope.cn/studios/makabakaing/Word-wizard)体验其图文记忆和视觉学习功能。目前图文记忆功能似乎存在问题,但视觉学习功能仍可正常使用,能识别图片特征并生成释义和例句,辅助学习效果不错。此外,可通过通义APP实现即时口语练习,尽管缺乏上下文记忆功能,但仍是一个优秀的练习工具。
|
算法 安全 测试技术
中文竞技场大模型体验报告
本次测评的主要目标是评估中文竞技场提供的大模型在写作创作相关、知识常识和代码相关方面的表现。我们进入“中文竞技场”体验了这些模型,并在以下方面进行了测试和评估。
247 30
|
8月前
|
人工智能 自然语言处理 搜索推荐
只用文本,3分钟生成一个网站!首个ChatGPT版网站开发平台
【2月更文挑战第30天】Dora AI是一个创新的生成式AI网站开发平台,让用户通过文本输入快速创建各类网站,无需模板,支持动态生成和个性化定制。平台提供直观的拖拽编辑,降低使用门槛,3分钟内即可生成网页。用户输入提示词或选择“Surprise Me”可获得不同风格的页面。尽管部分高级功能需会员,但基本编辑功能对所有用户开放。Dora AI正研发更多高级功能,如文本生成动画和3D网站,以提升用户体验。
199 2
只用文本,3分钟生成一个网站!首个ChatGPT版网站开发平台
|
自然语言处理 知识图谱
中文竞技场模型体验
中文竞技场模型体验
374 0
|
自然语言处理